Ceph:一個(gè)新時(shí)代的開(kāi)始
小編說(shuō):開(kāi)放性、可擴展性和可靠性,使Ceph 成為了存儲行業(yè)中的翹楚。這是云計算和軟件定義基礎設施的時(shí)代,我們需要一個(gè)完全軟件定義的存儲,更重要的是它要為云做好了準備。無(wú)論你運行的是公有云、私有云還是混合云,Ceph 都非常合適。
目前Ceph 是一種已經(jīng)震撼了整個(gè)存儲行業(yè)的最熱門(mén)的軟件定義存儲技術(shù)。它是一個(gè)開(kāi)源項目,為塊存儲、文件存儲和對象存儲提供了統一的軟件定義解決方案。Ceph 旨在提供一個(gè)擴展性強大、性能優(yōu)越且無(wú)單點(diǎn)故障的分布式存儲系統。從一開(kāi)始,Ceph 就被設計為能在通用商業(yè)硬件上運行,并且支持高度擴展(逼近甚至超過(guò)艾字節的數量)。
如今的軟件系統非常智能,已經(jīng)可以最大限度地利用商業(yè)硬件來(lái)運行規模龐大的基礎設施。Ceph 就是其中之一;它明智地采用商業(yè)硬件來(lái)提供企業(yè)級穩固可靠的存儲系統。
Ceph 已被不斷完善,并融入以下建設性理念:
每個(gè)組件能夠線(xiàn)性擴展
無(wú)任何單故障點(diǎn)
解決方案必須是基于軟件的、開(kāi)源的、適應性強的
運行于現有商業(yè)硬件之上
每個(gè)組件必須盡可能擁有自我管理和自我修復能力
對象是Ceph 的基礎,也是Ceph 的構建部件,并且Ceph 的對象存儲很好地滿(mǎn)足了當下及將來(lái)非結構化數據存儲需求。相比傳統存儲解決方案,對象儲存有其獨特優(yōu)勢;我們可以使用對象存儲實(shí)現平臺和硬件獨立。Ceph 謹慎地使用對象,通過(guò)在集群內復制對象來(lái)實(shí)現可用性;在Ceph 中,對象不依賴(lài)于物理路徑,這使其獨立于物理位置。這種靈活性使Ceph 能實(shí)現從PB(petabyte)級到EB(exabyte)級的線(xiàn)性擴展。
Ceph 性能強大,具有超強擴展性及靈活性。它可以幫助用戶(hù)擺脫昂貴的專(zhuān)有存儲孤島。Ceph 是真正的在商業(yè)硬件上運行的企業(yè)級存儲解決方案,是一個(gè)低成本但功能豐富的存儲系統。Ceph 通用存儲系統同時(shí)提供塊存儲、文件存儲和對象存儲,使客戶(hù)可以按需使用。
數據存儲需求在過(guò)去的幾年中爆發(fā)性增長(cháng)。研究表明,大型組織中的數據每年以40到60的速度增長(cháng),許多公司的數據規模每年會(huì )增加一倍。IDC 分析師估計,2000 年全球共有數字數據54.4 艾字節(Exabyte);到2007 年,達到295 艾字節;到2020 年,有望達到44 澤字節(Zettabyte)。傳統存儲系統無(wú)法應對這種數據增速,我們需要像Ceph 這樣的分布式可擴展系統,而且最重要的是它經(jīng)濟實(shí)惠。Ceph 專(zhuān)門(mén)用來(lái)應對當今以及將來(lái)的數據存儲需求。
SDS(軟件定義存儲)
SDS 可以降低你存儲基礎設施的TCO (Total Cost of Ownership,總體擁有成本)。除降低存儲成本外,SDS 還具有靈活性、可擴展性和可靠性。Ceph 是一個(gè)真正的SDS 方案,它運行在無(wú)廠(chǎng)商鎖定的商業(yè)硬件之上,并使每GB 數據存儲成本降至很低。不像傳統存儲
系統硬件必須和軟件綁定在一起,在SDS 中,你可以自由地從任何制造商那里選擇商業(yè)硬
件,可隨意按自己的需要設計異構的硬件解決方案。Ceph 基于這些硬件,通過(guò)軟件定義存儲的方法來(lái)全方位地滿(mǎn)足你的各種需求,并在軟件層中提供了所有企業(yè)級存儲特性。
云存儲
云基礎設施的難點(diǎn)之一是存儲。每一個(gè)云基礎設施都需要可靠的、低成本、可擴展、與云其他模塊相比更緊密集成的存儲系統。有很多號稱(chēng)云就緒的傳統存儲解決方案已經(jīng)在市場(chǎng)上出現了,但如今我們的存儲不僅要能夠與云系統結合,還有很多其他需求。我們需要能和云系統完全集成、可提供更低TCO 且具有完全可靠性和可擴展性的存儲系統。云系統是軟件定義的,建立在商業(yè)硬件之上;類(lèi)似地,云所需要的存儲系統也必須采用同樣方式,也就是基于商業(yè)硬件以及軟件定義,而Ceph 是云存儲的最佳選擇。
Ceph 已迅速發(fā)展,并逐步成為真正的云存儲后端。它已入駐各個(gè)大型開(kāi)源云平臺,比如OpenStack、CloudStack 和OpenNebula。此外,Ceph 已成功與云計算廠(chǎng)商如Red Hat、Canonical、Mirantis、SUSE 等建立互利伙伴關(guān)系。這些公司正幫助Ceph 經(jīng)歷重要時(shí)刻,包括使其作為他們Openstack 云平臺的指定存儲后端,這些都正逐漸使Ceph 成為云存儲技術(shù)領(lǐng)域中炙手可熱的技術(shù)。
OpenStack 開(kāi)源項目是公有云和私有云領(lǐng)域的最佳范例之一。它已經(jīng)被證明是一個(gè)純粹的開(kāi)源云解決方案。 OpenStack 包含很多項目,如Cinder、Glance 和Swift,可為OpenStack提供存儲功能。這些OpenStack 組件需要具備像Ceph 這樣可靠、可擴展、統一集成的存儲后端。出于這個(gè)原因,OpenStack 和Ceph 社區已經(jīng)在一起合作很多年,開(kāi)發(fā)了完全兼容OpenStack 的Ceph 存儲后端。
基于Ceph 的云基礎設施提供了服務(wù)供應商急需的靈活性,來(lái)建立存儲即服務(wù)和基礎設施即服務(wù)的解決方案。這是他們無(wú)法從其他傳統企業(yè)存儲解決方案中獲得的,因為這些方案并不旨在滿(mǎn)足云計算需求。通過(guò)使用Ceph,服務(wù)提供商可以提供低成本的可靠的云存儲給他們的客戶(hù)。
統一的下一代存儲架構
近來(lái),統一存儲的定義已經(jīng)發(fā)生變化。幾年前,所謂“統一存儲”指的是由一個(gè)單一的系統來(lái)提供文件存儲和塊存儲,F在,因為最近的技術(shù)進(jìn)步,例如云計算、大數據、物聯(lián)網(wǎng),新類(lèi)型的存儲一直在演變,對象存儲也隨之出現。因此,所有不支持對象存儲的存儲系統都不是真正的統一存儲解決方案。真正的統一存儲是像Ceph 這樣的——能在一個(gè)系統中統一地提供塊存儲、文件存儲和對象存儲。
在Ceph 中,“統一存儲”這個(gè)概念比現有存儲廠(chǎng)商所宣稱(chēng)的更有意義。從設計上,Ceph已經(jīng)完全為未來(lái)做好了準備,被構造為能夠處理海量數據。我們強調Ceph“為未來(lái)做好了準備”,是特指其對象存儲功能,它比塊存儲和文件存儲更適合當今的非結構化數據。Ceph不僅支持塊存儲和文件存儲,更重要的是可以基于對象來(lái)實(shí)現塊存儲和文件存儲。對象通過(guò)消除元數據操作來(lái)提供更好的性能和極大的擴展。Ceph 使用算法來(lái)動(dòng)態(tài)地計算對象應當被儲存和獲取的位置。
SAN 和NAS 系統的傳統存儲架構是非常局限的;旧,它們具有傳統控制節點(diǎn)的高可用性,也就是說(shuō),一個(gè)存儲控制節點(diǎn)出現故障后,將從第二個(gè)控制節點(diǎn)提供數據。但是,如果第二個(gè)控制節點(diǎn)同時(shí)出現故障呢?甚至更糟糕的情況,如果整個(gè)磁盤(pán)柜發(fā)生故障呢?在大多數情況下,最終會(huì )丟失數據。這種存儲架構無(wú)法承受多次故障,因此絕對不是我們想要的。傳統存儲系統的另一個(gè)缺點(diǎn)是其數據存儲和訪(fǎng)問(wèn)機制。它擁有一個(gè)中心元數據查找表,每次在客戶(hù)端發(fā)送一個(gè)讀寫(xiě)操作請求后,存儲系統首先在巨大的元數據表中進(jìn)行查找,在確定實(shí)際數據的位置后再執行客戶(hù)端操作。對于較小的存儲系統,你可能不會(huì )注意到性能問(wèn)題,但對于一個(gè)大型存儲集群,你一定會(huì )被這種方法的性能限制約束,它甚至會(huì )限制你的可擴展性。
Ceph 不拘泥于這樣的傳統存儲架構;事實(shí)上,它的架構已經(jīng)完全被革新了。它不再存儲和處理元數據,而是引入了一個(gè)新的方法:即CRUSH(Controlled Replication UnderScalable Hashing)算法。CRUSH 表示數據存儲的分布式選擇算法。CRUSH 算法取代了在元數據表中為每個(gè)客戶(hù)端請求進(jìn)行查找,它計算系統中數據應該被寫(xiě)入或讀出的位置。通過(guò)計算元數據,就不再需要管理元數據表了,F代計算機速度驚人,可以非常迅速地執行CRUSH 查找。此外,其計算量通常不大,還可以分布到集群的多個(gè)節點(diǎn)上。除此之外,CRUSH 還獨具基礎架構感知功能。它能理解基礎設施各個(gè)部件之間的關(guān)系。CRUSH保存數據的多個(gè)副本,這樣即使一個(gè)故障域的幾個(gè)組件都出現故障,數據依然可用。正是得益于CRUSH 算法,Ceph 可以處理多個(gè)組件故障,以保證可靠性和持久性。
CRUSH 算法使Ceph 實(shí)現了自我管理和自我修復。在一個(gè)故障域內某組件發(fā)生故障時(shí),CRUSH 能感知到是哪個(gè)組件出了故障,并判斷該故障對集群的影響。在沒(méi)有任何管理干預情況下,CRUSH 自我管理并通過(guò)恢復因故障丟失的數據而自愈。CRUSH 從集群所維護的副本中重新產(chǎn)生數據。如果你已經(jīng)正確配置了Ceph CRUSH map,它就會(huì )確保你的數據至少有一個(gè)副本始終可以訪(fǎng)問(wèn)。通過(guò)使用CRUSH,我們能設計出一個(gè)無(wú)單一故障點(diǎn)的高度可靠的存儲基礎設施。它使Ceph 成了一個(gè)面向未來(lái)的高可擴展和高可靠的存儲系統。
Ceph 架構概述
Ceph 內部架構非常直接,下圖將幫助我們理解:
Ceph 架構概述
Ceph 內部架構非常直接,下圖將幫助我們理解:
Ceph monitor(監視器,簡(jiǎn)稱(chēng)MON):Ceph monitor 通過(guò)保存一份集群狀態(tài)映射來(lái)維護整個(gè)集群的健康狀態(tài)。它分別為每個(gè)組件維護映射信息,包括OSD map、MONmap、PG map(會(huì )在后面的章節中討論)和CRUSH map。所有群集節點(diǎn)都向MON節點(diǎn)匯報狀態(tài)信息,并分享它們狀態(tài)中的任何變化。Ceph monitor 不存儲數據;這是OSD 的任務(wù)。
Ceph 對象存儲設備(OSD):只要應用程序向Ceph 集群發(fā)出寫(xiě)操作,數據就會(huì )被以對象形式存儲在OSD 中。這是Ceph 集群中唯一能存儲用戶(hù)數據的組件,同時(shí)用戶(hù)也可以發(fā)送讀命令來(lái)讀取數據。通常,一個(gè)OSD 守護進(jìn)程會(huì )被捆綁到集群中的一塊物理磁盤(pán)上。所以,在通常情況下,Ceph 集群中的物理磁盤(pán)的總數,與在磁盤(pán)上運行的存儲用戶(hù)數據的OSD 守護進(jìn)程的數量是相同的。
Ceph 元數據服務(wù)器(MDS):MDS 只為CephFS 文件系統跟蹤文件的層次結構和存儲元數據。Ceph 塊設備和RADOS 并不需要元數據,因此也不需要Ceph MDS守護進(jìn)程。MDS 不直接提供數據給客戶(hù)端,從而消除了系統中的故障單點(diǎn)。
RADOS(Reliable Autonomic Distributed Object Store):RADOS 是Ceph 存儲集群的基礎。在Ceph 中,所有數據都以對象形式存儲,并且無(wú)論是哪種數據類(lèi)型,RADOS 對象存儲都將負責保存這些對象。RADOS 層可以確保數據始終保持一致。
要做到這一點(diǎn),須執行數據復制、故障檢測和恢復,以及數據遷移和在所有集群節點(diǎn)實(shí)現再平衡。
librados:librados 庫為PHP、Ruby、Java、Python、C 和C++這些編程語(yǔ)言提供了方便地訪(fǎng)問(wèn)RADOS 接口的方式。同時(shí)它還為諸如RBD、RGW 和CephFS 這些組件提供了原生的接口。Librados 還支持直接訪(fǎng)問(wèn)RADOS 來(lái)節省HTTP 開(kāi)銷(xiāo)。
RADOS 塊設備(RBD):眾所周知,RBD 是Ceph 塊設備,提供持久塊存儲,它是自動(dòng)精簡(jiǎn)配置并可調整大小的,而且將數據分散存儲在多個(gè)OSD 上。RBD 服務(wù)已經(jīng)被封裝成了基于librados 的一個(gè)原生接口。
RADOS 網(wǎng)關(guān)接口(RGW):RGW 提供對象存儲服務(wù)。它使用librgw(Rados Gateway Library)和librados,允許應用程序與Ceph 對象存儲建立連接。RGW 提供了與Amazon S3 和OpenStack Swift 兼容的RESTful API。
CephFS:Ceph 文件系統提供了一個(gè)使用Ceph 存儲集群存儲用戶(hù)數據的與POSIX兼容的文件系統。和RBD、RGW 一樣,CephFS 服務(wù)也基于librados 封裝了原生接口。
上一條:
下一條:
會(huì )員展示
- 撫順石化北天悟松化工有限公司
- 沈陽(yáng)諾思真空技術(shù)有限公司
- 撫順市盛達工業(yè)產(chǎn)品綜合利用有限公司
- 遼寧卓侖科技有限公司
- 撫順歐力石化有限公司
- 撫順天成環(huán)?萍加邢薰
- 撫順振興化工工程設計有限公司
- 遼寧天舜環(huán)保工程有限公司
- 撫順華興石油化工有限公司
- 遼寧拜斯特復合材料有限公司
- 遼寧云帆機械制造有限公司
- 遼寧壓克力塑膠有限公司
- 純銀桃花
- 撫順亞飛安全裝備有限公司
- 撫順市秀霖化工有限公司
- 撫順通博財稅有限公司
- 撫順合祥新能源科技有限公司
- 遼寧兆利高新路面材料有限公司
- 撫順撫天科技服務(wù)有限公司
- 撫順宏瑞科技服務(wù)有限公司
遼公網(wǎng)安備21040202000166號