分布式存儲架構 及優點
2024-03-16  30次浏覽

20201221020239714.png

漢榮分布式存儲優勢:

漢榮分布式存儲往往采用分布式的系統結構,利用多台存儲服務器分擔存儲負荷,利用元數據定位存儲信息。它不但(dàn)提高了系統的可靠性、可用性和存取效率,還易于擴展,将通用硬件引入的不穩定因素降到最低。優點如下:

1.高可靠性

漢榮分布式存儲整個系統無任何的單點故障,數據安全和心務連續性得到保障,每個節點沒備之間有專門的教據保護策略,可實現(xiàn)系統的設備級幾餘,并且可在線(xiàn)更換損壞的硬盤或者節點設備。

采用副本模式對數據形成保護,數據在寫入後會按需生成多份副本,并根據設置将數據主從副本存儲在不同的硬盤、服務器、機櫃、 機房中,以此保證在硬盤損壞、服務器損壞、機櫃損壞、機房故障情況下,數據的安全性以及業務的連續性,支持用戶數據按照設定的1到6副本進行冗餘存儲。布式存儲系統可按需設置存儲池的保護策略(數據副本數量)以及硬盤離(lí)線(xiàn)超時時間,最大可支持 6副本。與傳統存儲 RAID 機制比較,數據副本策略可屏蔽由于硬盤損壞而造成的數據恢複緩慢(màn)、恢複過程中存儲卷不可用、多塊硬盤同時損壞的教據丢失風險,單點故障系統不會丢失數據,帶來更高的數據安全。通過強一緻性複制協議(yì)來保證數據多個副本的一緻性。正常情況下保證每個副本上的數據都是(shì)完全緻的,從任意副本讀到的數據都是(shì)相(xiàng)同的。如果系統中的某個硬盤出現(xiàn)短暫故障,存儲系統會暫時不寫這個硬盤上的數據,通過日志記錄的方式,記錄此硬盤上數據的變化,等硬盤恢複後通過日志信息恢複該硬盤上的數據,如果硬盤長時間或者永久故障,存儲系統會将硬盤從存儲系統中移除掉,并統計出此硬盤上所有數據的副本位置,将這些丢失數據恢複到其它服務器的硬盤中。副本技術優勢如下:

文件多副本同時寫入物理硬盤後返回前端數據寫入完成,可增強數據整 體安全性,避免由于機房斷電造成的數據丢失。可自由設置硬盤離(lí)線(xiàn)招時時間,避免硬盤更換後的大量數據遷移,保證,業務系統的優先性。數據恢複效率高,可一小時内完成 4TB 硬盤的恢複。對于容量需求較大的應用我們采取糾删碼的磁盤保護技術,EC(Erasure Coding,糾删碼)技術是(shì)将一份數據切分成,N 塊原始數據, 基于N 塊原始數據計算獲得M 塊冗餘數據,并将 N+M 塊數據分别存放(fàng)在存儲 系統中的不同存儲節點上,當其中任意M塊數據(N+M 塊數據中任意的M塊數據)丟失時存儲系統可通過數據恢複算法将丢失的 M 塊數據恢複,實現(xiàn)冗餘和容錯的目的。分布式存儲系統支持 N+M 格式的糾删碼,用戶可根據需求自定義 N和 M 的數量,N 代表原始數據塊數量,M 代表在不發生數據丢失的前提下,存儲系統所允許發生的同時故障的數據塊數量,即同時故障節點的數量。

技術優勢如下:

糾删碼的存儲空間利用率高,最高可達到 90%以上糾删碼數據保護機制不對 N+M 做任何限制(服務器數量滿足的情況下),可确保更高的存儲得盤率和靈活度。

2.高性能

高性能,相(xiàng)比傳統存儲而言提供高出數倍的聚合!0PS和吞吐量,另外可以随着存儲節點的擴容而線(xiàn)性的增長,每個存儲節點都可以對外提供業務吞吐,專用的元數據模塊可以提供非常快速精準的數據檢索和定位,滿足前端業務快速響應的需求:提供高性能的緩存技術,緩存管理基FSSD Cache 而非CacheTier模式,可靈活定義每個HDD與SSD的緩存關系,精确到縣體某一個SSD磁盤和對應的容量。提供KVM及XEN康拟化平台的專用RBD高速存儲接口,其中RBD能提供更爲優異的低延遲、高I0PS帶寬,确保虛拟化平台的高性能,對虛拟化架構的RBD接口進行優化設計,性能更高。

3.高可用

從控制層面、數據層面和訪問層面提供高可用保障,确保沒有單點故障,爲iSCS1、FC傳統企業接口設計了MPIO功能,爲ISCSI提供VIP功能,提升數據鏈路可用性,當其中一條路徑發生故障時,數據自動切換到另一條路徑上,鏈路恢複時自動切換回來,切換過程中業務不感知(zhī)存儲的但(dàn)路徑故障,集群硬件異常時,或者進行硬件更換維護時,分布式存儲進入recovery 狀态,分布式存儲能對Recovery 10進行控制,并制定策略,根據用戶需求保證業務I0或RecoveryI0正常進行。

4.高可擴展得益于合理的分布式架構,漢榮分布式存儲可預估并目彈性擴展計算、存儲容量和性能。漢榮分布式存儲的水平擴展有以下幾個特性。1)節點擴展後,舊(jiù)數據會自動遷移到新節點,實現(xiàn)負載均衡,避免單點過熱的情況出現(xiàn),2)水平擴展隻需要将新節點和原有集群連接到同一網絡,整個過程不會對業務造成影響:3)當節點被添加到集群,集群系統的整體容量和性能也随之線(xiàn)性擴展,此後新節點的資源就會被管理平台接管,被用于分配或者回收5.易擴展

系統可以支持在線(xiàn)無縫動态橫向擴展,在采用冗餘策略的情況下任何一個存儲節點的上線(xiàn)和下線(xiàn)對前端的業務沒有任何的影響,完全是(shì)透明的,并且系統在擴充新的存儲節點後可以選擇自動負載均衡,所有數據的壓力均勻分配在各存儲節點上。可以支持在線(xiàn)擴容,不僅可以垂直縱向擴容,更換高性能磁盤或者大容量,來縱向提升性能和容量;還可以不斷增加節點,線(xiàn)性提升集群性能和容量。分布式存儲架構具有良好的可擴展性,支持超大容量的存儲:擴容存儲節點後不需要做大量的數據搬遷,系統可以快速達到負載均律狀态。靈活的擴容方式,可以獨立擴容計算節點、硬盤、存儲節點,或者同時進行擴容。機頭、存儲帶寬和Cache都均勻分布到各個節點上,系統IOPS、吞葉量和Cache随着節點的擴容而線(xiàn)性增加,系統自動将每個卷的教據塊打散存儲在不同服務器的不同硬盤上,冷熱不均的數據會均勻分布在不同的服務器上,不會出現(xiàn)集中的熱點。擴容節點或者故障減容節點時,數據恢複重建算法保證了重建後系統中各節點負載的均衡性。

1.開放(fàng)兼容遵循軟硬件解耦的基本原則,服務器可以采用任意品牌,兼容各種服務器品牌,采用硬件無關設計,對SSD、NVMe等硬盤全兼容,兼容主流RAID、HBA卡。底層支持主流Linux系統,RHEL、Cent0s、中标麒麟等。支持VMware、Xen和Hyper等主流虛拟化技術,并支持OpenStack、 CloudStack等雲平台技術。

2.多應用接口

漢榮分布式存儲可提供統一存儲架構,在一套存儲系統中實現(xiàn)按需提供塊、文件和對象融合存儲服務能力。塊存儲:提供RBD、SCSI、iSCSI以及FC标準接口,支持廣泛的虛拟化平台和數據庫應用,提供高性能、高擴展能力,滿足基礎設施、數據庫以及開發測試等場景對SAN的需求;非結構化存儲:提供CIFS、NFS、FTP、S3标準接口,以高性能、大規模橫向擴展能爲用戶提供非結構化數據共享存儲資源,應用于海量視頻(pín)存儲、備份歸檔等場景。

3.存儲系統标準化

随着分布式存儲的發展,存儲行業的标準化進程也不斷推進,分布式存儲針對私有雲虛拟化架構可采用行業标準接口(RBD Cinder)進行存儲接入。在平台層面,通過将異構存儲資源進行抽象化,将傳統的存儲設備級的操作封裝成面向存儲資源的操作,從而簡化是(shì)構存儲基礎架構的操作,以實現(xiàn)存儲資源的集中管理,并能夠自動執行創建、變更、回收等整個存儲生命周期流程。