1 成果介紹

網絡存儲技術從誕生到現在，已經經歷了近二十年的歷程。在這個過程中，無論是計算技術、網絡通信技術還是信息儲存技術都發生了翻天覆地的變化。計算技術領域，基于開放操 作系統上的集群計算技術已經取代大型機；網絡通信領域，開放架構的 TCP／IP 通信已經統治了一切；在信息存儲技術上，單塊磁盤的容量已經從 G 級別進入 T 級別。 傳統的網絡存儲設備，無論是 FC SAN、 NAS 還是 IP SAN，都是采用以滿足單臺服務器存儲需要為目標的體系設計，在共享能力、性能、可靠性、擴展性以及總體擁有成本上，已經無法滿足企業新的應用需求。如果 僅僅通過外圍手段來彌補，必將造成存儲架構越來越復雜，用戶管理難度越來越大，總體擁有成本越來越高。 為了滿足 IT 技術發展的挑戰， LoongStore 集群存儲采用了代表計算技術、網絡通信技術以及文件 系統技術發展方向的體系架構，提供給用戶跨平臺共享、高性能、高可靠、可平滑擴展、使用和維護簡單的高端存儲系統。系統以開放架構平臺智能存儲服務器為基 本節點，通過在千兆以太網基礎上不受限制地添加節點，構成了業界最高的性能、可靠性以及極低總體擁有成本的存儲集群。 LoongStore 為一種大規模的文件共享存儲系統，它面向海量數據、高并發訪問的環境。其產品架構圖如圖所示：

 圖 1 LoongStore 產品架構 LoongStore 產品架構支持：

• 單文件系統 100PB
• 支持 2000 個以上節點并發
• 支持超過 500 億文件
• 產品主要特點：產品架構上：實現了橫向擴展。從原來的單節點增加 CPU、內存、存儲等等的縱向擴展方案往增加節點數量的橫向擴展方案的轉變，使得容量擴展更加靈活、同時也實現了更低的起始投入成本；
• 產品工作流上：實現了更高效的數據讀寫方式。通過實現元數據與數據通道分離、將數據條帶化存儲在不同的存儲服務器上，從而高效實現數據的并行讀寫；
• 產品性能上：實現了高聚合帶寬。克服了以前文件集中式存儲的瓶頸，實現了文件切片分布式存儲方案，實現了高聚合帶寬；
• 產品性能上：實現了性能近線性增長。如：

（ 1）聚合帶寬隨著存儲集群規模擴大而線性增長， （ 2）充分發揮硬件性能，如網卡性能利用率達到了 80%， （ 3）擴展到 100GB/s 以上的聚合性能；

• 產品可靠性上：實現了無單點故障。通過

（ 1）為不同目錄的數據設置不同的冗余度， （ 2）自動故障探測與恢復， （ 3）設備恢復速度是 RAID 的 5 倍， 750GB SATA 盤恢復時間 15 分鐘， （ 4）元數據服務器每兩臺互備等，實現了產品的無單點故障；

• 在產品擴展性方面：實現了在線業務擴展容量。支持不停業務在線擴容，并自動遷移均衡數據。從而實現不需要關停業務的方式輕易擴展容量；
• 在產品管理方面：實現了單點配置管理。產品通過單點實現了所有的配置管理功能，通過內置各種自動化處理流程，減少人為參與；
• 產品兼容性方面：兼容各種 X86 架構的服務器和 IP 網絡，應用服務器端支持Linux/Windows/Mac 等等。

2 應用說明

LoongStore 大規模集群云存儲系統能夠幫助企業加速信息到價值的轉換，目前已經在互聯網、廣電、能源、電信等數據密集型行業幫助企業實現了突破性的價值。 產品主要應用行業與應用案例有：（ 1）互聯網：視頻， SNS 等，例如中國國家網絡電視臺（ CNTV），人人網，搜狐；（ 2）能源：大慶油田，中石油勘探開發研究院總院；（ 3）動漫和廣電：中影集團，教育電視臺等，《建黨偉業》、《建國大業》、《孔子》等大片的后期制作就是采用該存儲系統；（ 4）教育及其（ 5）軍工，航天等等領域。

3 技術指標

• 支持 PB 級的存儲容量規模，最大容量可超過 100PB；
• 可提供幾十甚至上百 GByte/s 的聚合數據讀寫帶寬，而且性能可隨存儲規模的擴展而線性提升；
• 可高效支持海量小文件的存儲和管理，單套系統可高效管理超過 500 億個文件，現有在線系統已經超過百億級文件數量規模，而且每天仍然以 2000-5000 萬個新文件的速度遞增，每天的下載量為 10-20 億個文件；
• 可支持超過 2000 多個計算節點（或者應用節點）同時高效并發訪問同一套存儲系統；
• 提供完全符合 POSIX 標準的文件級接口，支持全局共享訪問，無須加入第三方共享軟件。前端可同時部署 Linux、 Windows、 Mac 等異構計算節點。所有應用可不經過任何修改和移植即可使用存儲服務；
• 支持在線擴展存儲容量，無需終止應用的正常服務，新增容量即插即用。同時提供在線數據遷移功能，擴容后可均衡所有設備上的存儲負載；
• 內置數據高可用機制，一旦發現硬件故障將自動進行數據恢復，無需停止服務。除了能夠冗余磁盤故障之外，即使整個存儲服務器或者磁盤陣列故障都不影響應用正常服務也不會破壞應用數據。傳統存儲只能冗余磁盤故障；
• 如果系統中正常設備上的空閑空間總和不少于故障設備上已經使用的空間即可進行數據恢復，無須加入新的設備，傳統存儲采用 RAID 機制必須加入新的存儲設備才能進行恢復。確保了系統無間斷持續運行；l 在線控制存儲設備的負載。在觀察到某塊存儲設備有異常現象時，可以在線手動禁止這塊磁盤的空間分配，設置后系統不再往被禁止分配空間的磁盤內寫入新的數據，原有的數據仍然可用。當設備正常時即可在線放開；
• 提供主動數據遷移功能，方便硬件在線更換。當某些設備使用時間超過一定年限，或者是發現設備有安全隱患時，可以主動將該設備上的數據遷移到其它存儲設備，遷移完成后即可將設備移除下線，不影響應用的正常服務；
• 簡易管理，通過單一圖形化界面即可管理和監控整個存儲系統；
• 高硬件兼容性，既可以采用傳統的 SAN 或者盤陣作為存儲單元，也可以采用通用的存儲服務器進行構建，硬件選型范圍廣，成本低，適合用于構建海量的云存儲系統。