HDFS（Hadoop Distributed File System）作為通用的分布式文件系統(tǒng)，可以提供高可擴展、低成本、高可靠的海量數(shù)據(jù)存儲，并廣泛應(yīng)用于大數(shù)據(jù)存儲和分析方向。近年來伴隨5G、物聯(lián)網(wǎng)、人工智能等領(lǐng)域的快速發(fā)展，數(shù)據(jù)量規(guī)模不斷增大，同時隨著大數(shù)據(jù)應(yīng)用的多樣化發(fā)展，對數(shù)據(jù)的利用也更加成熟與深入，更大數(shù)據(jù)量以及更加靈活的數(shù)據(jù)處理場景對HDFS的數(shù)據(jù)存儲與數(shù)據(jù)讀寫吞吐提出了越來越高的要求。

為應(yīng)對這些挑戰(zhàn)，浪潮著力研發(fā)與集成的面向分布式文件系統(tǒng)的智能存儲管理技術(shù)Smart Storage Management（簡稱SSM）應(yīng)運而生。通過多項新技術(shù)及特性來解決存儲場景中的各類挑戰(zhàn)，助力大數(shù)據(jù)產(chǎn)品提供更加高效、智能的存儲解決方案。

概念上，智能存儲管理（SSM）被定義為面向 HDFS的智能管理架構(gòu)，主要提供針對新型存儲設(shè)備、高速網(wǎng)絡(luò)、新計算的存儲優(yōu)化與數(shù)據(jù)優(yōu)化解決方案，實現(xiàn)端到端的數(shù)據(jù)管理服務(wù)，聚焦點可以概括為“兩核心、三場景、四技術(shù)、五特性”。

“兩大核心”SSM的核心是基于數(shù)據(jù)熱度的智能化管理來實現(xiàn)自動化面向存儲的全生命周期優(yōu)化。在數(shù)據(jù)熱度方面，SSM通過收集文件系統(tǒng)操作數(shù)據(jù)與狀態(tài)信息，利用多項指標(biāo)分析數(shù)據(jù)訪問模式，從文件級別定義數(shù)據(jù)熱度，針對熱度信息統(tǒng)籌規(guī)劃相應(yīng)地優(yōu)化數(shù)據(jù)管理方式。在智能決策方面，SSM建立了基于規(guī)則的智能決策體系，圍繞現(xiàn)有的大數(shù)據(jù)存儲模式智能地構(gòu)建了實用的解決方案。

“三種場景”目前SSM在三種典型場景下表現(xiàn)突出，例如多存儲模式。SSM適用于數(shù)據(jù)存儲模式豐富的應(yīng)用場景，可以提供更加靈活的存儲模式選擇；在數(shù)據(jù)優(yōu)化上則提供了小文件合井、數(shù)據(jù)災(zāi)備、數(shù)據(jù)壓縮等新功能，適用于對數(shù)據(jù)優(yōu)化有需求的應(yīng)用場景；智能化管理是面向大規(guī)模集群的數(shù)據(jù)管命周期的自動化管理。

“四項技術(shù)”SSM主要通過四項技術(shù)實現(xiàn)智能的存儲管理，主要包括通過分布式集群自治技術(shù)解決管理服務(wù)的高可用問題來實現(xiàn)存儲管理集群去中心化；利用分布式事件驅(qū)動技術(shù)實現(xiàn)面向高并發(fā)場景的輕量級計算服務(wù)與監(jiān)督機制，提升管理操作執(zhí)行效率與容錯性。

基于規(guī)則的智能存儲管理技術(shù)解決存儲數(shù)據(jù)量巨大、數(shù)據(jù)增量高、數(shù)據(jù)類型混雜難以管理的問題，實現(xiàn)數(shù)據(jù)生命周期的智能化管理；憑借數(shù)據(jù)熱度感知技術(shù)解決存儲資源利用不均、資源浪費問題，實現(xiàn)數(shù)據(jù)冷熱分層等。

“五種特性”面向用戶場景，SSM最終體現(xiàn)為五類典型的特性增強，主要包括如下：

異構(gòu)存儲增強：結(jié)合智能規(guī)則管理與數(shù)據(jù)熱度感知，充分發(fā)揮異構(gòu)存儲訪問效率；

糾刪碼增強：針對文件級的副本與糾刪碼、糾刪碼間快速轉(zhuǎn)換，效率提升30%；訪問路徑不變。

小文件合并增強：自動感知小文件，減緩NameNode壓力，讀性能提升一倍；

自動化數(shù)據(jù)災(zāi)備：全自動跨域數(shù)據(jù)增量備份；

透明化自動壓縮：自選壓縮模式，無感知壓縮。

總體來看，智能存儲管理（SSM），以數(shù)據(jù)熱度識別及智能化的決策體系為核心，配置面向應(yīng)用場景的技術(shù)優(yōu)化整體方案（異構(gòu)存儲增強、糾刪碼增強、小文件合并、自動化災(zāi)備、透明化壓縮），自動化智能化的解決HDFS存儲面向異構(gòu)介質(zhì)、存儲空間及應(yīng)用負(fù)載等方向的挑戰(zhàn)，大大提升HDFS分布式存儲的易用性及適用場景。

作為面向海量數(shù)據(jù)存儲、計算、挖掘的一站式企業(yè)級大數(shù)據(jù)解決方案，浪潮云海Insight大數(shù)據(jù)平臺采用新型技術(shù)架構(gòu)可承擔(dān)企業(yè)大規(guī)模數(shù)據(jù)的采集集成、多樣存儲、規(guī)模計算以及智能分析挖掘等工作，支撐企業(yè)數(shù)據(jù)中心業(yè)務(wù)模型快速落地，助力企業(yè)信息化智能轉(zhuǎn)型。

具體來說云海Insight團隊從客戶需求出發(fā)，結(jié)合業(yè)務(wù)場景對智能存儲管理技術(shù)（SSM）進行全面的方案驗證及增強，最終在大數(shù)據(jù)平臺中將智能存儲管理技術(shù)產(chǎn)品化，包括智能存儲的一鍵安裝、可視化運維、基于票據(jù)的認(rèn)證架構(gòu)等，解決了用戶針對大數(shù)據(jù)平臺的備份災(zāi)備、數(shù)據(jù)生命周期管理、小文件合并等技術(shù)的訴求，提供了更優(yōu)秀的用戶體驗。

經(jīng)過多方實踐驗證，面向HDFS的智能存儲管理技術(shù)能夠免去外界觸發(fā)完成數(shù)據(jù)管理并進一步細(xì)化管理粒度，實現(xiàn)一次規(guī)則定制即可完成數(shù)據(jù)生命周期管理的解決方案，達(dá)成效果：

冷熱數(shù)據(jù)在異構(gòu)介質(zhì)間的快速遷移可提升數(shù)據(jù)訪問效率2倍以上；

數(shù)據(jù)存儲在副本與糾刪間的自動快速轉(zhuǎn)換節(jié)省存儲空間超過50%；

憑借透明化的數(shù)據(jù)壓縮、小文件合并以及平臺級自動數(shù)據(jù)備份及遷移等方式可達(dá)成業(yè)務(wù)無感知，全面提升大數(shù)據(jù)平臺的智能數(shù)據(jù)管理能力。