北京2020年9月22日 /美通社/ -- 根據(jù)IDC報告，在2014-2020年，IT從業(yè)人員數(shù)量僅僅增長1.285倍，但平均每個IT人員管理的數(shù)據(jù)量從230GB增加到1231GB，超過5倍。而在未來兩年，企業(yè)數(shù)據(jù)預(yù)計仍將以42.2%的速度增長。盡管大多數(shù)企業(yè)認(rèn)為數(shù)據(jù)是企業(yè)的無形資產(chǎn)，然而目前企業(yè)僅捕獲了56%的可用數(shù)據(jù)，幾乎一半的數(shù)據(jù)流失掉了，如何擴(kuò)展數(shù)據(jù)存儲系統(tǒng)的容量成為企業(yè)面臨的重要議題。
隨著大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、5G等科技手段的不斷推進(jìn)，人們已經(jīng)走進(jìn)數(shù)據(jù)互聯(lián)的時代。在數(shù)據(jù)需求日漸強烈的當(dāng)下，邊緣設(shè)備的工藝、精度越來越高，數(shù)據(jù)采樣的方式逐漸增多，產(chǎn)生的數(shù)據(jù)量也快速增長，到2025年44%的數(shù)據(jù)將在邊緣和核心創(chuàng)建，將有越來越多的物聯(lián)網(wǎng)設(shè)備向企業(yè)輸送數(shù)據(jù)。同時，基于數(shù)據(jù)挖掘和智慧應(yīng)用，數(shù)據(jù)的生產(chǎn)者也不再只有人和設(shè)備，數(shù)據(jù)本身也參與到了生產(chǎn)數(shù)據(jù)的環(huán)節(jié)中來，成為了新的數(shù)據(jù)生產(chǎn)者，數(shù)據(jù)的產(chǎn)生進(jìn)入一個巨大的循環(huán)，數(shù)據(jù)總量呈指數(shù)級增長。
浪潮存儲產(chǎn)品線總經(jīng)理李輝曾表示，“人工智能、大數(shù)據(jù)、5G新技術(shù)驅(qū)動下，數(shù)據(jù)發(fā)生本質(zhì)改變，從過去‘人工采集、人工干預(yù)’過渡到現(xiàn)在‘機器產(chǎn)生、機器處理’的新時代，數(shù)據(jù)量爆發(fā)式增長成為新常態(tài)?！睋?jù)IDC預(yù)測，2020年全球?qū)⒂谐?9ZB的數(shù)據(jù)被創(chuàng)建、捕獲、復(fù)制和消費，其中原始數(shù)據(jù)與復(fù)制數(shù)據(jù)（主要為機器處理產(chǎn)生的數(shù)據(jù)）的比率大約為1:9，未來復(fù)制數(shù)據(jù)將推動全球數(shù)據(jù)的增長，預(yù)計到2024年復(fù)制數(shù)據(jù)將達(dá)到原始數(shù)據(jù)的10倍。
這些數(shù)據(jù)來源廣泛，它對存儲有什么要求？IT人員如何管理這些迅猛增長的數(shù)據(jù)呢？
新數(shù)據(jù)時代對海量數(shù)據(jù)的存儲系統(tǒng)提出嚴(yán)苛要求
其一，高密度、大容量、可擴(kuò)展。數(shù)據(jù)的爆發(fā)式增長和保存周期的延長，帶來了對存儲空間的直接需求。傳統(tǒng)的存儲架構(gòu)已經(jīng)無法解決如此大數(shù)據(jù)量的存儲空間問題。需要一套具有EB級擴(kuò)展性、支持千億級文件并支持多種服務(wù)接口的新型存儲系統(tǒng)，滿足海量、多元化數(shù)據(jù)存儲的同時，實現(xiàn)跨平臺無障礙對接。
其二，高可靠、高可用。存儲系統(tǒng)承擔(dān)著用戶的核心數(shù)據(jù)，與業(yè)務(wù)系統(tǒng)交互頻繁，一旦出故障，將直接影響業(yè)務(wù)系統(tǒng)的運行狀態(tài)，甚至引發(fā)數(shù)據(jù)完整性、安全性問題。而大規(guī)模存儲系統(tǒng)，硬件故障將成為常態(tài)，對存儲集群的負(fù)載均衡，數(shù)據(jù)冗余，系統(tǒng)重建和故障排除都有著較高要求，如何有效的避免故障和高效的管理、處理故障就顯得尤為重要。
浪潮分布式存儲應(yīng)運而生
面對挑戰(zhàn)，浪潮存儲提出“云存智用運籌新數(shù)據(jù)”的理念，并發(fā)布了“AS13000G5超大規(guī)模數(shù)據(jù)中心級分布式存儲平臺”，幫助用戶解決海量數(shù)據(jù)的存儲問題，為用戶的數(shù)據(jù)中心打造面向未來的存儲平臺。
首先，浪潮分布式存儲系統(tǒng)基于Scale Out架構(gòu)實現(xiàn)了容量極致擴(kuò)展。浪潮分布式存儲系統(tǒng)AS13000G5，通過Scale Out橫向擴(kuò)展的基礎(chǔ)架構(gòu)，實現(xiàn)單存儲系統(tǒng)節(jié)點擴(kuò)展數(shù)達(dá)5120個，可形成EB級海量存儲空間，支持千億數(shù)據(jù)文件管理。系統(tǒng)通過海量存儲系統(tǒng)對底層硬盤資源進(jìn)行池化，形成統(tǒng)一資源池，同時提供文件存儲、對象存儲、塊存儲、大數(shù)據(jù)四種存儲服務(wù)，支撐上層多種應(yīng)用，承載多元化的海量數(shù)據(jù)。依賴橫向擴(kuò)展的分布式存儲架構(gòu)，存儲性能隨容量擴(kuò)展而線性提升，從而達(dá)到千萬級IOPS和百GB帶寬的極致性能。
其次，浪潮分布式存儲依托多項高級功能優(yōu)化容量資源利用率。依托強大的研發(fā)實力，浪潮AS13000G5分布式存儲在研發(fā)過程中實現(xiàn)多項技術(shù)突破，并演進(jìn)迭代成為功能特性，進(jìn)一步提升大規(guī)模存儲集群的整體可用性、可靠性。
一是高級糾刪。浪潮存儲基于高級糾刪技術(shù)將空間利用率相較三副本提升2倍以上，在保障空間利用率的前提下，升級磁盤故障的可靠性。同時，支持通過故障域劃分技術(shù)將一個故障單元劃分成兩個邏輯的故障單元，使得糾刪策略的配置更加靈活；
二是數(shù)據(jù)均衡。浪潮存儲采取全局一致性容量均衡技術(shù)，通過為每個硬盤增加引用計數(shù)，保證數(shù)據(jù)在集群所有硬盤中均勻分布。控制硬盤容量使用率偏差在2%以內(nèi)，系統(tǒng)容量實際利用率最高可達(dá)98%；
三是急速拷貝。浪潮存儲基于急速拷貝技術(shù)，無論文件大小都可以瞬間完成拷貝操作，一個源文件可以拷貝成多個目標(biāo)文件，每個文件的數(shù)據(jù)只在修改時復(fù)制，節(jié)約空間；
四是元數(shù)據(jù)集群。浪潮存儲通過部署多個active元數(shù)據(jù)服務(wù)，優(yōu)化元數(shù)據(jù)服務(wù)的內(nèi)存占用及多服務(wù)間負(fù)載均衡，提高元數(shù)據(jù)并發(fā)處理能力。實現(xiàn)海量元數(shù)據(jù)管理的同時，提升元數(shù)據(jù)處理性能；
五是快速重構(gòu)。浪潮存儲在硬盤發(fā)生故障時數(shù)據(jù)重構(gòu)速度最快可達(dá)4TB/h，支持根據(jù)業(yè)務(wù)情況配置重構(gòu)速度，采用合理的重構(gòu)策略。
極致容量下的極易管理
存儲集群在大規(guī)模部署的情況下，運維的量級和難度對用戶來說都是極大的挑戰(zhàn)。浪潮智能統(tǒng)一存儲管理平臺InView面向全系浪潮存儲平臺實現(xiàn)管理，采用大數(shù)據(jù)和AI技術(shù)采集硬盤、系統(tǒng)壓力等數(shù)據(jù)，發(fā)送給AI引擎執(zhí)行分析，輸出結(jié)果和處理建議，構(gòu)建智能化運維管理平臺，實現(xiàn)對存儲平臺自動化部署、狀態(tài)監(jiān)測、容量預(yù)測、性能優(yōu)化、遠(yuǎn)程巡檢、故障診斷、磁盤故障預(yù)測、資產(chǎn)管理等智能化運營，解決大規(guī)模IT系統(tǒng)運維難題，提高運維效率，降低運維成本，優(yōu)化用戶體驗，保障業(yè)務(wù)連續(xù)性。
通過配置InView，系統(tǒng)運維由被動模式轉(zhuǎn)換為主動模式，大幅提升系統(tǒng)運維能力和穩(wěn)定性。為用戶帶來看得見的收益，比如多套存儲平臺統(tǒng)一管理、統(tǒng)一入口，實現(xiàn)存儲平臺精細(xì)管理；又如基于神經(jīng)網(wǎng)絡(luò)算法和先進(jìn)訓(xùn)練模型，在3年多時間內(nèi)收集超50萬個硬盤樣本，實現(xiàn)故障類型100%覆蓋，再如實現(xiàn)14天內(nèi)磁盤故障預(yù)測預(yù)測準(zhǔn)確率高于85%。此外，浪潮存儲還可以進(jìn)行容量、性能智能預(yù)測。例如，InView的容量智能預(yù)測如下圖。
浪潮存儲圍繞解決數(shù)據(jù)存儲問題，在“存得下”的基礎(chǔ)上，充分考慮大規(guī)模存儲集群對成本和硬件故障的敏感性，在低投入的情況下實現(xiàn)高容量的數(shù)據(jù)存儲，并且通過多種功能特性給予存儲系統(tǒng)更高的可靠性、安全性和可用性，進(jìn)一步實現(xiàn)了“存得穩(wěn)”、“管得全”。
浪潮存儲基于七大極致硬核技術(shù)形成了強大的產(chǎn)品競爭力，二季度浪潮分布式存儲出貨量同比增長313%，遠(yuǎn)超業(yè)界平均增速。浪潮存儲在殊多行業(yè)斬獲大單，為中國移動大云5.0、全球最大天文望遠(yuǎn)鏡FAST、中國氣象大數(shù)據(jù)研究等超級工程項目提供彈性、靈活、高效的數(shù)據(jù)存儲服務(wù)。浪潮存儲將持續(xù)以“云存智用運籌新數(shù)據(jù)”賦能智算中心，在分布式存儲領(lǐng)域加速創(chuàng)新，釋放數(shù)據(jù)要素價值驅(qū)動行業(yè)數(shù)字化轉(zhuǎn)型。
作者：浪潮存儲資深架構(gòu)師葉毓睿、李錚鋆
