未來十年數據存儲技術將出現的六個變化，你認同嗎？
發(fā)布時間：2022-04-11
來源：twt企業(yè)it社區(qū)
瀏覽量：
字號：【加大】【減小】
手機上觀看
回顧過去，數據存儲技術從90年代的DAS存儲發(fā)展到今天的分布式軟件定義存儲，伴隨著成本、可靠性、擴展性這幾個核心因素的平衡，可謂是風風雨雨經歷了幾十年。在這段漫長的歲月當中，存儲架構的發(fā)展經歷了從短暫的DAS架構迅速過度到以SAN架構和NAS架構混合存在的時代，SAN存儲可謂主宰乾坤幾十載；物理存儲介質從軟盤、光盤、機械盤發(fā)展到今天的固態(tài)盤，其中SAS接口的機械硬盤伴隨著SAN存儲架構的存在也可謂主宰乾坤幾十載；存儲軟件功能上，從最開始的單純讀寫服務發(fā)展到分級、分層、壓縮、虛擬化等等，再到今天的各種軟件定義。應該講，數據存儲的發(fā)展可謂是迅速走過工業(yè)時代，長久信息化時代，惆悵于互聯網時代。未來十年的發(fā)展道路上，個人認為數據存儲技術的會呈現出以下幾個明顯特征。1.存儲架構會由集中式為主的時代發(fā)展為混合模式時代。從市場數據上看，根據Gartner對于2020年全球外置存儲市場統(tǒng)計來看，分布式存儲發(fā)貨容量13ZB、銷售額33億$。2018年到2023年期間，中國分布式存儲市場年均復合增長率將達到22.4%。不難看出，在數據量不斷暴漲和國產化趨勢的雙重驅動下，未來十年分布式存儲逐漸會成為企業(yè)追求的重要目標。從應用發(fā)展模式上看，伴隨著Web1.0、2.0、3.0的飛速發(fā)展，越來越多的業(yè)務模式轉變?yōu)锽S模式，業(yè)務訪問的并發(fā)量上發(fā)生了有史以來最大量級的升級。業(yè)務特性上，分析類業(yè)務劇增，依靠數據分析挖掘商機的時代到來。大數據、BI等新型業(yè)務系統(tǒng)紛紛在企業(yè)信息系統(tǒng)群中上線，數據本身的再生產價值能力受到空前的重視。集中式架構已經無法滿足這些新需求帶來的挑戰(zhàn)。從數據發(fā)展的特點上來看，越來越多的非結構化、半結構化數據形態(tài)涌入企業(yè)應用系統(tǒng)；數據量級呈爆發(fā)式的增長；數據生命周期管理由原來的在線離線為主的模式轉變?yōu)槎嗌芷诘哪Ｊ?；數據分析成為企業(yè)必備的核心后臺。這些從數據結構到數據量以及數據訪問特點上的變化都會驅動著分布式存儲架構體系的建設。2.數據存儲平臺會從獨立分散的狀態(tài)發(fā)展為統(tǒng)一融合化平臺。目前來看，大多數的企業(yè)是沒有完善統(tǒng)一的數據平臺架構的。傳統(tǒng)應用有傳統(tǒng)應用的關系型數據存儲平臺，數倉及分析類業(yè)務有自己獨立的數據存儲平臺，系統(tǒng)之間通過特定的應用接口來進行數據的下沉和上浮。但是互聯網平臺的基礎之上，企業(yè)的業(yè)務會出現極高的融合度，企業(yè)對數據的利用會提高到戰(zhàn)略高度。因此越來越多的數據分析和人工智能元素會融入到數據的整合利用當中。企業(yè)急需要將分散的數據通過采集、傳輸、過濾、加工、分析、匯總等系列過程進行不同維度的再利用，那么統(tǒng)一的數據中臺、后臺就會成為數據存儲技術發(fā)展過程當中必不可少的關鍵因素。而這個數據的整合匯總平臺一定是一個將硬件介質、存儲架構、軟件功能、應用處理融合為一體的體系化建設工程。在金融行業(yè)當中，已經有很多企業(yè)在建設自己的數據中臺、后臺等，只是大家在建設的策略方面還未到足夠成熟階段。相信未來十年，越來越多行業(yè)會步金融行業(yè)的后塵建設自己行業(yè)的數據平臺。3.在軟件定義的基礎之上，智能化的元素會不斷融入新的存儲產品當中。谷歌在2003、2004、2006年僅以學術共享形式發(fā)表的 Google FS、MapReduce、BigTable三篇論文，十年之后卻成為互聯網企業(yè)實際應用的先驅模板。而且隨著企業(yè)業(yè)務模式的不斷發(fā)展，這些源代碼經歷了多次有針對性的優(yōu)化和改造，解決了很多新的場景問題。從市場數據上看，2014到2019的五年時間內，軟件定義存儲的市場將從14億美元增長到62億美元以上，年復合增長率高達35%。伴隨著軟件化的不斷發(fā)展，企業(yè)對數據存儲的智能化程度要求越來越高。數據存儲規(guī)劃方面，越來越多的企業(yè)無法對未來發(fā)展的數據特點、量級、性能等要求作出準確設計，因此他們希望數據存儲的軟件功能具備根據動態(tài)運維數據提出優(yōu)化建議并可自動執(zhí)行的能力。數據存儲使用方面，工程師更希望存儲可以通過數據訪問的基礎運維數據來動態(tài)調整端口、帶寬、緩存以及其他一些列存儲資源的利用策略，以達到優(yōu)化存儲資源利用均衡化的目的。數據存儲配置方面，架構師希望在紛繁復雜的基礎運維數據當中，存儲設備可以幫他找到數據之間的聯系，分析出最優(yōu)的性能配置策略、空間使用策略、安全配置策略以及最優(yōu)的技術參數體系。事實上，很多的數據存儲產品也在有意無意將人工智能的元素融入到數據存儲的新產品當中。4.云存儲技術會成為數據存儲領域又一顆璀璨的明星。隨著云計算的不斷發(fā)展，云存儲已經從最開始的網盤模式發(fā)展為社會生活當中必不可少的關鍵對象，未來也一定會充斥著社會經濟生活當中的各個角落。從云計算帶動的信息革命角度來看，正是有了云計算的存在，才會有今天以及未來各行各業(yè)的革命性創(chuàng)新。從智能交通到智慧城市，這里面會有無法計量的并且數據結構、狀態(tài)、特點呈現五花八門形態(tài)的海量數據，這些數據來自于城市當中的每一個職能部門和企業(yè)，同時又為所有的社會群體服務，那么數據的存儲和利用必然走向云化特征。從企業(yè)的數據戰(zhàn)略高度來看，企業(yè)未來生死輸贏的先決條件就是它對數據的利用能力如何，無論是金融行業(yè)還是零售行業(yè)，大數據分析戰(zhàn)略已經是企業(yè)必不可少的建設目標了。在利用好企業(yè)自身積淀的數據基礎之上，它們開始研究利用云平臺上的社會共有數據，大家都在處心積慮圍繞著客戶這條線索建立一套屬于自己的完整商業(yè)數據畫像。因此云存儲是這一戰(zhàn)略唯一可選的數據存儲方案。據IDC數據顯示，到2025年，全球創(chuàng)建、獲取和復制的數據量將增至175ZB，其中，企業(yè)存儲的數據量將會占據全球總數據量80%以上。這一數據表明企業(yè)正迅速成為生產數據和管理數據的主要載體，加上目前我國正處于云計算的高速發(fā)展時期，企業(yè)上云成為必然趨勢。越來越多的企業(yè)選擇將自己的日常辦公數據、備份數據、歸檔數據、靜態(tài)歷史數據等活動性不強的海量數據移入云存儲資源池甚至直接推向云端。5.存儲硬件技術會向綠色節(jié)能方向不斷演進。2016年4月8日，由工業(yè)和信息化部、國家機關事務管理局、國家能源局聯合召開“國家綠色數據中心試點工作推進會暨京津冀綠色數據中心協同發(fā)展論壇”。在這次會議上，強調了開展綠色數據中心試點地區(qū)的重要性，并對下一步的工作思路和任務做出了明確清晰的回應，工業(yè)和信息化部相關負責人也指出了試點單位應對創(chuàng)新工作的創(chuàng)建做好準備。未來降低能耗將成為數據中心建設的首要目標，通過使用可代替可再生能源將成為數據中心主要的電力能源。新一代綠色數據中心需要新型綠色節(jié)能技術的支持。同樣存儲設備作為數據中心所有IT設備當中最耗能源的設備，也必須與這個整體目標相符發(fā)展。從存儲產品的硬件層面來實現節(jié)能無非需要從架構設計、芯片使用以及硬盤介質等幾個方面來推進。從目前的技術參數對比來看，從時延、功耗、返還率等重要技術參數對比來看，固態(tài)硬盤都要遠遠優(yōu)于傳統(tǒng)機械硬盤，未來隨著TCO不斷降低固態(tài)硬盤會取代機械硬盤的霸主地位；更節(jié)能高效的非易失性內存技術填補了從硬盤到DRAM之間的性能、成本、能耗等方面的不平衡性。也定會成為未來新型存儲產品必不可少的關鍵技術。6.存儲協議會從AHCI為主的模式演變?yōu)镹VMe的天下。在存儲系統(tǒng)當中，HDD和SSD早期的傳輸協議都是AHCI（Advanced Host Controller Interface），AHCI為單隊列模式，也就是說服務器和硬盤之間的數據傳輸為單隊列模式。早期數據存儲的性能主要受限于HDD硬盤本身，因此AHCI的性能瓶頸也就不是主要矛盾了。但是隨著SSD介質技術的不斷應用，AHCI的單隊列模式已經嚴重制約SSD介質的并發(fā)訪問性能的發(fā)揮了。因此NVMe（NVM Experess）協議應用而生，它旨在降低時延的同時提高IOPS，可以達到16Gbps的吞吐量，部分基于NVMe的驅動器可以達到200萬甚至1000萬的IOPS。從數據上來看，憑借其卓越性能優(yōu)勢，NVMe SSD產品在2018-2023年間以38%的復合年增長率持續(xù)增長，2021年占據企業(yè)級SSD出貨量的55%以上。未來十年的存儲技術發(fā)展，伴隨著NVMe本身的分支技術發(fā)展，它一定會主宰未來存儲協議。總之，隨著數字經濟時代的不斷深入發(fā)展，企業(yè)數據的價值被進一步重視和挖掘，數據存儲技術的應用和發(fā)展會向多元化、智能化、體系化、綠色化等方向逐步發(fā)展，在這個過程當中也會有更多的新型軟件及硬件技術誕生并應用到未來的存儲產品當中。相信存儲產業(yè)經濟的發(fā)展模式也會從客戶適應產品的通用產品模式逐步發(fā)展為圍繞客戶需求定制化的個性化產品經濟模式。
