那么,為什么說這次的發(fā)布內(nèi)容令人驚嘆?
答案是:它或許能夠給現(xiàn)在的企業(yè)級(jí)存儲(chǔ)市場帶來翻天覆地的變化。
所謂星星之火,蘊(yùn)含著從XSKY發(fā)布星海全閃架構(gòu)開始,存儲(chǔ)市場都會(huì)追隨其腳步,引發(fā)一場徹頭徹尾的存儲(chǔ)產(chǎn)業(yè)革命。
XSKY就有這樣的格局和自信。
請問XSKY的自信從何而來呢?
數(shù)據(jù)常青不是口號(hào)是使命
XSKY的自信來自數(shù)據(jù)常青的使命感!也正是這種使命感,推動(dòng)XSKY產(chǎn)品技術(shù)不斷向前!
什么是數(shù)據(jù)常青?數(shù)據(jù)常青的含義是什么呢?
這不是XSKY第一次提數(shù)據(jù)常青,此前我也聽到過,但沒有像這一次,真正意識(shí)到深?yuàn)W含義。
對于數(shù)據(jù)常青,XSKY星辰天合CEO胥昕給出的解釋是:數(shù)據(jù)存儲(chǔ),古老但常青。在這里胥昕提到了“數(shù)據(jù)平權(quán)”的概念。
“以數(shù)據(jù)訓(xùn)練為例,所有的數(shù)據(jù)都同等重要,不能說一部分?jǐn)?shù)據(jù)很快,而一部分?jǐn)?shù)據(jù)很慢,對于存儲(chǔ)系統(tǒng)而言,全部數(shù)據(jù)存取需要同等的可靠性和穩(wěn)定性。”胥昕說。
理想豐滿,現(xiàn)實(shí)骨干。
在現(xiàn)有生產(chǎn)和實(shí)踐中,幾乎沒有辦法做到“數(shù)據(jù)平權(quán)”。與“數(shù)據(jù)平權(quán)”相對應(yīng)的,我想應(yīng)該就是數(shù)據(jù)分層,根據(jù)數(shù)據(jù)重要性的不同,區(qū)分為冷熱溫?cái)?shù)據(jù),對應(yīng)不同的存儲(chǔ)技術(shù)。其中,采用專屬硬件設(shè)計(jì)的高端存儲(chǔ),價(jià)格最為昂貴,可靠性、穩(wěn)定性有保障,質(zhì)保周期通常為6年以上。
與之相比,分布式存儲(chǔ)以通用硬件為基礎(chǔ),借助橫向擴(kuò)展的設(shè)計(jì),滿足海量數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理的需求。但通用硬件的質(zhì)保周期近有3年,3年以后呢?其上的數(shù)據(jù)還能夠做到數(shù)據(jù)常青嗎?
“我們的用戶中,如光伏用戶、醫(yī)療行業(yè)的用戶,對于數(shù)據(jù)常青的要求是40年,甚至60年,需要能夠在浩如煙含的數(shù)據(jù)中,準(zhǔn)確查找、定位到所需要的制造數(shù)據(jù)、醫(yī)學(xué)影響的數(shù)據(jù)?!?胥昕說。
現(xiàn)有的存儲(chǔ)做的到嗎?做不到!
那么,是什么制約了“數(shù)據(jù)平權(quán)”的實(shí)現(xiàn)?
帶著這樣的思考,最終就有了XSKY星海架構(gòu)(XSEA)的誕生!
星海架構(gòu)(XSEA)的創(chuàng)新和突破
XSKY星辰天合 CTO王豪邁歷數(shù)了現(xiàn)有存儲(chǔ)系統(tǒng)的三大障礙:可靠性低、QoS不足,以及存儲(chǔ)成本太高。
以可靠性為例,在多核、PCIe、GPU、DDR5以及25Gb/100Gb網(wǎng)絡(luò)的加持下,現(xiàn)在分布式存儲(chǔ)性能,延遲已經(jīng)縮小到100us的水平,不遜于高端存儲(chǔ),但是對于異常故障的回復(fù)時(shí)間,始終沒有辦法突破,維持在10S左右水平。
在性能方面,分布式存儲(chǔ)始終存在P99(99%的調(diào)用時(shí)延都在某個(gè)值以下)的問題,也就是說,存儲(chǔ)系統(tǒng)在99%時(shí)長可以保持性能穩(wěn)定,但是總有1%的可能會(huì)出現(xiàn)性能異常,訪問緩慢。特別對于關(guān)鍵業(yè)務(wù)應(yīng)用而言,對于可靠性求達(dá)到5個(gè)9(99.999%),1%的性能抖動(dòng)是完全不可以接受的。
以前談存儲(chǔ)性能抖動(dòng)的是SSD垃圾回收,它可以通過策略加以解決,但是此處的P99是分布式存儲(chǔ)的痼疾,有的分布式系統(tǒng)甚至只有P95(95%),完全達(dá)不到應(yīng)用的需求。
此外,全閃存產(chǎn)品的價(jià)格始終和磁盤系統(tǒng)保持4~5倍的距離,沒有辦法普及。分析其中的原因,胥昕指出:磁盤技術(shù)也不不斷進(jìn)步,如今20 TB、22TB已經(jīng)常見,這就是使得GB/$成本保持占優(yōu),閃存始終沒有突破。
解鈴還須系鈴人。
問題需要從存儲(chǔ)軟件架構(gòu)進(jìn)行突破。
在過去的8年間,XSKY星辰天合不斷磨礪新的星海架構(gòu)(XSEA),不斷進(jìn)行新的技術(shù)突破,主要集中在以下三點(diǎn):
一是Shared Everything的全共享模型,每個(gè)節(jié)點(diǎn)都能直接訪問所有 SSD,提供更好的性能可擴(kuò)展性和服務(wù)質(zhì)量,并且擁有全局視角的邏輯;
二是采用單層閃存介質(zhì):采用 Append Only 寫入,面向 TLC NVMe SSD 優(yōu)化,減少硬件配置復(fù)雜性;
三是端到端 NVMe設(shè)計(jì):不僅存儲(chǔ)系統(tǒng)對外提供 NVMe-oF 協(xié)議,內(nèi)部復(fù)制網(wǎng)絡(luò)和 IO 處理也同樣采用 NVMe-oF 技術(shù),確保 IO 路徑的高效處理。
借助以上三項(xiàng)技術(shù)突破,星海架構(gòu)(XSEA)實(shí)現(xiàn)了 3 個(gè) 100:
? 能夠在 40%-60%負(fù)載下實(shí)現(xiàn) 100 微秒的超低延遲;
? 通過全局 EC 和數(shù)據(jù)壓縮技術(shù)可以實(shí)現(xiàn)超過 100% 的存儲(chǔ)系統(tǒng)得盤率(可用容量/裸容量);
? 針對慢盤、亞健康網(wǎng)絡(luò)問題時(shí),能在 100 毫秒內(nèi)快速切換,以保證系統(tǒng)的穩(wěn)定運(yùn)行。
有了這3個(gè)100,就突破了分布式存儲(chǔ)原有的三大痼疾。
這在技術(shù)上也并不難理解。
為什么現(xiàn)有分布式存儲(chǔ)會(huì)有P95、P99的問題?為什么會(huì)有高達(dá)10S的故障排查?原因很簡單,因?yàn)榉植际酱鎯?chǔ)采用通用的硬件,通用的服務(wù)器,通用的以太網(wǎng)絡(luò),而以太網(wǎng)丟包就是常見的問題,無論采用多副本,還是EC,當(dāng)數(shù)據(jù)出現(xiàn)丟包的時(shí)候,就意味著個(gè)別數(shù)據(jù)寫操作沒有完成,從而拖累了系統(tǒng)整體的性能,而性能抖動(dòng)也是類似這種數(shù)據(jù)盤寫操作的亞健康狀態(tài)引起的。
對于傳統(tǒng)分布式存儲(chǔ)而言,存儲(chǔ)節(jié)點(diǎn)之間不是Shared Everything,也就是說,數(shù)據(jù)盤對于其他節(jié)點(diǎn)不可見,需要節(jié)點(diǎn)之間進(jìn)行協(xié)同、排查,因而性能差。通過采用新的星海(XSEA)存儲(chǔ)架構(gòu),全部數(shù)據(jù)盤對于所有節(jié)點(diǎn)都可見,當(dāng)再次遭遇亞健康的時(shí)候,無需等待,直接剔除反應(yīng)緩慢的亞健康盤,就可以將異常排查從10S縮短到100ms。
此外,有關(guān)GB/$也得到了解決。
因?yàn)橛辛薙hared Everything,一來可以實(shí)現(xiàn)全局EC,大大提高盤的利用率;二來因?yàn)镾hared Everything,從而消除了對于DWPD= 3 SSD緩存盤的需要。也就是以上所說的單層閃存介質(zhì),全部采用低DWPD= 1 的SSD介質(zhì)。
可以預(yù)見,因?yàn)樾呛<軜?gòu)(XSEA),這個(gè)存儲(chǔ)產(chǎn)業(yè)的面貌會(huì)為之一新,星星之火,必然會(huì)成為燎原之勢。
我對星飛全閃存儲(chǔ)的困惑
基于星海架構(gòu),星辰天合在本次發(fā)布會(huì)上發(fā)布了星飛軟件和星飛 9000 一體機(jī)全閃存儲(chǔ),這也是業(yè)界首款采用全共享架構(gòu)的分布式全閃主存儲(chǔ)。
星飛軟件繼承了 XSKY SDS 塊存儲(chǔ)和文件存儲(chǔ)的成熟能力,提供統(tǒng)一存儲(chǔ)平臺(tái),支持融合部署,可以為虛擬化、私有云、OLTP、HPDA、AI/ML 等場景提供支持;星飛 9000提供一流的全閃存儲(chǔ)性能、集中式存儲(chǔ)的可靠性和出眾的空間效率。
在此次發(fā)布會(huì)現(xiàn)場,星辰天合攜手客戶與合作伙伴,重點(diǎn)演示了 NVMe DAS 對比測試、集中式全閃對比測試、公有云高速云盤對比測試三種場景。
星辰天合聯(lián)合英特爾實(shí)驗(yàn)室,測試了面向 OLTP 數(shù)據(jù)庫場景的 NVMe DAS 對比場景。英特爾中國區(qū)解決方案部技術(shù)總監(jiān)高豐表示,經(jīng)過雙方聯(lián)合測試,借助 QAT 加速數(shù)據(jù)壓縮/解壓縮的強(qiáng)大能力,與 NVMe DAS 配置相比,星飛 9000 獲得相同延遲的同時(shí),還可以實(shí)現(xiàn)更高的空間利用率,并大幅降低運(yùn)維成本,提升業(yè)務(wù)連續(xù)性。
在面向 OLAP 數(shù)據(jù)庫場景的集中式全閃對比場景中,星辰天合與江蘇省農(nóng)村信用社聯(lián)合社(簡稱:江蘇農(nóng)信)進(jìn)行了聯(lián)合測試。江蘇農(nóng)信信息科技部云計(jì)算專家曾光明表示,經(jīng)過測試,部署星飛軟件的分布式全閃集群,跟混閃存儲(chǔ)相比有著巨大的性能優(yōu)勢,與既有的集中式全閃性能基本持平,這樣大幅的的性能提升,讓江蘇農(nóng)信對全閃數(shù)據(jù)中心的實(shí)現(xiàn)有了巨大的信心。
越來越多的客戶正在關(guān)注多云化 IT 架構(gòu),特別是數(shù)據(jù)密集型業(yè)務(wù)的下云方案,而既有的集中全閃和分布式存儲(chǔ)產(chǎn)品都無法很好解決客戶在多云存儲(chǔ)規(guī)劃上的挑戰(zhàn)。經(jīng)過與某互聯(lián)網(wǎng)客戶的聯(lián)合項(xiàng)目測試表明,在公有云高速云盤的對比場景測試中,星飛全閃產(chǎn)品能夠?qū)崿F(xiàn)云上云下一致的數(shù)據(jù)服務(wù),可提供更高的冗余度和可靠性保證,并且將整體擁有成本降低 50% 以上。
盡管如此,但是此次星飛 9000全閃存儲(chǔ)一體機(jī)的設(shè)計(jì)方式,還是在一定程度上影響了我對星海Share Everything架構(gòu)的理解。
我的理解中,高端存儲(chǔ)是Share Everything的架構(gòu),好處在于系統(tǒng)管理顆粒度可以精確到盤,可以通過RAID對數(shù)據(jù)盤進(jìn)行保護(hù);與之相比,分布式存儲(chǔ)是通過多副本或者糾刪碼進(jìn)行保護(hù),也可以對故障數(shù)據(jù)盤進(jìn)行更換,但如果存儲(chǔ)節(jié)點(diǎn)出現(xiàn)故障,勢必牽涉到眾多數(shù)據(jù)盤的集體恢復(fù),其管理顆粒粒度應(yīng)該就是存儲(chǔ)節(jié)點(diǎn)。
這也是雙方的差距。
星海Share Everything架構(gòu)的設(shè)計(jì)突破,是不是跨越了管理顆粒度的障礙呢?
如果僅僅從星飛 9000設(shè)計(jì)來看,似乎這個(gè)問題并沒有得到解決。
為此,我也請教了存儲(chǔ)大咖西瓜哥,他解決了我的困惑。他的解釋是:目前星飛 9000采用的是集成一體機(jī)的設(shè)計(jì),外觀上和以往產(chǎn)品相似,但是核心其是已經(jīng)是脫胎換骨了!未來,也會(huì)有分散式部署的產(chǎn)品形態(tài),那時(shí)候,顆粒度的問題就得到了解決,完美媲美集中式存儲(chǔ)!
小結(jié)
縱觀存儲(chǔ)產(chǎn)業(yè)發(fā)展,從直連存儲(chǔ)到網(wǎng)絡(luò)共享存儲(chǔ),再到分布式存儲(chǔ),每一次存儲(chǔ)架構(gòu)的變革都帶來了翻天覆地的變化,也帶來了存儲(chǔ)整體成本的不斷降低,深刻影響產(chǎn)業(yè)發(fā)展的格局。這有些類似當(dāng)年互聯(lián)網(wǎng)應(yīng)用架構(gòu),從C/S到B/S架構(gòu)的轉(zhuǎn)變,基于HTML和HTTP標(biāo)準(zhǔn)迅速普及開來,推動(dòng)了互聯(lián)網(wǎng)應(yīng)用成本的急速降低和大流行;從大型機(jī)、小型機(jī)到x86標(biāo)準(zhǔn)化服務(wù)器的變革,推動(dòng)了算力的大發(fā)展,而到了云計(jì)算架構(gòu)時(shí)代,讓算力成為了更為便利使用的能力;在芯片領(lǐng)域,從封閉的主機(jī)芯片、相對封閉的CISC芯片,到開放乃至開源的ARM架構(gòu)和RISC-V架構(gòu),不斷地將芯片設(shè)計(jì)的成本大幅度降低,大幅地推動(dòng)了芯片的無處不在的使用。
存儲(chǔ)架構(gòu)變革也是如此。如今 XSKY星海架構(gòu)(XSEA)的發(fā)布,將存儲(chǔ)架構(gòu)變革帶到了Share Everything的門前。從Share Nothing到Share Everything并不是簡單的技術(shù)升級(jí),而是一場從里到外的革命。因?yàn)镾hare Everything,分布式存儲(chǔ)的計(jì)算和存儲(chǔ)將實(shí)現(xiàn)徹底的分離,計(jì)算不足擴(kuò)計(jì)算,存儲(chǔ)不足擴(kuò)存儲(chǔ),不僅如此,更為重要的是,它突破了影響分布式存儲(chǔ)技術(shù)應(yīng)用的三大痼疾,從而讓存儲(chǔ)的面貌為之一新,也必將開創(chuàng)并引領(lǐng)存儲(chǔ)產(chǎn)業(yè)的新局面!
這算不算令人驚嘆?
讓我們跟上技術(shù)發(fā)展的步伐!