從整體上看,京東云華東數(shù)據(jù)中心建設(shè)于2015年,總投資35億,一期投資15億,二期計劃投資8至10億,現(xiàn)已投入6億,整個園區(qū)占地200畝左右,相當于19個足球場大小,是京東云骨干網(wǎng)絡(luò)節(jié)點核心數(shù)據(jù)中心之一。
我們知道,數(shù)據(jù)中心的設(shè)計當中,選址時就必須考慮到能耗和成本的問題。所以,京東云華東數(shù)據(jù)中心選址在了宿遷湖濱新區(qū)的駱馬湖畔,氣候上全年平均氣溫14度,自然條件有利于數(shù)據(jù)中心節(jié)能減排。同時,區(qū)內(nèi)地表水系十分發(fā)達,河渠縱橫,有京杭大運河穿境而過,北倚駱馬湖,南臨洪澤湖,水務(wù)資源極其豐富,為數(shù)據(jù)中心提供了充足的水源保障。
而從電力保障方面,宿遷處于西電東輸和年發(fā)電量140億度的田灣核電站的高壓走廊,能源及電力供應(yīng)充足,具有高質(zhì)量的輸電網(wǎng)絡(luò)和充裕的供電能力。這是基于這些區(qū)位優(yōu)勢,和電力以及成本優(yōu)勢。很顯然,京東云華東數(shù)據(jù)中心從建設(shè)之初,就已經(jīng)向著超級云數(shù)據(jù)中心的方向在規(guī)劃和布局了。
從目前,建設(shè)的情況看,京東云華東數(shù)據(jù)中心整體由4個規(guī)模相當?shù)脑茢?shù)據(jù)中心模塊和1棟綜合大樓組成。
在現(xiàn)場,我們發(fā)現(xiàn)這四個云數(shù)據(jù)中心模塊,均由層高7.5米的單層建筑組成。這樣設(shè)計的好處在于:服務(wù)器和機柜等設(shè)備不受電梯限制,可直接推入機房,安裝部署效率更高。同時,數(shù)據(jù)中心機房采用地板下送風設(shè)計,承重仍可達到每平方米1噸,無需考慮擴容后的樓板和支撐加固問題。
單個數(shù)據(jù)中心模塊的建立面積為6萬多平米,總機柜數(shù)1138個,分別布置在10個模塊機房內(nèi),4個標準模(4KW)、3個高密模塊(8KW)2個網(wǎng)絡(luò)傳輸間,和1個微模塊(12W)機房,總能存放約4萬5千多臺標準服務(wù)器。關(guān)鍵在于,每個數(shù)據(jù)中心模塊內(nèi)部由這些小模塊組合而成,并且可根據(jù)使用需求靈活布置、調(diào)整模塊內(nèi)容。
據(jù)介紹,1號模塊于2016年年初投產(chǎn)運營,現(xiàn)有業(yè)務(wù)包括京東云,京東商城,京東數(shù)科及宿遷市政府、中國聯(lián)通、中國電信等。其他模塊也將在近期陸續(xù)投入運營。
從可靠到節(jié)能的細節(jié)思考
數(shù)據(jù)中心承載著客戶最核心的價值數(shù)據(jù),所以數(shù)據(jù)中心的安全和可靠的運行,也一直是對數(shù)據(jù)中心最核心的要求。
第一,電力保障方面,京東云華東數(shù)據(jù)中心設(shè)計了三重保證。
首先,京東云自建了純雙路110KV專用變電站。雙路的好處是,當其中一路檢修或發(fā)生故障時,另一路完全滿足園區(qū)內(nèi)所有設(shè)備的正常用電需求,形成了電力供應(yīng)上的基本保障。
其次是雙路UPS,其中兩個生產(chǎn)機房和兩個網(wǎng)絡(luò)機房電子的供電模式為2N,其余六個生產(chǎn)機房的供電模式則為N+1。單臺UPS后備蓄電池支撐時間均不小于15分鐘。
最后是N+1柴油發(fā)電系統(tǒng)。京東云為每棟機房樓配置2200KW發(fā)電機組作為后備電源,具備連續(xù)滿載12小時的運行能力。具體說來,共8臺柴油發(fā)電機,分布于兩個房間,N+1配置,45秒啟動,90秒到末端負載。
舉個例子,當一路市電電源故障時,110KV變電站內(nèi)10KV母線聯(lián)絡(luò)開關(guān)動作,故障回路負荷均由另一回路承擔;當兩路市電電源均發(fā)生故障時,機房模塊內(nèi)負荷由UPS蓄電池供電,同時備用柴油發(fā)電機組啟動,向機房模塊、空調(diào)冷源、照明等負荷供電,由此構(gòu)成三重供電保障。
第二,在綠色節(jié)能方面,對于數(shù)據(jù)中心來說,日常成本中的60%來自于電費,所以如何建設(shè)綠色節(jié)能的數(shù)據(jù)中心,是第一大挑戰(zhàn)。
之所以選址宿遷,其實也有節(jié)能方面的思考。宿遷可利用的室外自然冷源的條件比較充足。為了充分利用冬季室外天然冷源進行自然冷卻,冷凍水系統(tǒng)設(shè)置了板式換熱器,與冷水機組并聯(lián)。京東云還增加了一套自主設(shè)計的氣候環(huán)境采集控制系統(tǒng),完全實現(xiàn)了制冷系統(tǒng)根據(jù)室內(nèi)外環(huán)境溫度、濕度、系統(tǒng)負荷大小、平滑連續(xù)的調(diào)節(jié)各組件運行狀態(tài),始終保持系統(tǒng)在最佳的效率區(qū)間。而且全年可以”免費“使用自然冷源的時間高達180天以上,直接節(jié)約電費數(shù)百萬元以上,做到最大程度上的節(jié)電。
京東云華東數(shù)據(jù)中心一直將綠色環(huán)保的理念貫穿于整個生命周期,最大PUE<1.4,環(huán)保措施遠遠高于傳統(tǒng)機房,能效達到國內(nèi)一流水平。
第三,數(shù)據(jù)中心發(fā)展趨勢正呈現(xiàn)運維服務(wù)對于任何一個數(shù)據(jù)中心運營來說都是一個復雜而又艱巨的工作,而京東云華東數(shù)據(jù)中心提供了全天候、全數(shù)字化的監(jiān)控,確保了數(shù)據(jù)中心的100%無憂運維,讓業(yè)務(wù)永遠在線。在京東每年618這樣的流量洪峰當中,京東云數(shù)據(jù)中心都成為了業(yè)務(wù)永續(xù)背后的“無名英雄”。
第四,算力是衡量一個數(shù)據(jù)中心絕對競爭力的關(guān)鍵指標,京東云已經(jīng)將數(shù)據(jù)中心的產(chǎn)品架構(gòu)整體進行了迭代更新。硬件方面開發(fā)了多樣性的產(chǎn)品創(chuàng)新,比如新一代云主機、云物理機、GPU云主機、GPU云物理機、云硬盤、原生容器、高可用組等等。因為這些技術(shù)基礎(chǔ),京東云面對突發(fā)流量實現(xiàn)了秒級擴容,平穩(wěn)、安全地度過了數(shù)次訂單洪峰。
據(jù)我了解,目前京東云也在與INTEL微軟數(shù)據(jù)中心技術(shù)進行廣泛的產(chǎn)品創(chuàng)新。例如在計算方面:圍繞INTEL的CPU進行定制化,自研JD的整機柜服務(wù)器開發(fā),以及JD業(yè)務(wù)線上CPU性能聯(lián)合進行分析優(yōu)化;在存儲方面:圍繞INTEL SSD技術(shù)的研究與合作,高性能存儲方案場景挖掘和低成本存儲方案在JD的應(yīng)用場景挖掘;在AI方面:圍繞Intel Nervana GPU和CPU VNNI加速方案的場景化挖掘和DCM技術(shù)的智能IDC運維技術(shù)研究合作;在網(wǎng)絡(luò)方面:圍繞JD&INTEL智能網(wǎng)卡聯(lián)合開發(fā)與合作,針對RDMA、Adq以及DPDK等性能優(yōu)化方案的場景挖掘。
總體而言,京東云華東數(shù)據(jù)中心為我們展現(xiàn)了一個超級云數(shù)據(jù)中心應(yīng)該有的樣子,作為京東電商業(yè)務(wù)的內(nèi)部支撐,和政務(wù)云等行業(yè)應(yīng)用的數(shù)字底座,京東云也證明了超級云必有超級云數(shù)據(jù)中心的意義。
為什么超級云必有超級云數(shù)據(jù)中心
我們知道,數(shù)據(jù)中心是云計算、AI時代的硬核,有了數(shù)據(jù)中心的支撐,互聯(lián)網(wǎng)、云計算才得以高速發(fā)展,冰冷的數(shù)據(jù)中心如同高鐵之于國計民生,作為云和人工智能的底座,承載著這些新技術(shù)與行業(yè)創(chuàng)新相結(jié)合的使命。
首先,一個有全局化視野的云服務(wù)商,當然需要一個全局化的數(shù)據(jù)中心布局。目前,除宿遷數(shù)據(jù)中心外,全國范圍內(nèi),京東云公有云目前已完成4區(qū)域 、10可用區(qū)(華北北京、華東上海、華東宿遷、華南廣州)的整體布局,另有數(shù)十個遍布全國的IDC設(shè)施。未來,京東云將積極擴展布局自建數(shù)據(jù)中心,滿足合作伙伴數(shù)據(jù)中心轉(zhuǎn)型等多維度需求。
其次,作為一個超級云服務(wù)商,京東云盡管開放的要晚一些,但從數(shù)據(jù)中心的維度來看,無論是服務(wù)器的規(guī)模上,節(jié)能環(huán)保的技術(shù)領(lǐng)先,還是未來的全局規(guī)劃至少不輸于其他云服務(wù)商。
第三,京東云華東數(shù)據(jù)中心通過宿遷政務(wù)云的項目,形成了很好的行業(yè)積累。憑借宿遷市大數(shù)據(jù)中心,京東云還榮獲了“可信云十大用戶獎”,通過工信部“政務(wù)云綜合水平評估”(先進級)和“可信政務(wù)云評估”。并入選IDC測評全國6大政務(wù)云典型案例、信通院《中國政務(wù)云發(fā)展白皮書》優(yōu)秀案例,可信云全國十佳政務(wù)云、工信部全國百家大數(shù)據(jù)優(yōu)秀案例等等。
可見,以京東云數(shù)據(jù)中心的技術(shù)能力為基礎(chǔ),京東云已經(jīng)形成了完整向各行各業(yè)輸出數(shù)字化技術(shù)的能力集。
第四,數(shù)字經(jīng)濟本身會有一種“溢出”效應(yīng),而數(shù)據(jù)中心作為科技創(chuàng)新和技術(shù)應(yīng)用的實體,已成為各行各業(yè)信息化發(fā)展的關(guān)鍵基礎(chǔ)設(shè)施,為數(shù)字經(jīng)濟發(fā)展提供了有力支撐。以數(shù)據(jù)中心為原點,也會形成產(chǎn)業(yè)生態(tài)的升級。
例如,宿遷就借助京東影響力和生態(tài)資源,吸引大批上下游企業(yè)以及同類企業(yè)入駐宿遷,形成電子商務(wù)產(chǎn)業(yè)集群,做到了本地化的產(chǎn)業(yè)升級,推動了向數(shù)字經(jīng)濟轉(zhuǎn)型。當越來越多的行業(yè)客戶通過京東云數(shù)據(jù)中心提供的平臺服務(wù)、基礎(chǔ)產(chǎn)品和干線平臺,走向數(shù)字化轉(zhuǎn)型。京東云也證明了,為什么超級云背后必有超級云數(shù)據(jù)中心的意義。
【文/鄭凱】