中國(guó)移動(dòng)南方基地外景
揭破世界難題的蘋果,為何落在了林湧雙的頭上?
我懷著好奇的心情向林湧雙詢問(wèn)了這一問(wèn)題。
2010年,林湧雙來(lái)到南方基地,發(fā)現(xiàn)僅一年的電費(fèi)就超過(guò)億元,數(shù)據(jù)中心如何節(jié)能成為他一直思考的問(wèn)題。
一次偶然的機(jī)會(huì),林湧雙碰到同獲廣東省科技進(jìn)步一等獎(jiǎng)的老朋友,交流中對(duì)方談到“山有多高,水就有多長(zhǎng),熱管散熱是效果最快的方法?!?/p>
高密度IDC冷卻是世界性的難題。不僅是數(shù)據(jù)中心,雷達(dá)、高鐵等行業(yè)都有高密度散熱問(wèn)題。
過(guò)去,數(shù)據(jù)中心行業(yè)的人對(duì)熱力學(xué)不夠了解,降低PUE值的常用方法有:一、管理氣流,即數(shù)據(jù)中心設(shè)計(jì)盡量減少熱空氣和冷空氣混合;二、優(yōu)化電源布局,通過(guò)減少電流轉(zhuǎn)換來(lái)減少分布式電源帶來(lái)的電能損耗;三、提升制冷效率,利用水冷提高散熱效率。
跨界,讓破解難題的蘋果砸到了有準(zhǔn)備的人頭上。
南方基地很快確定了“去空調(diào)”、“去UPS”的改進(jìn)方向,并打算從致冷節(jié)能技術(shù)進(jìn)行突破,降低PUE值。
中國(guó)移動(dòng)南方基地?cái)?shù)據(jù)中心液/氣雙通道精準(zhǔn)高效致冷系統(tǒng)
前期調(diào)研,選擇“芯片級(jí)”熱管水冷方案
目前IDC致冷節(jié)能技術(shù)已經(jīng)歷四代演變:從傳統(tǒng)的“機(jī)房級(jí)”致冷、“模塊級(jí)”和“機(jī)架級(jí)”致冷,再到“芯片級(jí)”致冷。
前三種為非接觸式致冷,散熱系統(tǒng)需低溫空氣作為散熱媒介,系統(tǒng)熱阻較高;最后一種為接觸式致冷,散熱系統(tǒng)無(wú)需空氣作為介質(zhì),系統(tǒng)熱阻可大大降低。
“芯片級(jí)”致冷技術(shù)可在確保安全工作的前提下,進(jìn)行高效散熱,南方基地決定采用全新的“芯片級(jí)”致冷方案。
三雄逐鹿,花落浪潮
問(wèn)題也隨之而來(lái)了:芯片級(jí)致冷方案雖好,但必須對(duì)服務(wù)器進(jìn)行定制。
南方基地邀請(qǐng)了浪潮和另外兩家服務(wù)器廠商同時(shí)對(duì)芯片級(jí)致冷方案進(jìn)行研發(fā)。南方基地提出了熱管水冷的方案,這與浪潮提出的解決方案不謀而合,而另外兩家服務(wù)器廠商則分別提出了浸泡式和直接水冷方案。
熱管水冷方案擁有可靠性高、維護(hù)便利、低成本、工藝復(fù)雜度低等優(yōu)勢(shì),理論上在滿足PUE值降低至小于等于1.2這個(gè)主要目標(biāo)的同時(shí),產(chǎn)品化的概率更高。而另外兩家服務(wù)器廠商的水冷方案雖然理論上也能滿足降低PUE值的目標(biāo),但要么實(shí)現(xiàn)成本太高,要么后期維護(hù)復(fù)雜,要么工藝復(fù)雜度高,均不具備向市場(chǎng)大規(guī)模推廣的條件。
基于以上優(yōu)勢(shì),熱管水冷方案是更適合南方基地改造的方案。南方基地對(duì)三種方案進(jìn)行了長(zhǎng)達(dá)2年的測(cè)試,用夏天最極端的高溫天氣測(cè)試獲得的PUE值為參考,對(duì)方案進(jìn)行了評(píng)估,經(jīng)過(guò)綜合衡量,最終確定,熱管水冷的方案是可行的。
協(xié)調(diào)資源,整體交付
在本次項(xiàng)目中,南方基地除了對(duì)方案有非常嚴(yán)謹(jǐn)?shù)囊?,?duì)服務(wù)器廠商也提出了很高的要求:必須具備豐富的行業(yè)經(jīng)驗(yàn),充分了解客戶需求,具備完善的方案解決能力,并在行業(yè)內(nèi)擁有很大影響力。
最終,南方基地選擇了浪潮作為項(xiàng)目的總集成,整合各方資源,最終將完整的服務(wù)器液冷方案進(jìn)行交付驗(yàn)收。(其中申菱負(fù)責(zé)外部制冷、新創(chuàng)意負(fù)責(zé)CPU熱管、華南理工負(fù)責(zé)科研理論配合、盈嘉軟件負(fù)責(zé)系統(tǒng)監(jiān)控。)
三大技術(shù)挑戰(zhàn)
在方案實(shí)現(xiàn)過(guò)程中,面臨著三個(gè)主要的技術(shù)挑戰(zhàn)。
首先是對(duì)服務(wù)器的改造,浪潮對(duì)傳統(tǒng)雙路服務(wù)器浪潮NF5280M4進(jìn)行了設(shè)計(jì)調(diào)整,以熱管液冷模塊代替?zhèn)鹘y(tǒng)的散熱翅片模塊,通過(guò)自然熱傳導(dǎo)帶走CPU等高發(fā)熱密度芯片的熱量。即使使用溫度高達(dá)45℃的水流,也可對(duì)CPU進(jìn)行高效散熱,使其工作溫度保持在正常范圍內(nèi)。
改造過(guò)程中遇到了許多問(wèn)題,例如,液冷方案改變了服務(wù)器的整體散熱策略,改造影響了風(fēng)扇的正常運(yùn)轉(zhuǎn),經(jīng)常導(dǎo)致服務(wù)器死機(jī),浪潮研發(fā)人員經(jīng)過(guò)多次嘗試,把服務(wù)器風(fēng)扇數(shù)量減少到3個(gè)或2個(gè),成功解決了這一問(wèn)題。在設(shè)計(jì)熱管時(shí),熱管的形狀和排布也會(huì)影響到實(shí)際的散熱效果,浪潮聯(lián)合新創(chuàng)意的研發(fā)人員經(jīng)過(guò)配合并多次優(yōu)化,最終找到了散熱效率最高的方式。
其次是致冷系統(tǒng)的改造,由冷卻塔、板式換熱器、雙循環(huán)水路代替?zhèn)鹘y(tǒng)精密空調(diào),采用雙通道設(shè)計(jì):“接觸式”致冷通道,排走高功耗高密度元器件的熱量;“非接觸式”致冷通道,排走低功耗低密度元器件熱量。為了保證服務(wù)器的運(yùn)行安全,浪潮和申菱共同承擔(dān)起方案優(yōu)化,即將水流進(jìn)行分區(qū),外循環(huán)封閉于致冷設(shè)備間,同時(shí)在服務(wù)器接口部分設(shè)計(jì)了防漏接頭,內(nèi)循環(huán)采用無(wú)腐蝕絕緣冷媒,以負(fù)壓方式驅(qū)動(dòng)水流,經(jīng)反復(fù)測(cè)試發(fā)現(xiàn),這種方式即便出現(xiàn)水路漏點(diǎn)也不會(huì)對(duì)服務(wù)器造成影響。
最后是對(duì)供電系統(tǒng)的改造,采用市電直供,供電效率接近100%,使用高壓直流作為熱備份,確保市電失壓時(shí)無(wú)縫切換。
在項(xiàng)目中標(biāo)后2個(gè)多月的時(shí)間里,浪潮與南方基地項(xiàng)目組積極合作整合多方資源,將想法變?yōu)榱爽F(xiàn)實(shí),將基礎(chǔ)架構(gòu)成功落地,PUE降低至了1.2以下。
成為PUE1.2以下國(guó)家綠色節(jié)能標(biāo)桿
與傳統(tǒng)數(shù)據(jù)中心相比,這種新型數(shù)據(jù)中心節(jié)能效果突出,能效指標(biāo)PUE值可由平均2.2下降到1.2以下。省電節(jié)能高達(dá)45%,在同等業(yè)務(wù)能力下減少機(jī)房建筑面積70%以上,配套投資下降10%以上,并可廣泛應(yīng)用于高溫高濕地區(qū),能有效推動(dòng)我國(guó)數(shù)據(jù)中心的綠色發(fā)展。
這種芯片級(jí)節(jié)能綠色數(shù)據(jù)中心建設(shè)方案可有效降低能耗,目前,該科技成果已獲得發(fā)明專利16項(xiàng)、實(shí)用新型專利35項(xiàng),并成功入選了國(guó)家2015年工業(yè)轉(zhuǎn)型升級(jí)資金綠色制造項(xiàng)目名單,關(guān)鍵技術(shù)成果被工信部鑒定為“國(guó)際領(lǐng)先水平”。
“數(shù)據(jù)中心液/氣雙通道精準(zhǔn)高效致冷系統(tǒng)”示意圖
點(diǎn)評(píng):
從此次項(xiàng)目的采訪中,筆者深深地感到:
首先,新方案的形成與跨界的突破點(diǎn),機(jī)遇需要有準(zhǔn)備的人。
其次,原理上有了突破,接下來(lái)就是工藝改造的問(wèn)題,這需要有看準(zhǔn)結(jié)果,勇于投入的魄力。
為什么是浪潮而不是另外兩家廠商?據(jù)悉,服務(wù)器重構(gòu),一塊主板的成本要數(shù)千萬(wàn)元以上。
南方基地的第一批實(shí)驗(yàn)性的采購(gòu)中,只有70臺(tái)服務(wù)器,由于量太少,多數(shù)廠商不愿意進(jìn)行工藝改變,如果是七萬(wàn)臺(tái)的量,大家削尖腦袋也要進(jìn)來(lái)。
但是,就是在那一刻,浪潮慧眼識(shí)寶,認(rèn)準(zhǔn)了南方基地的想法在未來(lái)一定能夠成為主流技術(shù),所以可以不考慮短期效益,對(duì)創(chuàng)新勇于投入。
南方基地除了承擔(dān)業(yè)務(wù)重任,還肩負(fù)著對(duì)IT支撐架構(gòu)進(jìn)行創(chuàng)新研究和運(yùn)維探索的重任。南方基地對(duì)數(shù)據(jù)中心的改造,目標(biāo)是將PUE值降低至1.2的國(guó)際數(shù)據(jù)中心領(lǐng)先水平,節(jié)省大量電力成本,實(shí)現(xiàn)綠色節(jié)能,這對(duì)目前業(yè)務(wù)量極具增加的中國(guó)移動(dòng)更是意義非凡。
同時(shí)可以預(yù)期,改造后的方案應(yīng)用還可以推廣到中國(guó)移動(dòng)其他數(shù)據(jù)中心乃至整合其他行業(yè)數(shù)據(jù)中心,成為業(yè)界的標(biāo)桿。目前,工信部、國(guó)家超算中心領(lǐng)導(dǎo),以及美國(guó)IDC行業(yè)的同行都對(duì)“數(shù)據(jù)中心液/氣雙通道精準(zhǔn)高效致冷系統(tǒng)”表示了認(rèn)可。
祝愿“數(shù)據(jù)中心液/氣雙通道精準(zhǔn)高效致冷系統(tǒng)”早日量化,造福行業(yè)、造福社會(huì)!