HPC集群系統(tǒng)的選擇指標
比特網(wǎng) 發(fā)表于：10年10月14日 09:46 [轉(zhuǎn)載] 比特網(wǎng)
HPC集群系統(tǒng)的選擇指標
Linpack是最常被提起的性能指標，因為全球的HPC TOP500排行榜和中國TOP100排行榜都是以它為標準對HPC系統(tǒng)進行排名，企業(yè)用戶在選購HPC時也非常關(guān)心Linpack值，同時也由于中國近兩年來的HPC集群都創(chuàng)造了Linpack中國新高，因此更加引起了用戶關(guān)注。
不過這一僅僅注重硬件性能的說法早已遭受質(zhì)疑，英特爾中國服務器產(chǎn)品事業(yè)部產(chǎn)品經(jīng)理顧凡曾多次堅持"超級計算機只是個工具，高性能計算應當回歸應用"的觀點，而來自863高性能計算機評測室主任、清華大學計算機學院副主任陳文光教授也認為，這兩個指標還不是很夠，以峰值為導向的測試很有可能造成這與實際應用不是很匹配，所以還要看應用的性能。
陳文光介紹說，傳統(tǒng)的評測室僅在系統(tǒng)驗收階段進行測試，而全過程測試則是力求在設計和購買、實施與驗收等各個階段盡早發(fā)現(xiàn)系統(tǒng)存在的問題，減少損失，評測方案主要包括：評測設計方案是否滿足需求、購買什么樣的處理器、內(nèi)存多大等問題。
面向應用的高性能計算測試：
購買評估的時候，系統(tǒng)還不存在：能否對處理器、內(nèi)存、網(wǎng)絡、存儲、功耗等都進行完整的測試？
首先請各家系統(tǒng)供應商提供所構(gòu)建高性能計算機的一個節(jié)點進行測試，測試僅對處理器和內(nèi)存的選取提供指導意見，網(wǎng)絡存儲等指標由其它輔助方法確定。網(wǎng)絡現(xiàn)在一般是40Gbps的Infiniband連接方案，但是是否全連接按照預算和使用模式來確定，I/O存儲按預算和應用的I/O要求來選擇高端或者中高端產(chǎn)品。
應用測試階段：選取哪些應用進行測試？選取的標準使什么？如何把評測結(jié)果歸結(jié)為性能指標？
選取思路：重要客戶的代表性應用， 5-10個即可覆蓋一個高校網(wǎng)格計算的典型應用。英特爾HPC架構(gòu)師陳健在接受筆者采訪時曾表示，這個步驟主要由用戶完成，畢竟最后的應用肯定用戶最了解，現(xiàn)在一般在選擇應用作為測試的石油行業(yè)應用時，通常會選擇地震資料處理軟件GeoEast、Geodepth、GeoCluster等作為測試對象，主要的應用是地震資料解釋、油藏模擬，而選擇的原則是真實、有代表性、可重復。
如何選擇處理器？
當應用確定后，也會進行相應的處理器選擇。如果該用戶多以計算密集型應用為主，那么英特爾至強5600系列服務器處理器會是一個很好的選擇，至強5600系列處理器采用32nm制程工藝，這是英特爾處理器中首批采用該工藝、并最多集成了六個內(nèi)核的芯片產(chǎn)品。除此之外，該系列處理器集成了上一代產(chǎn)品的智能計算特性，如使用英特爾睿頻加速技術(shù)、英特爾超線程技術(shù)等。
在具體的時鐘頻率和功耗方面，至強5600系列中高端四核型號的最高主頻可達3.46GHz，封裝功耗為 130w;高端六核型號的主頻可達3.33GHz，封裝功耗問95w。低電壓版的四核及六核處理器功耗僅為40w和60w，該系列處理器已經(jīng)成功打破12 項與雙路系統(tǒng)相關(guān)的性能紀錄。
而用戶如果多為內(nèi)存敏感型應用，則可以選擇以至強7500為基礎(chǔ)搭建的胖節(jié)點進行測試。憑借相當于至強處理器 7400系列8倍的內(nèi)存帶寬，以及每個處理器搭配的16根內(nèi)存插槽帶來的相當于前一代產(chǎn)品4倍的內(nèi)存容量提升，至強7500系列在四路服務器平臺中能夠支持高達1TB的內(nèi)存容量，而整體性能平均比上一代產(chǎn)品提高三倍之多。
至強處理器7500系列是首款具備機器校驗架構(gòu)恢復功能的至強處理器產(chǎn)品，該功能可讓處理器與操作系統(tǒng)和虛擬機管理器協(xié)作，將系統(tǒng)從致命的錯誤中恢復出來。而此前此功能僅用于安騰處理器和一些RISC處理器產(chǎn)品中。
測試程序規(guī)模：可在一個節(jié)點上執(zhí)行，可以放在一個節(jié)點的內(nèi)存里執(zhí)行執(zhí)行時間大概在1000s左右，清華大學在氣象預報領(lǐng)域應用多一些，選取這樣的應用程序來測試，因為評測本身也與開銷，因此不用選取耗時過長的應用。
測試技巧：采用相對性能法，將測試程序在一個參考系統(tǒng)上的執(zhí)行時間作為參考時間，將測試程序在待測系統(tǒng)上的執(zhí)行時間與參考時間的比值作為該測試程序在該系統(tǒng)上的性能;系統(tǒng)的整體性能為所有測試程序在該系統(tǒng)上性能的幾何平均。
陳文光教授認為，對于這種評測應當避免理論峰值、Linpack性能等性能指標的不足，根據(jù)實際使用的應用程序來測試，測試單個節(jié)點可以對 CPU內(nèi)存選型給予很好的指導，對網(wǎng)絡的選取已經(jīng)有相關(guān)技術(shù)可預測并行程序的性能。
要點指標：優(yōu)化及未來的移植成本
盡管本文所談的是HPC硬件的選擇，但是在選擇過程中絕不應該放棄對軟件優(yōu)化以及軟件移植成本的考慮，陳健表示，HPC的選擇絕非硬件的單純增加，尤其如果要更換平臺的話一定要將軟件代碼以及軟件優(yōu)化、代碼移植的成本和日后應用考慮進去。
考慮到全球超級計算機Top500榜單的分布優(yōu)勢，以及筆者對國內(nèi)能源行業(yè)的應用狀況了解，擁有一套共用工具的英特爾架構(gòu)會是理想的選擇。
這套工具也是為什么在這期Top500榜單中基于英特爾處理器的系統(tǒng)能取得靠前的位置的一個原因。剛剛上任的英特爾公司高性能計算業(yè)務總經(jīng)理Rajeeb Hazra介紹說，如果大家也跟蹤過此前的Top500 的話就會發(fā)現(xiàn)，排名靠前的系統(tǒng)趨勢已經(jīng)從只跑一個應用、負載一個應用，到現(xiàn)在負載越來越多不同的應用。
因為I/A架構(gòu)系統(tǒng)跨多個應用程序的能力非常強，服務于多個不同應用特征程序能力非常強。隨著TOP500排名靠前的系統(tǒng)會越來越多用于承載多應用，IA架構(gòu)的系統(tǒng)應當呈現(xiàn)出上升的趨勢。
英特爾有一個非常大的優(yōu)點就是能夠隨時傾聽用戶的聲音，無論是至強搭建的HPC集群還是MIC要解決的并行應用，他們注意到了一個問題，那就是能不能提供一套工具，將這看起來不同的平臺上的應用編程環(huán)境統(tǒng)一起來。
英特爾希望無論對至強還是一個集成眾核的架構(gòu)的用戶來說，用來進行代碼優(yōu)化、應用調(diào)優(yōu)的是同一套工具，用來協(xié)調(diào)多核以及眾核的任務，前任高性能計算業(yè)務總經(jīng)理Richard Dracott認為，"只有軟件這部分才是我們的核心價值，因為我們會幫助客戶用集成眾核的產(chǎn)品去適應高度并行的應用，并且在代碼方面付出極少的代價。"
而陳文光老師的測試方法也正好是"真實的應用程序性能最重要"的體現(xiàn)，不過無論是哪種方法，根據(jù)實際性能選擇硬件都應當是最應該被優(yōu)先關(guān)注的一點。
