京東與英特爾成立數(shù)據(jù)計算聯(lián)合實驗室
早在2014年，京東就與英特爾建立了聯(lián)合實驗室，合作的方向主要是開發(fā)京東要研發(fā)的虛擬試衣試戴、3D物品展示等服務，非常值得注意的雙方從此時開始研發(fā)定制服務器。定制服務器是每個大型互聯(lián)網(wǎng)公司都在做的業(yè)務，谷歌就是一家服務器公司，不過服務器只給自己用，超大規(guī)模數(shù)據(jù)中心普遍在使用ODM的白牌機，而非一般的商用標準服務器。
包括京東在內(nèi)的超大規(guī)模數(shù)據(jù)中心，定制服務器的初衷都是為了降低基礎設施的運營成本，但在過程中，為了滿足業(yè)務的需求而做的調(diào)整在不知不覺間鍛煉了自身的技術水平，也有了跟像英特爾這樣的科技公司進行合作的技術基礎。
如京東集團副總裁，大數(shù)據(jù)與智能供應鏈事業(yè)部總裁裴健所言，英特爾提供了最新的硬件以及相應的軟件解決方案，讓京東及時用這些新技術研發(fā)出了行業(yè)解決方案，而反過來，英特爾作為一家技術服務商，也收獲了行業(yè)實踐經(jīng)驗。
數(shù)據(jù)是互聯(lián)網(wǎng)公司業(yè)務的核心資產(chǎn)，而京東大數(shù)據(jù)平臺承載著這些核心資產(chǎn)，許多非常重要的業(yè)務都要依靠于大數(shù)據(jù)平臺的服務，數(shù)據(jù)平臺上的業(yè)務規(guī)模非常大，包括供應鏈數(shù)據(jù)、交易數(shù)據(jù)、物流、輿情、政策等數(shù)據(jù)都要匯聚于此，據(jù)了解，京東的大數(shù)據(jù)平臺上約有4萬臺服務器，每天處理超過100萬任務，數(shù)據(jù)總量超過800PB，而且以每天1PB的規(guī)模增長。
在京東與英特爾大數(shù)據(jù)合作備忘錄簽約儀式上，京東集團副總裁，大數(shù)據(jù)平臺負責人翁志談起與英特爾合作的過往。
翁志對于與英特爾合作的第一個項目記憶猶新，那是一個加速HAProxy（一個應用非常普遍的負載均衡方案）數(shù)據(jù)加解密的技術合作，在英特爾的幫助下，最終用上百塊處理器卡使得數(shù)據(jù)傳輸?shù)男蚀蟠筇岣?，使京東整個數(shù)據(jù)流量得到了一個很好的提升。
Spark是一個非常流行的大數(shù)據(jù)分析處理框架，京東大數(shù)據(jù)平臺主要的流計算、離線計算都是由它來完成的，英特爾在Spark上以及許多相關的工具上也有很多貢獻，簡而言之，就是因為英特爾也非常懂Spark，所以，合作中出現(xiàn)了很多成果豐碩的項目。
Adaptive Execution可以用來優(yōu)化Spark的工作負載，英特爾有這方面的專家，在英特爾的幫助下，京東大數(shù)據(jù)平臺的數(shù)據(jù)存取效率得到了大幅提升，能在較短的時間內(nèi)完成一些數(shù)據(jù)的存儲任務，從而更好地滿足業(yè)務需求。
BigDL是一個基于Spark的分布式深度學習框架，可以基于現(xiàn)有的Spark進行計算，在英特爾提供的數(shù)學函數(shù)庫的幫助下，京東大數(shù)據(jù)平臺提升了硬件的利用能力，而且，Spark技術在京東大數(shù)據(jù)平臺的整個技術平臺的應用也越來越多。
英特爾有一系列基于硬件的創(chuàng)新產(chǎn)品方案，除了至強可擴展處理器，英特爾的NvMe SSD以及最新的基于3D Xpoint的Optane（傲騰）也在京東大數(shù)據(jù)得到了應用，英特爾的傲騰技術既可以作為比DRAM慢的內(nèi)存來用，也可以用作存儲比NAND介質(zhì)SSD快的SSD來用。
傲騰用作內(nèi)存的時候，雖然一些性能比DRAM差一截，但它非常適用于內(nèi)存計算的場景，能突破系統(tǒng)識別內(nèi)存容量的限制，翁志表示非常適用于聚和計算，在海量計算方面也有發(fā)揮的價值。當用作SSD的時候，傲騰在高負載下的穩(wěn)定表現(xiàn)能提供普通SSD難以企及的價值，這些優(yōu)點京東大數(shù)據(jù)平臺都看在眼里。
說到底英特爾是一家硬件平臺公司，但為了讓新的工作負載更好地運行在這些平臺上，需要做許多工作，從一定程度上來講，英特爾也是一家軟件公司，而且軟件工程師涉獵的范圍還都比較多，只要是英特爾硬件涉及到的領域，響應的就會有做這方面軟件方案的軟件工程師，無論大數(shù)據(jù)、人工智能、IoT、區(qū)塊鏈，所有涉及的領域都有英特爾工程師的身影。
英特爾公司軟件和服務部門副總裁，數(shù)據(jù)分析部門負責人馬子雅在談及與京東的合作時表達出這樣一層意思，因為雙方對于技術創(chuàng)新有著共同的追求，才有了種種深度的合作，作為用戶，京東對技術的態(tài)度是實際行動也收獲了許多業(yè)內(nèi)的最佳實踐，走在了業(yè)內(nèi)同行前面，而英特爾，也在服務于類似于京東這樣的客戶的時候累計了豐富的經(jīng)驗。
目前，京東正在著力打造下一代可擴展的大數(shù)據(jù)平臺，該平臺具備建立高級數(shù)據(jù)分析能力，為此，京東和英特爾除了在軟件領域展開深入合作外，京東大數(shù)據(jù)也在計算、存儲、網(wǎng)絡等領域充分利用英特爾下一代硬件產(chǎn)品。
