三級(jí)研發(fā)組織
在大數(shù)據(jù)研發(fā)方面,京東在整體上分為三級(jí)研發(fā)組織。最上面是大數(shù)據(jù)實(shí)驗(yàn)室,與清華大學(xué)建立了緊密的聯(lián)系,合作進(jìn)行大數(shù)據(jù)的研究。實(shí)驗(yàn)室由科學(xué)家?guī)ш?duì)。
在實(shí)驗(yàn)室之下是第二級(jí)組織,是大數(shù)據(jù)平臺(tái)研發(fā)部門(mén),該部門(mén)有數(shù)百人;還有一個(gè)100多人的團(tuán)隊(duì),專(zhuān)門(mén)進(jìn)行京東的搜索以及個(gè)性化推介的研發(fā)。這兩個(gè)團(tuán)隊(duì)在平臺(tái)及引擎層面提供技術(shù)支撐。
第三級(jí)組織在應(yīng)用層面。京東有很多研發(fā)事業(yè)部,比如采購(gòu)、倉(cāng)儲(chǔ)、物流研發(fā)事業(yè)部,這些研發(fā)事業(yè)部也都擁有自己的大數(shù)據(jù)創(chuàng)新研發(fā)團(tuán)隊(duì)。他們會(huì)基于大數(shù)據(jù)實(shí)驗(yàn)室的算法、模型,以及大數(shù)據(jù)平臺(tái)、引擎研發(fā)組織的成果,結(jié)合應(yīng)用層業(yè)務(wù),開(kāi)展研發(fā)工作。比如著名的“供應(yīng)商數(shù)據(jù)羅盤(pán)”,就是大數(shù)據(jù)創(chuàng)新組研發(fā)出來(lái)的業(yè)務(wù)層面的產(chǎn)品。
京東的促銷(xiāo)人員、倉(cāng)儲(chǔ)管理人員等等,會(huì)專(zhuān)門(mén)使用應(yīng)用層研發(fā)出來(lái)的大數(shù)據(jù)分析工具,分析業(yè)務(wù)的發(fā)展情況,指導(dǎo)業(yè)務(wù)的發(fā)展。
在此基礎(chǔ)上,京東設(shè)立了一個(gè)技術(shù)委員會(huì),由三級(jí)研發(fā)組織中的關(guān)鍵的高級(jí)人才組成,這個(gè)組織是虛實(shí)結(jié)合的。通過(guò)技術(shù)委員會(huì)這個(gè)虛擬組織,把三級(jí)研發(fā)結(jié)合在一起,這樣大數(shù)據(jù)研發(fā)才可以真正靠組織的力量落地。
大數(shù)據(jù)人才
京東大數(shù)據(jù)實(shí)驗(yàn)室有兩類(lèi)人才,一類(lèi)是數(shù)據(jù)科學(xué)家,專(zhuān)門(mén)在技術(shù)模型、數(shù)據(jù)模型等方面進(jìn)行研究;還有一類(lèi)是算法工程師,專(zhuān)門(mén)進(jìn)行計(jì)算算法、搜索算法、關(guān)聯(lián)算法等方面的工作,他們會(huì)大量應(yīng)用京東的數(shù)據(jù)來(lái)構(gòu)建算法模型。
在平臺(tái)研發(fā)、引擎研發(fā)層面,一方面是大數(shù)據(jù)平臺(tái)研發(fā)工程師,另一方面是數(shù)據(jù)處理研發(fā)工程師,進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)化,進(jìn)行多維化的切分等等。在數(shù)量上,數(shù)據(jù)處理研發(fā)工程師相對(duì)多一些。
在應(yīng)用層面,有商業(yè)模型建模工程師,還有就是數(shù)據(jù)分析師,他們通過(guò)算法、模型,把結(jié)果分析出來(lái)并進(jìn)行呈現(xiàn),就像一份報(bào)表,能看出來(lái)存在的問(wèn)題或是商機(jī)。數(shù)據(jù)分析師能夠指導(dǎo)和引領(lǐng)業(yè)務(wù),這是IT價(jià)值非常重要的一部分。
當(dāng)前,商業(yè)模型建模工程師在京東比較搶手,更不用說(shuō)傳統(tǒng)企業(yè)。現(xiàn)在,大量的傳統(tǒng)企業(yè)在信息化方面已經(jīng)走過(guò)了10年甚至20年的時(shí)間,積累了大量的數(shù)據(jù),這些數(shù)據(jù)都保存在企業(yè)內(nèi)部,但是企業(yè)對(duì)這些數(shù)據(jù)無(wú)能為力,看到這些數(shù)據(jù)不知道能干什么。原因就是企業(yè)的IT團(tuán)隊(duì)缺少商業(yè)模型建模工程師。
京東大腦
“京東大腦”是京東的大數(shù)據(jù)平臺(tái),提供給各業(yè)務(wù)方使用,在京東整個(gè)研發(fā)體系當(dāng)中相當(dāng)于“大腦”的角色。
京東在基礎(chǔ)層面商品,型號(hào),用戶(hù),供應(yīng)商等主數(shù)據(jù),以及交易數(shù)據(jù),就是用戶(hù)的訂單、支付情況。
還有一類(lèi)很重要的數(shù)據(jù)就是流量數(shù)據(jù)。傳統(tǒng)企業(yè)在實(shí)施和使用ERP的時(shí)候很少見(jiàn),但對(duì)于電子商務(wù)非常關(guān)鍵,這一類(lèi)數(shù)據(jù),企業(yè)務(wù)必要注意收集。
流量數(shù)據(jù)包括消費(fèi)者從哪里進(jìn)入到京東的主網(wǎng)站,然后接下來(lái)怎么一步步點(diǎn)擊,在哪里停留,在哪里有疑惑等等。在這個(gè)過(guò)程中,點(diǎn)擊數(shù)據(jù),時(shí)間流數(shù)據(jù)都是非關(guān)系型數(shù)據(jù),由于電子商務(wù)無(wú)法看到每一個(gè)人,所以這種非關(guān)系型數(shù)據(jù)記錄了消費(fèi)者的行為習(xí)慣,非常具有價(jià)值。
在基礎(chǔ)數(shù)據(jù)層之上,京東建立了一些知識(shí)層,首先有小區(qū)畫(huà)像,到底有哪些特征,居住哪些人;還有用戶(hù)的畫(huà)像,用戶(hù)畫(huà)像就是針對(duì)一類(lèi)人群,或者某一個(gè)人,具有什么樣的行為特征;還有商品畫(huà)像,供應(yīng)商畫(huà)像。
與此相關(guān)的有一個(gè)比較專(zhuān)業(yè)的詞,叫“打標(biāo)簽”,就是給數(shù)據(jù)打標(biāo)簽,這是現(xiàn)在做精準(zhǔn)搜索和精準(zhǔn)推介的一個(gè)非常關(guān)鍵的詞語(yǔ)。京東很多算法能夠跑起來(lái),產(chǎn)生效果,與畫(huà)像打標(biāo)簽不無(wú)關(guān)系。
在這之上是服務(wù)層,提供預(yù)測(cè)的API、引擎、算法、多維報(bào)表,京東會(huì)提供相應(yīng)的產(chǎn)品、工具包括引擎,作為服務(wù),供上層做創(chuàng)新應(yīng)用而調(diào)用。
在京東大腦整個(gè)戰(zhàn)略里面,還有一個(gè)衍生的戰(zhàn)略,就是“京東萬(wàn)象”,是一個(gè)綜合數(shù)據(jù)開(kāi)放平臺(tái)。該平臺(tái)已經(jīng)擁有了全社會(huì)特征的樣本數(shù)據(jù),但是這些數(shù)據(jù)仍然不足以支撐相關(guān)的分析,所以京東通過(guò)開(kāi)放平臺(tái),把整個(gè)社會(huì)的大數(shù)據(jù)聯(lián)通在一起。這些數(shù)據(jù)涉及金融、電商、運(yùn)營(yíng)商、生活服務(wù)。
京東大數(shù)據(jù)平臺(tái)及其應(yīng)用
京東是如何構(gòu)建自己的大數(shù)據(jù)平臺(tái)?在這方面,京東并沒(méi)有原創(chuàng)的技術(shù),使用了業(yè)界開(kāi)源平臺(tái)。其服務(wù)器數(shù)量達(dá)數(shù)千臺(tái),業(yè)務(wù)系統(tǒng)亦達(dá)數(shù)千個(gè)。日均數(shù)據(jù)吞吐量在PB量級(jí)。關(guān)于應(yīng)用,包括但不限于以下內(nèi)容。
用戶(hù)畫(huà)像。由于消費(fèi)者到底怎么想,到底想購(gòu)買(mǎi)什么,到底購(gòu)買(mǎi)了什么,對(duì)什么商品還比較猶豫,等等,這些行為圍繞著該消費(fèi)者就會(huì)產(chǎn)生一個(gè)完整的數(shù)據(jù),京東會(huì)根據(jù)這些數(shù)據(jù)進(jìn)行用戶(hù)畫(huà)像,進(jìn)行個(gè)性化的推薦。據(jù)估計(jì),京東有1/3的購(gòu)物行為來(lái)自于推介購(gòu)物。
用戶(hù)畫(huà)像還可以進(jìn)行精準(zhǔn)營(yíng)銷(xiāo)。比如,很多消費(fèi)者曾收到過(guò)京東的EDM郵件,這些促銷(xiāo)郵件并不是群發(fā)的,而是基于促銷(xiāo)需要,根據(jù)目標(biāo)客戶(hù)群體進(jìn)行的促銷(xiāo)郵件推送。
智能客服。當(dāng)消費(fèi)者第一次使用智能客服的時(shí)候,可能感覺(jué)冷冰冰的,而當(dāng)跟他對(duì)話很多的時(shí)候,消費(fèi)者會(huì)發(fā)現(xiàn),客服他對(duì)到底想問(wèn)什么問(wèn)題越來(lái)越清晰了,這后面其實(shí)有些用戶(hù)的數(shù)據(jù),用戶(hù)的畫(huà)像在支撐。當(dāng)前,京東數(shù)千名人工客服人員仍然滿(mǎn)足不了巨量的電話咨詢(xún)需求,而智能客服就提供了網(wǎng)上的咨詢(xún)通道。
供應(yīng)商數(shù)據(jù)羅盤(pán)。有一些創(chuàng)新是關(guān)于采購(gòu)的,現(xiàn)在京東有一個(gè)服務(wù)叫“供應(yīng)商數(shù)據(jù)羅盤(pán)”,專(zhuān)門(mén)指導(dǎo)供應(yīng)商如何進(jìn)貨、生產(chǎn)、制定節(jié)奏。京東也有很多的采購(gòu)人員,往往決定向哪個(gè)供應(yīng)商采購(gòu),采購(gòu)什么產(chǎn)品,什么時(shí)間采購(gòu)。當(dāng)前,京東已經(jīng)是全品類(lèi)運(yùn)營(yíng)的平臺(tái),生活中用到的很多東西都可以在京東上買(mǎi)到,采購(gòu)人員根本沒(méi)有辦法進(jìn)行決策,因?yàn)樾吞?hào),供應(yīng)商,品類(lèi)太多。
因此,京東大量的采購(gòu)決策,都是數(shù)據(jù)在驅(qū)動(dòng),而不是靠經(jīng)驗(yàn)判斷。在這里面,通過(guò)輔助工具,可以預(yù)測(cè)產(chǎn)品的銷(xiāo)售情況,進(jìn)行自動(dòng)補(bǔ)貨。什么時(shí)候向供應(yīng)商補(bǔ)貨,庫(kù)存是不是有滯銷(xiāo)、擠壓,如何選品,如何定價(jià),這里面都有數(shù)據(jù)的支撐。
搜索推介。現(xiàn)在整個(gè)京東網(wǎng)站分了好幾個(gè)層面,在列表層面、搜索層面、單品頁(yè),京東會(huì)向消費(fèi)者推薦具有關(guān)聯(lián)度的商品。從數(shù)據(jù)的角度,就是在各個(gè)層面都有不同推薦的算法。尤其在移動(dòng)購(gòu)物方面,由于手機(jī)的屏幕限制,哪種商品放在第一位,哪種放在第二位,都有講究,目的就是個(gè)性化的購(gòu)物。
搜索定價(jià)。這個(gè)功能,會(huì)基于當(dāng)前的銷(xiāo)售情況、購(gòu)買(mǎi)情況、訂單情況、收藏情況,做一個(gè)價(jià)格的浮動(dòng)。但是這種價(jià)格不是拍腦袋,而是有數(shù)據(jù)支撐的。比如京東的一個(gè)旅游產(chǎn)品,應(yīng)用了搜索定價(jià)之后,機(jī)票的訂單翻了一倍。
交易風(fēng)控。很多人都知道京東白條與虛擬應(yīng)用卡。給消費(fèi)者多少額度,其實(shí)是通過(guò)很多數(shù)據(jù)來(lái)支撐的。由于消費(fèi)者有很多的交易數(shù)據(jù)、點(diǎn)擊流的數(shù)據(jù)等大量的用戶(hù)行為,這些數(shù)據(jù)匯集到基礎(chǔ)數(shù)據(jù)庫(kù),再基于“京東萬(wàn)象”共享的個(gè)人信用數(shù)據(jù),匯集成完整的數(shù)據(jù)進(jìn)行判別并授信。這是京東虛擬信用卡、京東白條的風(fēng)險(xiǎn)控制規(guī)則。