容器技術(shù)以層層隔離的方式進行分離。以下圖的軟件棧為例，最底層為基礎(chǔ)環(huán)境，中間層為計算庫，例如CPU或GPU，然后在此基礎(chǔ)上累加不同的AI框架，增加AI算法和代碼的實現(xiàn)。

· 封裝。運行環(huán)境完全隔離，不同任務(wù)之間不會產(chǎn)生軟件沖突。

· 預(yù)裝。基礎(chǔ)鏡像內(nèi)置各類基礎(chǔ)軟件環(huán)境，減少使用者環(huán)境準(zhǔn)備開銷。

· 自由。可以自由安裝各類軟件包，封裝各類算法。

· 可重用。算法的容器鏡像可以重復(fù)使用。

· 兼容性。GPU容器鏡像可以在任意類型GPU節(jié)點運行。 CPU容器鏡像可以在任意類型CPU節(jié)點運行。

數(shù)據(jù)接入技術(shù)則需提供本地存儲和NFS兩種接口，使得上層的計算節(jié)點訪問各類的數(shù)據(jù)層，通過數(shù)據(jù)接入層做接口轉(zhuǎn)移、帶寬控制甚至權(quán)限控制等功能。

· 封裝。計算節(jié)點邏輯不需要支持各種存儲接口，僅需要通過2-3種(例如本地存儲、NFS)接口就可以對接各類存儲類型。

· 靈活。通過拓展數(shù)據(jù)接入層可接入的存儲類型，也就可以拓展AI平臺的數(shù)據(jù)接入類型。

· 穩(wěn)定。數(shù)據(jù)接入層可以做數(shù)據(jù)流量控制，確保各個任務(wù)的SLA，同時對后端的數(shù)據(jù)存儲系統(tǒng)進行帶寬、流量保護。

· 安全。數(shù)據(jù)訪問權(quán)限控制，確保數(shù)據(jù)安全性。

分布式化

進行軟件分離后，就可以考慮搭建一個訓(xùn)練平臺，包括任務(wù)調(diào)度、資源管理、容災(zāi)容錯的能力。

同時，也可以搭建一個在線推理平臺，通過此平臺快速的部署自己分布式的在線任務(wù)。

可拓展性

當(dāng)平臺搭建完成后，就很容易做橫向拓展和縱向拓展。比如縱向拓展，可以通過平臺的管理系統(tǒng)管理CPU集群、GPU集群，并可快速的增加自己的資源池。

在搭建完成的平臺上可以統(tǒng)一的管理CPU、GPU還有存儲的集群，在不同的業(yè)務(wù)組或者不同的公司之間共享這些資源，使得資源的使用率變得更高。

公有云在AI落地環(huán)境扮演的角色

作為國內(nèi)最早成立的一批公有云創(chuàng)業(yè)公司，AI的發(fā)展對于UCloud可以說是大勢所趨，也是水到渠成。那么，公有云在AI落地環(huán)境重扮演什么樣的角色呢?

總體來說，利用公有云來做AI落地，首先享受到的是IaaS的服務(wù)

· 資源。充足的計算資源、存儲資源、網(wǎng)絡(luò)資源

降低AI研發(fā)過程資源采購、維護的成本

· 基礎(chǔ)環(huán)境。提供虛擬機鏡像、容器鏡像等服務(wù)。

降低AI研發(fā)、應(yīng)用過程中AI環(huán)境部署的難度。

· 基礎(chǔ)服務(wù)。提供諸如負(fù)載均衡(ULB)、分布式存儲等基礎(chǔ)服務(wù)。

降低AI應(yīng)用產(chǎn)品化過程的研發(fā)成本。

其次還可以享受以用公有云的PaaS服務(wù)：

· 環(huán)境封裝。提供預(yù)置AI基礎(chǔ)環(huán)境，包括NV GPU驅(qū)動、Cuda、TensorFlow/MXNet等框架，用戶無需進行復(fù)雜的環(huán)境安裝、配置工作;

· 分布式。提供AI訓(xùn)練平臺和AI在線服務(wù)平臺，提供一站式AI， 用戶無需自行搭建復(fù)雜的AI平臺;

· 橫向拓展。提供充足CPU/GPU資源，可自由橫向拓展，用戶無需擔(dān)心資源問題;

· 縱向拓展。通過多種計算、存儲網(wǎng)絡(luò)資源類型，用戶可自由選擇合適組合;

· 計費靈活?；诿爰壏昼娂壍挠嬞M規(guī)則，按需收費， 用戶無需擔(dān)心資源浪費。

嵌入式設(shè)備上的實時深度學(xué)習(xí)方法實踐

除了軟件技術(shù)，人工智能的落地應(yīng)用，也必然離不開硬件設(shè)備的支持。馭勢科技的人工智能技術(shù)負(fù)責(zé)人潘爭，現(xiàn)場講解了嵌入式設(shè)備上的實時深度學(xué)習(xí)方法實踐，包括視覺識別在自動駕駛中的需求和挑戰(zhàn)以及效率精度平衡的卷積網(wǎng)絡(luò)。

視覺感知特點

隨著汽車自動駕駛技術(shù)的發(fā)展，車載光學(xué)系統(tǒng)和車載雷達(dá)系統(tǒng)在保證行車安全上顯得尤為重要。

當(dāng)前，提到自動駕駛汽車環(huán)境感知技術(shù)，很多人會首先想到激光雷達(dá)。的確，相較于攝像頭、毫米波雷達(dá)等車載傳感器，激光雷達(dá)具有高精度、高分辨率的優(yōu)勢，但受制于價格高昂的因素尚未普及開來。因此，在已有激光雷達(dá)方案之余，如何找到一種成本更低的環(huán)境感知解決辦法成了很多企業(yè)關(guān)心的問題。針對這個難題，視覺感知應(yīng)運而生。

視覺感知包含以下的特點：

一，信息更豐富。以激光雷達(dá)為主的傳感器，主要做一些云的感知和深度的感知，但是物體的顏色、紋理它是無法感知的。比如前方有一個障礙物，激光雷達(dá)傳感器無法判斷到底是一輛車還是一個人，只是知道一個形狀信息，并不知道一些紋理的信息。但是通過視覺感知，就可知道它具體的顏色屬性及具體的紋理表現(xiàn)，潛在的得到更多的信息，輔助決策和控制。

二，視野更寬闊。激光雷達(dá)的上下視野為30度到60度，而且最多只有64個像素的感知?？梢韵胂?，如果一個圖片上下只有64個象素，這張圖片則是非常模糊的。但是通過攝像頭來感知周圍的環(huán)境，上下則有720個像素感知周圍的世界，能夠幫助你捕捉更多的信息。

三，基建更配合。道路設(shè)計、障礙物、各種各樣的信號燈、交通標(biāo)志其實都是為了視覺信息而設(shè)計傳達(dá)的。

四，硬件更便宜。激光雷達(dá)是一個非常昂貴的設(shè)備，相對于一個攝像頭，它的成本是幾十倍，甚至上百倍的價格，少則幾萬塊，動輒幾十萬。而視覺感知則可擁有民用級、夠?qū)嵱玫漠a(chǎn)品需求。

效率精度平衡的卷積網(wǎng)絡(luò)

基于視覺感知的特點，馭勢科技非常重視視覺識別算法的開發(fā)，希望用嵌入式的GPU平臺去完成所有視覺感知所需要的計算。這就需要做很多網(wǎng)絡(luò)壓縮優(yōu)化的工作，使效率和精度能夠取得一個比較平衡的網(wǎng)絡(luò)選擇。

比較近幾年比較有名的網(wǎng)絡(luò)會發(fā)現(xiàn)，若想提高大概10%的正確率，就要付出大幾十倍的計算量，那么必須使用精度最高的網(wǎng)絡(luò)才能達(dá)到自動駕駛的精度需求么?

潘爭介紹了兩個速度較快的網(wǎng)絡(luò)，第一個為PVANet，如下圖所示：

基于云計算構(gòu)建機器學(xué)習(xí)系統(tǒng)的實踐

云計算的發(fā)展加快機器學(xué)習(xí)的落地，機器學(xué)習(xí)除了對云計算有算力的需求之外，如何基于云計算構(gòu)建一個可靠的機器學(xué)習(xí)系統(tǒng)是每個企業(yè)都需要考慮的。UCloud高級研發(fā)總監(jiān)葉理燈，以在線推測系統(tǒng)為例，展示一套機器學(xué)習(xí)平臺的設(shè)計及實現(xiàn)方案，包括資源的管理，架構(gòu)設(shè)計及實現(xiàn)。

Serverless產(chǎn)品及架構(gòu)

Serverless指的是由開發(fā)者實現(xiàn)的服務(wù)端邏輯運行在無狀態(tài)的計算容器中，它由事件觸發(fā)， 完全被第三方管理，其業(yè)務(wù)層面的狀態(tài)則被開發(fā)者使用的數(shù)據(jù)庫和存儲資源所記錄。

如下圖所示：

在Serverless架構(gòu)中，軟件開發(fā)者和運維工程師們不再需要關(guān)心服務(wù)器的部署、架設(shè)、伸縮，這些問題交給云平臺商來解決，程序員們得以將精力投入用代碼來實現(xiàn)業(yè)務(wù)邏輯中，而不是管理服務(wù)器。Serverless并不意味著不再需要服務(wù)器了，只是服務(wù)器資源的申請、使用、調(diào)度、伸縮由云服務(wù)商自動實現(xiàn)，應(yīng)用開發(fā)者無需關(guān)心。

構(gòu)建在線推測系統(tǒng)

基于Serverless 不用管理，可彈性擴用、高可用和按需付費的四個方面的特性，可以構(gòu)建一個公司AI的系統(tǒng)，主要分為三步：

第一步，建設(shè)一個底層的計算平臺。

第二步，上層APP管理，方便用戶去管理模型。

第三步，提供SDK。方便用戶在不同的框架上使用系統(tǒng)。

那么怎么構(gòu)建一個滿足Serverless的計算平臺呢，首先需要考慮兩個問題。

第一，希望用戶使用這個計算平臺時，是不用運維這個計算平臺的。

第二，希望用戶使用這個計算平臺的時候，是按照實際消耗的計算資源來計費的，而不是按照配置來計費。

下圖是一個簡單的PUC的示意圖：

下圖為中央平臺的詳細(xì)架構(gòu)：

搭建這個系統(tǒng)之后，需要在計算平臺上面加APP Engine層，利用這層，可以去創(chuàng)建一個APP，這個APP對應(yīng)的算法就是你的docker鏡像，可以通過它來管理，也可以切換不同的版本的訪問。

強AI時代，人們對活躍于各行各業(yè)的智能客服的期待也越來越高。第四范式智能客服負(fù)責(zé)人邢少敏介紹第四范式人工智能技術(shù)在客服領(lǐng)域的應(yīng)用實踐，包括分享智能客服工作原理，使用的相關(guān)自然語言處理、機器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)以及研發(fā)智能客服的技術(shù)難點。

智能客服工作原理

為什么要有客服呢?為什么要有智能客服呢?相信大家都會有了解。在很多行業(yè)里面，其實都有一個客服問題，無論是授權(quán)的咨詢還是售后的服務(wù)等等，大量的問題都具有重復(fù)性，這些重復(fù)性的問題則會浪費大量人的成本。而大量有價值的數(shù)據(jù)例如聊天記錄、歷史記錄是閑置的，沒有被利用起來。所以這種情況下就有了智能客服。

智能客服比較典型的常見功能，總結(jié)一下為三類：

第一類，單輪問答。

第二類，多輪對話。

第三類，人機協(xié)作。

而智能客服的工作原理，基本上各家智能客服廠商的做法都大同小異，都是類似的方向，如下圖所示：

具體來說，智能客服的工作原理分為以下幾個模塊：

1、自然語音處理，比如說分詞、分句、詞性標(biāo)注、句法分析、指代消解，句子的權(quán)重，語意相似度等，還有問句的類型、句型等。這些會在第一步對用戶的問題做一個全面的分析，然后保存下來。

2、意圖識別，借助前面自然語言處理的一些結(jié)果，分為兩種方式，一個是模板方式，另一個是分類器的方式。模板的方式很簡單，通過與模板的對比進行意圖分析。而分類器的方式，是通過收藏某個領(lǐng)域大量的數(shù)據(jù)后，進行人工標(biāo)注，再訓(xùn)練成為一個分類器進行意圖識別。這兩種方式各有優(yōu)劣，模板方式的問題在于，它雖然很精準(zhǔn)，但它的畫畫能力比較弱，分類器的方式畫畫能力強，但缺少很多數(shù)據(jù)。

3、知識庫，知識庫其實是智能客服系統(tǒng)最主要的一種模式，它的做法基本上與做一個搜索引擎比較類似，基本上分兩步。

第一步是侯選集的召回。從知識庫里召回一些可能跟問題相似的一些侯選集。

第二步是重排序。用文本相似度、句子相似度解鎖相關(guān)度，或者用神經(jīng)網(wǎng)絡(luò)的相似度模型或者用多模型融合。

4、知識圖譜，知識圖譜與知識庫的區(qū)別是，知識庫是一種問答的結(jié)構(gòu)或者是一種樹形的結(jié)構(gòu)，而知識圖譜是一種圖狀的結(jié)構(gòu)。

知識圖譜常見的工具有Neo4j、OrientDB、Titan等等。

5、對話技術(shù)，對話技術(shù)也有3種方式，第一種是有限狀態(tài)機填槽，第二種是MDP的方式，

第三種是學(xué)術(shù)界經(jīng)常用的端到端的模型，希望用一個巨大的模型解決出現(xiàn)的所有問題，如下圖所示：

6、聊天機器人。實際上也是兩種做法，一種是用神經(jīng)網(wǎng)絡(luò)的方式，主流的是用神經(jīng)網(wǎng)絡(luò)，或者說用統(tǒng)計模型之類的，通過收集大量的語料訓(xùn)練出模型，只要語料足夠多，它的效果就足夠好。另一種是模型的方式，但所帶來的問題是不精準(zhǔn)且需要大量的語料。

智能客服技術(shù)難點

5. 數(shù)據(jù)缺失問題：

· 多數(shù)情況下，沒有足夠數(shù)據(jù)訓(xùn)練模型

· SaaS服務(wù)涉及到不同領(lǐng)域，數(shù)據(jù)不足問題更加突出

數(shù)據(jù)冷啟動方法：

· 通用語科訓(xùn)練模型，數(shù)據(jù)增長后再優(yōu)化模型

· 先用規(guī)則系統(tǒng)，數(shù)據(jù)到了一定量，在用模型

多輪對話：

· 多領(lǐng)域?qū)υ捜匀皇请y題：

· 逐個領(lǐng)域做對話成本太高

· 通用對話管理效果不理想

· 場景切換無法平滑進行

· 不允許切換場景顯得死板

· 允許切換場景復(fù)雜度大幅度提升

人機協(xié)作：

· 現(xiàn)有方式仍然是機器人為輔

· 機器人回答不了，人回答

· 機器人推薦答案給人

· 探索讓機器人為主，人工為輔

· 提高機器人回答準(zhǔn)確率

· 提高機器人自學(xué)習(xí)能力

AI技術(shù)在教育領(lǐng)域的應(yīng)用

除了常見的智能客服，AI近年來在教育領(lǐng)域也大放異彩，北京褚時科技 CEO李曙光現(xiàn)場通過AI在口語測評和作業(yè)批改等領(lǐng)域的解決方案分享，深入淺出解析了“圖像”、“語音”、“自然語言處理”等技術(shù)在應(yīng)用層的技術(shù)實踐。

自動口語評測

現(xiàn)在市面上普遍可以看到的產(chǎn)品，基于的評測技術(shù)主要是兩類。

基于GOP(Goodness of Pronunciation)：(例如英語流利說、少兒領(lǐng)域的英語趣配音)

其主要技術(shù)為：

· 強制對齊， 語音模型分?jǐn)?shù)對比，發(fā)現(xiàn)有問題讀音;韻律，語速和流利度;

· 加入語音識別;

· 深度學(xué)習(xí)：CNN，DNN，優(yōu)缺點，

· 移動端。

Freetalk口語評測技術(shù)：(應(yīng)用于托?；蛘哐潘嫉拈_放式題目)

其主要技術(shù)為：

· 語音分析：對發(fā)音，重音，語調(diào)，語速和流利度等方面進行分析和特征提取。

· 語音識別：針對英語非母語者的語音識別，使用深度學(xué)習(xí)方法，識別準(zhǔn)確率對于提取口語內(nèi)容關(guān)鍵。

· 自然語言處理分析：對識別內(nèi)容在話題相關(guān)性，語義連貫性，語法錯誤，詞匯使用，用詞搭配等多維度上進行分析和特征提取。

· 自動打分：多模型融合，大量口語訓(xùn)練語料。

應(yīng)用場景：

1、托福和雅思口語考試自動打分和批改: 目前在打分上可以取代人工，平均誤差在2分左右(30分滿分)，大幅降低教師重復(fù)勞動。

2、斬托福和斬雅思：流量題庫產(chǎn)品，覆蓋80%以上的出國考生。累計百萬學(xué)生使用，

自動作文評測

主要的評測技術(shù)為：

· 語法錯誤檢查：主謂一致，動詞形式的使用，詞組的搭配，冠詞使用、詞性、選詞、介詞用法，動詞時態(tài)等方面，Spelling，專有名詞大小寫和句首字母大小寫等。

· 自然語言處理分析特征提?。悍治龊徒y(tǒng)計學(xué)生作文中的文本特征，包括用詞復(fù)雜度，用詞搭配使用，語篇組織結(jié)構(gòu)，論述連貫性和是否離題，對于議論文能否支持論點論述等等。

· 自動打分引擎：針對特定的考試類型，我們使用機器學(xué)習(xí)算法(分類，排序)，動態(tài)調(diào)整以上各個方面所占權(quán)重和最終的評分標(biāo)準(zhǔn)，訓(xùn)練相應(yīng)的打分模型，最終系統(tǒng)可以在多個緯度給出詳細(xì)的分析報告和反饋;

· CNN等方法融合。

應(yīng)用場景：

1、初高中，托福雅思等作文自動打分和批改: 取代人工打分，平均誤差在2分左右(30分滿分)，類似ETS的e-rater;

2、基于海量人工批改數(shù)據(jù)研發(fā);在語法錯誤檢測數(shù)量和精準(zhǔn)度上遠(yuǎn)遠(yuǎn)領(lǐng)先于同類產(chǎn)品，可以和全球用戶量最大的的批改引擎Grammarly媲美。

AI的更多應(yīng)用

自適應(yīng)學(xué)習(xí)技術(shù)

· 知識點建立知識圖譜。

· 試題標(biāo)簽：知識點，難度，題型，考察能力等。

· 根據(jù)?？冀Y(jié)果的數(shù)據(jù)分析，可以更精準(zhǔn)的為不同能力的學(xué)生提供個性化備考計劃，推送和及時調(diào)整學(xué)習(xí)路徑。

· 自適應(yīng)測試：Item Response Theory(IRT)，根據(jù)難度，區(qū)分度等建模，比較少的題目，測的更準(zhǔn)。

6. 手寫板場景

以下幾個領(lǐng)域是褚時科技一直關(guān)注的幾個方向(目前還不能很好的產(chǎn)品化，預(yù)計未來突破)。需要和K12培訓(xùn)機構(gòu)或者公立學(xué)校合作。

· 手寫公式識別：可以參考美國MyScript這個公司，已經(jīng)趨于成熟。但是存在換行等問題。

· 數(shù)學(xué)等主觀題識別：手寫公式，字母識別還有漢字識別準(zhǔn)確度提升，趨于成熟。

· 數(shù)學(xué)應(yīng)用題解題和批改：趨于成熟。

· 初高中數(shù)學(xué)幾何題目解題和批改：解題準(zhǔn)確度還有提升空間，目前準(zhǔn)確度已經(jīng)超過70%;批改趨于成熟。

songjy