容器技術以層層隔離的方式進行分離。以下圖的軟件棧為例，最底層為基礎環(huán)境，中間層為計算庫，例如CPU或GPU，然后在此基礎上累加不同的AI框架，增加AI算法和代碼的實現。

· 封裝。運行環(huán)境完全隔離，不同任務之間不會產生軟件沖突。

· 預裝。基礎鏡像內置各類基礎軟件環(huán)境，減少使用者環(huán)境準備開銷。

· 自由?？梢宰杂砂惭b各類軟件包，封裝各類算法。

· 可重用。算法的容器鏡像可以重復使用。

· 兼容性。GPU容器鏡像可以在任意類型GPU節(jié)點運行。 CPU容器鏡像可以在任意類型CPU節(jié)點運行。

數據接入技術則需提供本地存儲和NFS兩種接口，使得上層的計算節(jié)點訪問各類的數據層，通過數據接入層做接口轉移、帶寬控制甚至權限控制等功能。

· 封裝。計算節(jié)點邏輯不需要支持各種存儲接口，僅需要通過2-3種(例如本地存儲、NFS)接口就可以對接各類存儲類型。

· 靈活。通過拓展數據接入層可接入的存儲類型，也就可以拓展AI平臺的數據接入類型。

· 穩(wěn)定。數據接入層可以做數據流量控制，確保各個任務的SLA，同時對后端的數據存儲系統(tǒng)進行帶寬、流量保護。

· 安全。數據訪問權限控制，確保數據安全性。

分布式化

進行軟件分離后，就可以考慮搭建一個訓練平臺，包括任務調度、資源管理、容災容錯的能力。

同時，也可以搭建一個在線推理平臺，通過此平臺快速的部署自己分布式的在線任務。

可拓展性

當平臺搭建完成后，就很容易做橫向拓展和縱向拓展。比如縱向拓展，可以通過平臺的管理系統(tǒng)管理CPU集群、GPU集群，并可快速的增加自己的資源池。

在搭建完成的平臺上可以統(tǒng)一的管理CPU、GPU還有存儲的集群，在不同的業(yè)務組或者不同的公司之間共享這些資源，使得資源的使用率變得更高。

公有云在AI落地環(huán)境扮演的角色

作為國內最早成立的一批公有云創(chuàng)業(yè)公司，AI的發(fā)展對于UCloud可以說是大勢所趨，也是水到渠成。那么，公有云在AI落地環(huán)境重扮演什么樣的角色呢?

總體來說，利用公有云來做AI落地，首先享受到的是IaaS的服務

· 資源。充足的計算資源、存儲資源、網絡資源

降低AI研發(fā)過程資源采購、維護的成本

· 基礎環(huán)境。提供虛擬機鏡像、容器鏡像等服務。

降低AI研發(fā)、應用過程中AI環(huán)境部署的難度。

· 基礎服務。提供諸如負載均衡(ULB)、分布式存儲等基礎服務。

降低AI應用產品化過程的研發(fā)成本。

其次還可以享受以用公有云的PaaS服務：

· 環(huán)境封裝。提供預置AI基礎環(huán)境，包括NV GPU驅動、Cuda、TensorFlow/MXNet等框架，用戶無需進行復雜的環(huán)境安裝、配置工作;

· 分布式。提供AI訓練平臺和AI在線服務平臺，提供一站式AI， 用戶無需自行搭建復雜的AI平臺;

· 橫向拓展。提供充足CPU/GPU資源，可自由橫向拓展，用戶無需擔心資源問題;

· 縱向拓展。通過多種計算、存儲網絡資源類型，用戶可自由選擇合適組合;

· 計費靈活?；诿爰壏昼娂壍挠嬞M規(guī)則，按需收費， 用戶無需擔心資源浪費。

嵌入式設備上的實時深度學習方法實踐

除了軟件技術，人工智能的落地應用，也必然離不開硬件設備的支持。馭勢科技的人工智能技術負責人潘爭，現場講解了嵌入式設備上的實時深度學習方法實踐，包括視覺識別在自動駕駛中的需求和挑戰(zhàn)以及效率精度平衡的卷積網絡。

視覺感知特點

隨著汽車自動駕駛技術的發(fā)展，車載光學系統(tǒng)和車載雷達系統(tǒng)在保證行車安全上顯得尤為重要。

當前，提到自動駕駛汽車環(huán)境感知技術，很多人會首先想到激光雷達。的確，相較于攝像頭、毫米波雷達等車載傳感器，激光雷達具有高精度、高分辨率的優(yōu)勢，但受制于價格高昂的因素尚未普及開來。因此，在已有激光雷達方案之余，如何找到一種成本更低的環(huán)境感知解決辦法成了很多企業(yè)關心的問題。針對這個難題，視覺感知應運而生。

視覺感知包含以下的特點：

一，信息更豐富。以激光雷達為主的傳感器，主要做一些云的感知和深度的感知，但是物體的顏色、紋理它是無法感知的。比如前方有一個障礙物，激光雷達傳感器無法判斷到底是一輛車還是一個人，只是知道一個形狀信息，并不知道一些紋理的信息。但是通過視覺感知，就可知道它具體的顏色屬性及具體的紋理表現，潛在的得到更多的信息，輔助決策和控制。

二，視野更寬闊。激光雷達的上下視野為30度到60度，而且最多只有64個像素的感知?？梢韵胂?，如果一個圖片上下只有64個象素，這張圖片則是非常模糊的。但是通過攝像頭來感知周圍的環(huán)境，上下則有720個像素感知周圍的世界，能夠幫助你捕捉更多的信息。

三，基建更配合。道路設計、障礙物、各種各樣的信號燈、交通標志其實都是為了視覺信息而設計傳達的。

四，硬件更便宜。激光雷達是一個非常昂貴的設備，相對于一個攝像頭，它的成本是幾十倍，甚至上百倍的價格，少則幾萬塊，動輒幾十萬。而視覺感知則可擁有民用級、夠實用的產品需求。

效率精度平衡的卷積網絡

基于視覺感知的特點，馭勢科技非常重視視覺識別算法的開發(fā)，希望用嵌入式的GPU平臺去完成所有視覺感知所需要的計算。這就需要做很多網絡壓縮優(yōu)化的工作，使效率和精度能夠取得一個比較平衡的網絡選擇。

比較近幾年比較有名的網絡會發(fā)現，若想提高大概10%的正確率，就要付出大幾十倍的計算量，那么必須使用精度最高的網絡才能達到自動駕駛的精度需求么?

潘爭介紹了兩個速度較快的網絡，第一個為PVANet，如下圖所示：

基于云計算構建機器學習系統(tǒng)的實踐

云計算的發(fā)展加快機器學習的落地，機器學習除了對云計算有算力的需求之外，如何基于云計算構建一個可靠的機器學習系統(tǒng)是每個企業(yè)都需要考慮的。UCloud高級研發(fā)總監(jiān)葉理燈，以在線推測系統(tǒng)為例，展示一套機器學習平臺的設計及實現方案，包括資源的管理，架構設計及實現。

Serverless產品及架構

Serverless指的是由開發(fā)者實現的服務端邏輯運行在無狀態(tài)的計算容器中，它由事件觸發(fā)， 完全被第三方管理，其業(yè)務層面的狀態(tài)則被開發(fā)者使用的數據庫和存儲資源所記錄。

如下圖所示：

在Serverless架構中，軟件開發(fā)者和運維工程師們不再需要關心服務器的部署、架設、伸縮，這些問題交給云平臺商來解決，程序員們得以將精力投入用代碼來實現業(yè)務邏輯中，而不是管理服務器。Serverless并不意味著不再需要服務器了，只是服務器資源的申請、使用、調度、伸縮由云服務商自動實現，應用開發(fā)者無需關心。

構建在線推測系統(tǒng)

基于Serverless 不用管理，可彈性擴用、高可用和按需付費的四個方面的特性，可以構建一個公司AI的系統(tǒng)，主要分為三步：

第一步，建設一個底層的計算平臺。

第二步，上層APP管理，方便用戶去管理模型。

第三步，提供SDK。方便用戶在不同的框架上使用系統(tǒng)。

那么怎么構建一個滿足Serverless的計算平臺呢，首先需要考慮兩個問題。

第一，希望用戶使用這個計算平臺時，是不用運維這個計算平臺的。

第二，希望用戶使用這個計算平臺的時候，是按照實際消耗的計算資源來計費的，而不是按照配置來計費。

下圖是一個簡單的PUC的示意圖：

下圖為中央平臺的詳細架構：

搭建這個系統(tǒng)之后，需要在計算平臺上面加APP Engine層，利用這層，可以去創(chuàng)建一個APP，這個APP對應的算法就是你的docker鏡像，可以通過它來管理，也可以切換不同的版本的訪問。

強AI時代，人們對活躍于各行各業(yè)的智能客服的期待也越來越高。第四范式智能客服負責人邢少敏介紹第四范式人工智能技術在客服領域的應用實踐，包括分享智能客服工作原理，使用的相關自然語言處理、機器學習、深度學習等技術以及研發(fā)智能客服的技術難點。

智能客服工作原理

為什么要有客服呢?為什么要有智能客服呢?相信大家都會有了解。在很多行業(yè)里面，其實都有一個客服問題，無論是授權的咨詢還是售后的服務等等，大量的問題都具有重復性，這些重復性的問題則會浪費大量人的成本。而大量有價值的數據例如聊天記錄、歷史記錄是閑置的，沒有被利用起來。所以這種情況下就有了智能客服。

智能客服比較典型的常見功能，總結一下為三類：

第一類，單輪問答。

第二類，多輪對話。

第三類，人機協(xié)作。

而智能客服的工作原理，基本上各家智能客服廠商的做法都大同小異，都是類似的方向，如下圖所示：

具體來說，智能客服的工作原理分為以下幾個模塊：

1、自然語音處理，比如說分詞、分句、詞性標注、句法分析、指代消解，句子的權重，語意相似度等，還有問句的類型、句型等。這些會在第一步對用戶的問題做一個全面的分析，然后保存下來。

2、意圖識別，借助前面自然語言處理的一些結果，分為兩種方式，一個是模板方式，另一個是分類器的方式。模板的方式很簡單，通過與模板的對比進行意圖分析。而分類器的方式，是通過收藏某個領域大量的數據后，進行人工標注，再訓練成為一個分類器進行意圖識別。這兩種方式各有優(yōu)劣，模板方式的問題在于，它雖然很精準，但它的畫畫能力比較弱，分類器的方式畫畫能力強，但缺少很多數據。

3、知識庫，知識庫其實是智能客服系統(tǒng)最主要的一種模式，它的做法基本上與做一個搜索引擎比較類似，基本上分兩步。

第一步是侯選集的召回。從知識庫里召回一些可能跟問題相似的一些侯選集。

第二步是重排序。用文本相似度、句子相似度解鎖相關度，或者用神經網絡的相似度模型或者用多模型融合。

4、知識圖譜，知識圖譜與知識庫的區(qū)別是，知識庫是一種問答的結構或者是一種樹形的結構，而知識圖譜是一種圖狀的結構。

知識圖譜常見的工具有Neo4j、OrientDB、Titan等等。

5、對話技術，對話技術也有3種方式，第一種是有限狀態(tài)機填槽，第二種是MDP的方式，

第三種是學術界經常用的端到端的模型，希望用一個巨大的模型解決出現的所有問題，如下圖所示：

6、聊天機器人。實際上也是兩種做法，一種是用神經網絡的方式，主流的是用神經網絡，或者說用統(tǒng)計模型之類的，通過收集大量的語料訓練出模型，只要語料足夠多，它的效果就足夠好。另一種是模型的方式，但所帶來的問題是不精準且需要大量的語料。

智能客服技術難點

5. 數據缺失問題：

· 多數情況下，沒有足夠數據訓練模型

· SaaS服務涉及到不同領域，數據不足問題更加突出

數據冷啟動方法：

· 通用語科訓練模型，數據增長后再優(yōu)化模型

· 先用規(guī)則系統(tǒng)，數據到了一定量，在用模型

多輪對話：

· 多領域對話仍然是難題：

· 逐個領域做對話成本太高

· 通用對話管理效果不理想

· 場景切換無法平滑進行

· 不允許切換場景顯得死板

· 允許切換場景復雜度大幅度提升

人機協(xié)作：

· 現有方式仍然是機器人為輔

· 機器人回答不了，人回答

· 機器人推薦答案給人

· 探索讓機器人為主，人工為輔

· 提高機器人回答準確率

· 提高機器人自學習能力

AI技術在教育領域的應用

除了常見的智能客服，AI近年來在教育領域也大放異彩，北京褚時科技 CEO李曙光現場通過AI在口語測評和作業(yè)批改等領域的解決方案分享，深入淺出解析了“圖像”、“語音”、“自然語言處理”等技術在應用層的技術實踐。

自動口語評測

現在市面上普遍可以看到的產品，基于的評測技術主要是兩類。

基于GOP(Goodness of Pronunciation)：(例如英語流利說、少兒領域的英語趣配音)

其主要技術為：

· 強制對齊， 語音模型分數對比，發(fā)現有問題讀音;韻律，語速和流利度;

· 加入語音識別;

· 深度學習：CNN，DNN，優(yōu)缺點，

· 移動端。

Freetalk口語評測技術：(應用于托?；蛘哐潘嫉拈_放式題目)

其主要技術為：

· 語音分析：對發(fā)音，重音，語調，語速和流利度等方面進行分析和特征提取。

· 語音識別：針對英語非母語者的語音識別，使用深度學習方法，識別準確率對于提取口語內容關鍵。

· 自然語言處理分析：對識別內容在話題相關性，語義連貫性，語法錯誤，詞匯使用，用詞搭配等多維度上進行分析和特征提取。

· 自動打分：多模型融合，大量口語訓練語料。

應用場景：

1、托福和雅思口語考試自動打分和批改: 目前在打分上可以取代人工，平均誤差在2分左右(30分滿分)，大幅降低教師重復勞動。

2、斬托福和斬雅思：流量題庫產品，覆蓋80%以上的出國考生。累計百萬學生使用，

自動作文評測

主要的評測技術為：

· 語法錯誤檢查：主謂一致，動詞形式的使用，詞組的搭配，冠詞使用、詞性、選詞、介詞用法，動詞時態(tài)等方面，Spelling，專有名詞大小寫和句首字母大小寫等。

· 自然語言處理分析特征提?。悍治龊徒y(tǒng)計學生作文中的文本特征，包括用詞復雜度，用詞搭配使用，語篇組織結構，論述連貫性和是否離題，對于議論文能否支持論點論述等等。

· 自動打分引擎：針對特定的考試類型，我們使用機器學習算法(分類，排序)，動態(tài)調整以上各個方面所占權重和最終的評分標準，訓練相應的打分模型，最終系統(tǒng)可以在多個緯度給出詳細的分析報告和反饋;

· CNN等方法融合。

應用場景：

1、初高中，托福雅思等作文自動打分和批改: 取代人工打分，平均誤差在2分左右(30分滿分)，類似ETS的e-rater;

2、基于海量人工批改數據研發(fā);在語法錯誤檢測數量和精準度上遠遠領先于同類產品，可以和全球用戶量最大的的批改引擎Grammarly媲美。

AI的更多應用

自適應學習技術

· 知識點建立知識圖譜。

· 試題標簽：知識點，難度，題型，考察能力等。

· 根據模考結果的數據分析，可以更精準的為不同能力的學生提供個性化備考計劃，推送和及時調整學習路徑。

· 自適應測試：Item Response Theory(IRT)，根據難度，區(qū)分度等建模，比較少的題目，測的更準。

6. 手寫板場景

以下幾個領域是褚時科技一直關注的幾個方向(目前還不能很好的產品化，預計未來突破)。需要和K12培訓機構或者公立學校合作。

· 手寫公式識別：可以參考美國MyScript這個公司，已經趨于成熟。但是存在換行等問題。

· 數學等主觀題識別：手寫公式，字母識別還有漢字識別準確度提升，趨于成熟。

· 數學應用題解題和批改：趨于成熟。

· 初高中數學幾何題目解題和批改：解題準確度還有提升空間，目前準確度已經超過70%;批改趨于成熟。

songjy