百度研究院副院長，深度學(xué)習(xí)實(shí)驗(yàn)室主任，圖片搜索部高級總監(jiān) 余凱

以下為演講實(shí)錄：

下面，我可能更多從實(shí)踐的方面去跟大家分享一下百度在大數(shù)據(jù)、人工智能我們最近的一些工作，包括我們對這些方面的一些思考。

2014年8月14日，麻省理工學(xué)院科技評論雜志介紹百度的人工智能之夢，文章題目叫《一個(gè)中國互聯(lián)網(wǎng)的巨人開始有夢想》，主要內(nèi)容是介紹百度在最近兩年在人工智能和大數(shù)據(jù)這些領(lǐng)域的的投入，包括在人才方面的一些舉措。

互聯(lián)網(wǎng)公司：“得人心者得天下”

互聯(lián)網(wǎng)典型特征就是大數(shù)據(jù)，大數(shù)據(jù)公司也是人工智能公司，以搜索引擎為例，搜索引擎一邊給用戶提供免費(fèi)服務(wù)，這個(gè)服務(wù)背后還有一個(gè)非常精致的商業(yè)模型。用戶免費(fèi)使用服務(wù)的同時(shí)，貢獻(xiàn)數(shù)據(jù)給平臺。另外一邊，我們拿這個(gè)數(shù)據(jù)做商業(yè)化的變現(xiàn)，實(shí)現(xiàn)數(shù)據(jù)的價(jià)值。從數(shù)據(jù)到價(jià)值中間需要技術(shù)，需要基于大數(shù)據(jù)的人工智能。比如說大規(guī)模的機(jī)器學(xué)習(xí)，移動互聯(lián)網(wǎng)中的語音識別、圖像識別，還有用戶建模等，這些技術(shù)能幫助你精準(zhǔn)讀懂用戶心里想什么。以前我們說“得人心者得天下”，而在大數(shù)據(jù)時(shí)代的今天，對于互聯(lián)網(wǎng)公司，只要讀懂人心，就一覽無余。

從學(xué)術(shù)層面到高科技公司，再到政府層面都對人工智能越來越關(guān)注，人工智能機(jī)器人可能是下一個(gè)產(chǎn)業(yè)革命的爆發(fā)點(diǎn)，比如像自動駕駛，自動問答，虛擬現(xiàn)實(shí)等都跟人工智能有關(guān)，將來是科技創(chuàng)新的主戰(zhàn)場。

學(xué)習(xí)的能力是智能的本質(zhì)

那么什么是人工智能?應(yīng)該包括哪幾個(gè)方面，比如我們看到的機(jī)器人，首先他有眼睛，有感覺，能感知環(huán)境是怎么樣，完成它任務(wù)怎么樣做，通過感知把數(shù)據(jù)記錄下來以后，要做思考，想想怎么做，后面你就可以行動。所以，感知、思考和控制是人工智能幾個(gè)重要的方面。

我們看到很多科技公司推出各種各樣的產(chǎn)品，比如說我們看到有智能手機(jī)、智能水杯、智能手環(huán)等等，還有百度推出的智能快搜，谷歌在做的智能湯勺，但是真正想一想這些產(chǎn)品是不是真的具有智能呢?我們把這些產(chǎn)品和60、70年代的老式收音機(jī)放在一邊，他們的不同在什么地方?思考這些問題能幫我們想清楚未來方向，也可以區(qū)別現(xiàn)在的這些產(chǎn)品它到底是不是真的智能。真正的智能系統(tǒng)應(yīng)該能隨著經(jīng)驗(yàn)演化越變越聰明，學(xué)習(xí)的能力，是智能的本質(zhì)!

經(jīng)驗(yàn)就是數(shù)據(jù)

那么什么叫經(jīng)驗(yàn)?經(jīng)驗(yàn)就是數(shù)據(jù)，所以我們到今天看到一個(gè)振奮人心的時(shí)代來臨，這也是我們濟(jì)濟(jì)一堂來到這個(gè)會議的原因，這個(gè)時(shí)代是什么?就是大數(shù)據(jù)時(shí)代。

從萬物互聯(lián)到萬物智能

今天在座每一位可能都跟我一樣，身上帶了至少兩三個(gè)移動設(shè)備，平均每個(gè)人連到兩到三個(gè)設(shè)備。半個(gè)多月前，在烏鎮(zhèn)孫正義有一個(gè)更加瘋狂的預(yù)測，預(yù)測2020平均每個(gè)人要連接到一千個(gè)設(shè)備，一千個(gè)設(shè)備包括你隨身帶的設(shè)備，你的wifi，甚至是監(jiān)控?cái)z像頭。在移動互聯(lián)網(wǎng)時(shí)代，我們看到的未來是萬物互聯(lián)，人跟環(huán)境，人跟物，物跟物之間都會發(fā)生連接。這種連接同時(shí)也意味著數(shù)據(jù)爆增，到達(dá)前所未有的廣度和數(shù)量，大數(shù)據(jù)的時(shí)代使我們從萬物互聯(lián)到萬物智能。

深度學(xué)習(xí)與大數(shù)據(jù)

很多擁有大數(shù)據(jù)的互聯(lián)網(wǎng)公司，包括谷歌、臉譜和百度，都在成立研究機(jī)構(gòu)，這個(gè)機(jī)構(gòu)機(jī)構(gòu)最主要的研究方向就是大規(guī)模的深度學(xué)習(xí)，聚焦點(diǎn)就是大數(shù)據(jù)驅(qū)動的人工智能。在百度內(nèi)部，一個(gè)橫跨各個(gè)產(chǎn)品線大項(xiàng)目獲得了今年的百度最高獎，這個(gè)項(xiàng)目就是百度大腦。擁有上千臺PC服務(wù)器，和將近1000臺GPU服務(wù)器，構(gòu)建了世界上規(guī)模最大的深度神經(jīng)網(wǎng)絡(luò)，百億級的參數(shù)。我們基于這些基礎(chǔ)設(shè)施，去研發(fā)世界上最先進(jìn)的深度學(xué)習(xí)算法，包括語音識別、圖像識別、自然原理理解、廣告競爭匹配、廣告建模等等。

深度學(xué)習(xí)其實(shí)它不是一個(gè)新事情，在30年前80年代末的時(shí)候，深度學(xué)習(xí)就已經(jīng)是得到了廣泛關(guān)注，而到了大數(shù)據(jù)時(shí)代的今天，它獲得了更多的成功和影響力。為什么呢?

第一方面，深度學(xué)習(xí)模擬了大腦的行為。一開始做深度學(xué)習(xí)這幫人，他們的想法受到卷積神經(jīng)系統(tǒng)網(wǎng)絡(luò)的影響，在80年代受到了神經(jīng)科學(xué)家對于視覺神經(jīng)系統(tǒng)理解的影響;

第二，從統(tǒng)計(jì)和計(jì)算的角度來看，深度學(xué)習(xí)特別適合大數(shù)據(jù);

第三，深度學(xué)習(xí)是End-to-end學(xué)習(xí);

第四，深度學(xué)習(xí)提供一套建模語言。

大數(shù)據(jù)時(shí)代傳統(tǒng)深度學(xué)習(xí)的誤區(qū)

我具體給大家講講第二點(diǎn)，深度學(xué)習(xí)特別適合大數(shù)據(jù)下。在統(tǒng)計(jì)上面分析機(jī)器學(xué)習(xí)系統(tǒng)效果時(shí)，一個(gè)最根本的角度叫推廣誤差，推廣誤差可以幫助我們找到誤差來源，從而設(shè)計(jì)出更好的算法。一個(gè)經(jīng)典的分解方法，把推廣誤差分解成兩部分：

Approximation error：數(shù)學(xué)模型不完美導(dǎo)致的誤差;

Estimation error：數(shù)據(jù)不完美，比如數(shù)據(jù)有限或數(shù)據(jù)有偏，導(dǎo)致的誤差;

Optimization error：算法不完美導(dǎo)致的誤差。

隨著數(shù)據(jù)規(guī)模的擴(kuò)大，從推廣誤差的角度來說，傳統(tǒng)的深度學(xué)習(xí)研究中存在著一些誤區(qū)：

從Approximation error的角度來說，過去我們認(rèn)為簡單的模型就是好的，但實(shí)際上簡單的模型是不夠好的，隨著機(jī)器的增多，參數(shù)越來越多，模型越來越復(fù)雜，是大趨勢，過去認(rèn)為簡單的模型是好的這是錯誤的觀念;

從Estimation error的角度來說，為了保證數(shù)據(jù)的精確，應(yīng)該收集充分的數(shù)據(jù);

從Optimization error的角度來說，通常是學(xué)術(shù)界的觀點(diǎn)是，開發(fā)研究非常精致的優(yōu)化算法，但是這些算法存在一個(gè)大問題：不能覆蓋大數(shù)據(jù)。比如，SVM的復(fù)雜度是在數(shù)據(jù)二次方到三次方之間的復(fù)雜度，今天處理一萬個(gè)訓(xùn)練樣本沒問題，但是如果變成十萬個(gè)訓(xùn)練樣本，你需要一百倍到一千倍的計(jì)算資源，這是災(zāi)難性的問題，所以在大數(shù)據(jù)的時(shí)代，工業(yè)界反而要倡導(dǎo)的是desgin “an OK algorithm”。

深入百度大腦

我給大家舉一些百度大腦的例子：

A deep model for image recognition

DLmodelfor query-docrelevance

Long-short term memory for time series

網(wǎng)上搶票驗(yàn)證碼識別

運(yùn)單手寫電話號碼識別

述說圖片的故事，字幕用深度學(xué)習(xí)程序?qū)懗?/p>

同時(shí)理解圖像和自然語言

深度學(xué)習(xí)已經(jīng)取得了關(guān)鍵性進(jìn)展，首先在廣告系統(tǒng)，這可能是世界上首次把深度學(xué)習(xí)成功應(yīng)用于廣告變現(xiàn)，并帶來收入提升，在用了深度學(xué)習(xí)之后，我們跟競爭對手的差距是拉開了兩倍還多。

在物體檢測模型上我們?nèi)〉昧耸澜缟献詈玫某煽?，百度第一，谷歌第二?/p>

未來的展望

人類大腦的平均重量是1.5公斤，占2%的身體體重，消耗20%的能量。最近的一個(gè)報(bào)道顯示，谷歌的服務(wù)器消耗美國用電量的百分之幾，美國的所有互聯(lián)網(wǎng)公司占美國耗電量的9%。在中國，三大互聯(lián)網(wǎng)公司也占中國耗電量百分之幾，智能計(jì)算是非常耗能量的。而人類大腦有一千億個(gè)神經(jīng)原有5000個(gè)的連接，每個(gè)連接觸發(fā)每秒鐘兩次，做一個(gè)簡單計(jì)算，人類大腦計(jì)算能力是10的17次方。在過去人工智能發(fā)展過程中，計(jì)算能力是非常強(qiáng)大的東西，我們今天的計(jì)算能力跟20年、30年前更是不可同日而語的，能構(gòu)造更好的計(jì)算方法。

未來計(jì)算決定著智能水平的發(fā)展，人工智能這個(gè)奇點(diǎn)臨近連接了，謝謝大家!

fanz