佐治亞理工學(xué)院交互式計(jì)算主任Ayanna Howard
作為 AI 工程師,我們擁有設(shè)計(jì)和搭建基于技術(shù)的解決方案的工具。但許多 AI 開(kāi)發(fā)者不認(rèn)為解決潛在的負(fù)面影響也是自己的責(zé)任,因此我們也看到醫(yī)療服務(wù)、教育機(jī)會(huì)等方面的不平等現(xiàn)象。
在新的一年,我希望 AI 社區(qū)可以就如何構(gòu)建有道德的 AI 達(dá)成廣泛共識(shí)。
我們需要在基于其部署的背景來(lái)考慮我們的工作,并對(duì)可能造成的潛在危害負(fù)責(zé),就像負(fù)責(zé)識(shí)別和修復(fù)代碼中的錯(cuò)誤一樣。
這聽(tīng)起來(lái)像一場(chǎng)巨變,但它可能很快發(fā)生。就像新冠大流行期間,很多公司都實(shí)施了以前他們認(rèn)為不可能的在家辦公制度。技術(shù)的一個(gè)特征是,當(dāng)頭部玩家改變時(shí),其他人就會(huì)跟隨,以免失去競(jìng)爭(zhēng)優(yōu)勢(shì)。只需要幾個(gè)領(lǐng)導(dǎo)者設(shè)定了新的方向,整個(gè)領(lǐng)域也會(huì)隨之變化。
斯坦福大學(xué)教授李飛飛:激活 AI 生態(tài)系統(tǒng),扭轉(zhuǎn)頂級(jí)人才流向業(yè)界的趨勢(shì)
美國(guó)國(guó)家工程院院士、斯坦福大學(xué)教授、人工智能著名學(xué)者李飛飛
我希望 2021 年,美國(guó)政府能夠堅(jiān)定承諾支持 AI 創(chuàng)新。
美國(guó)之所以在科技領(lǐng)域一直處于領(lǐng)先地位,是因?yàn)槠鋭?chuàng)新生態(tài)系統(tǒng)充分利用了來(lái)自學(xué)界、政府和產(chǎn)業(yè)界的貢獻(xiàn)。但是,人工智能的出現(xiàn)使之向業(yè)界傾斜,這很大程度上是因?yàn)橛糜?AI 研發(fā)的三種最重要資源——算力、數(shù)據(jù)和人才,集中到了少數(shù)公司。例如,根據(jù) AI21 Labs 論文《THE COST OF TRAINING NLP MODELS》中的數(shù)據(jù),為了訓(xùn)練大規(guī)模語(yǔ)言模型 GPT-3,OpenAI 聯(lián)合微軟可能花費(fèi)了價(jià)值 500 萬(wàn)至 1000 萬(wàn)美元的資源。沒(méi)有一所美國(guó)大學(xué)可以進(jìn)行這種規(guī)模的計(jì)算。
大數(shù)據(jù)對(duì)推動(dòng)人工智能的發(fā)展同樣至關(guān)重要。但如今,最豐富的數(shù)據(jù)庫(kù)卻掌握在大型公司的手中。缺乏足夠的算力和數(shù)據(jù)阻礙了學(xué)界研究者的科研,并加速了頂級(jí) AI 人才從學(xué)界流向私有企業(yè)。
2020 年,美國(guó)政府為大學(xué)院校提供了一些新的支持,但這遠(yuǎn)遠(yuǎn)不夠。在我與哲學(xué)家 John Etchemendy 共同負(fù)責(zé)的斯坦福以人為本人工智能研究院(HAI),我們提出了一項(xiàng)國(guó)家研究云(National Research Cloud)計(jì)劃。該計(jì)劃將在未來(lái)十年每年投入 10 億至 100 億資金,為學(xué)界、政府和業(yè)界的合作注入新的活力。這項(xiàng)計(jì)劃將為學(xué)界研究者提供前沿研究所需的算力和數(shù)據(jù),反過(guò)來(lái)也將吸引和留住新的教職人員和學(xué)生,有可能扭轉(zhuǎn)學(xué)界研究者流向業(yè)界的局面。
National Research Cloud 的進(jìn)展令人鼓舞,包括美國(guó)國(guó)家科學(xué)基金會(huì)和美國(guó)國(guó)立衛(wèi)生研究院在內(nèi)的多個(gè)機(jī)構(gòu)也發(fā)出了有關(guān)人工智能項(xiàng)目的呼吁,為相關(guān)提案提供支持。
AI 是一種工具,而且是一種功能強(qiáng)大的工具。但每個(gè)工具都是一把雙刃劍,其使用方式不可避免地反映出設(shè)計(jì)者、開(kāi)發(fā)者和實(shí)施者的價(jià)值觀。確保 AI 安全、公平、保護(hù)個(gè)人隱私并造福全人類(lèi),仍然存在著許多挑戰(zhàn)。而激活 AI 研究生態(tài)系統(tǒng)是解決這些問(wèn)題的重要部分。
Matthew Mattina:希望 TinyML 等微型 ML 技術(shù)和小型設(shè)備發(fā)揮更大作用
Arm 機(jī)器學(xué)習(xí)研究實(shí)驗(yàn)室的杰出工程師和高級(jí)總監(jiān) Matthew Mattina
以標(biāo)準(zhǔn) 2 號(hào)鉛筆的筆尖為例,想象一下在筆尖區(qū)域每秒執(zhí)行萬(wàn)億次以上的乘法運(yùn)算。這項(xiàng)任務(wù)可以使用現(xiàn)在的 7nm 半導(dǎo)體技術(shù)來(lái)完成。在小型、低成本的電池供電設(shè)備上結(jié)合這種強(qiáng)大的計(jì)算能力和深度神經(jīng)網(wǎng)絡(luò)將有助于解決從 Covid-19 到阿爾茨海默病的種種挑戰(zhàn)。
AlphaGo、Alexa、GPT-3 和 AlphaFold 等杰出系統(tǒng)背后的神經(jīng)網(wǎng)絡(luò)需要這種計(jì)算能力才能充分發(fā)揮魔力。這些系統(tǒng)通常運(yùn)行在數(shù)據(jù)中心服務(wù)器、GPU 和大規(guī)模電源上,但很快它們將可以在耗電量比節(jié)日燈串上單個(gè) LED 燈泡還要少的設(shè)備上運(yùn)行。
一種叫作 TinyML 的機(jī)器學(xué)習(xí)技術(shù)正將這些大型的、側(cè)重?cái)?shù)學(xué)的神經(jīng)網(wǎng)絡(luò)應(yīng)用在傳感器、可穿戴設(shè)備和手機(jī)上。神經(jīng)網(wǎng)絡(luò)嚴(yán)重依賴(lài)乘法,而新興硬件使用低精度數(shù)字(8 位或更少)來(lái)執(zhí)行乘法運(yùn)算。與通常的 32 位單精度浮點(diǎn)乘法器相比,芯片設(shè)計(jì)者可以在更小的面積和功率范圍內(nèi)構(gòu)建更多的乘法器。研究表明,在很多現(xiàn)實(shí)案例中,在神經(jīng)網(wǎng)絡(luò)中使用低精度數(shù)字幾乎不會(huì)對(duì)準(zhǔn)確率產(chǎn)生影響。這種方法可以在最需要的地方提供超高效的神經(jīng)網(wǎng)絡(luò)推斷。
舉例而言,在應(yīng)對(duì) Covid-19 大流行的過(guò)程中,檢測(cè)和確認(rèn)感染者成為主要障礙。最近的研究表明,基于數(shù)千個(gè)「強(qiáng)制咳嗽」音頻片段訓(xùn)練的神經(jīng)網(wǎng)絡(luò)集合或許能夠檢測(cè)出咳嗽者是否感染 Covid-19,即使他 / 她并沒(méi)有出現(xiàn)癥狀。該案例中使用的神經(jīng)網(wǎng)絡(luò)具有非常高的計(jì)算成本,需要每秒數(shù)萬(wàn)億次的乘法運(yùn)算。而 TinyML 可以運(yùn)行此類(lèi)咳嗽分析神經(jīng)網(wǎng)絡(luò)。
對(duì)于即將來(lái)臨的 2021 年,我希望由小型設(shè)備上運(yùn)行的大規(guī)模神經(jīng)網(wǎng)絡(luò)賦能的復(fù)雜醫(yī)療應(yīng)用可以開(kāi)創(chuàng)一個(gè)新的個(gè)性化醫(yī)療時(shí)代,從而改善數(shù)十億人的生活。
沈向洋博士:期待 AI 幫助人類(lèi)進(jìn)行藝術(shù)創(chuàng)作
美國(guó)工程院外籍院士、小冰公司董事長(zhǎng)、清華大學(xué)雙聘教授沈向洋
2021 年,我希望 AI 社區(qū)創(chuàng)造更多工具,幫助人類(lèi)解放創(chuàng)造力。AI 將幫助全球各地的人們以其獨(dú)特的方式溝通、表達(dá)情緒。
我們已經(jīng)創(chuàng)造出擅長(zhǎng)邏輯任務(wù)的機(jī)器,它們能執(zhí)行大規(guī)模計(jì)算,且速度遠(yuǎn)超人類(lèi)。這一成就在近期月球探測(cè)任務(wù)中得到了極大體現(xiàn)。在日常生活中,我們使用 Microsoft Word 和 Excel 等工具來(lái)提升生產(chǎn)效率。但是,在另一些任務(wù)中人類(lèi)仍占絕對(duì)優(yōu)勢(shì),尤其是藝術(shù)領(lǐng)域。
人類(lèi)左腦負(fù)責(zé)邏輯,右腦負(fù)責(zé)創(chuàng)造性和想象力,二者相互補(bǔ)充。創(chuàng)造性的右腦為許多日?;?dòng)點(diǎn)燃火花,我們使用語(yǔ)言來(lái)彼此交流,表達(dá)抽象的概念和情緒。我們同樣用藝術(shù)的手法表達(dá)自己,創(chuàng)造出音樂(lè)、畫(huà)作、舞蹈和設(shè)計(jì)。
AI 領(lǐng)域的近期進(jìn)展,尤其是生成對(duì)抗網(wǎng)絡(luò)和語(yǔ)言模型(如 GPT-3)等深度學(xué)習(xí)技術(shù),使得從頭開(kāi)始合成逼真圖像和合理文本成為可能。小冰聊天機(jī)器人已經(jīng)在作詩(shī)、繪畫(huà)和音樂(lè)方面展現(xiàn)出了類(lèi)似人類(lèi)的性能。例如小冰幫助微信用戶寫(xiě)詩(shī),一周內(nèi)作詩(shī)數(shù)量超過(guò)中國(guó)歷史上所有的詩(shī)作!
繪畫(huà)、音樂(lè)、詩(shī)或舞蹈等藝術(shù)領(lǐng)域的頂尖人士必須經(jīng)過(guò)多年的訓(xùn)練。有句話說(shuō),要想成為某個(gè)領(lǐng)域的專(zhuān)家,需要經(jīng)過(guò)一萬(wàn)小時(shí)的錘煉。類(lèi)似小冰的工具可以大幅降低時(shí)間投入,使每個(gè)人都能獲得更復(fù)雜、更有創(chuàng)造力和想象力的表達(dá)方式。
我期望,2021 年能看到更多 AI 創(chuàng)造工具,幫助人們表達(dá)自己的藝術(shù)想法和靈感。AI 已經(jīng)證明它能夠幫助提升生產(chǎn)效率,那么現(xiàn)在讓我們期待 AI 幫助人類(lèi)解放創(chuàng)造力吧。
OpenAI 聯(lián)合創(chuàng)始人 Ilya Sutskever:期待語(yǔ)言和視覺(jué)的融合
OpenAI聯(lián)合創(chuàng)始人、首席科學(xué)家Ilya Sutskever
過(guò)去一年,通用模型首次產(chǎn)生了經(jīng)濟(jì)價(jià)值。GPT-3 的出世表明大型語(yǔ)言模型具備令人驚嘆的語(yǔ)言能力,并且能夠執(zhí)行大量有用的任務(wù)。我期望接下來(lái)誕生的模型能夠更強(qiáng),2021 年的最佳模型或?qū)⒆?2020 年的最佳模型相形遜色,同時(shí)也將解鎖今天難以想象的許多應(yīng)用。
2021 年,語(yǔ)言模型將開(kāi)始了解視覺(jué)世界。文本本身可以表達(dá)關(guān)于世界的大量信息,但它并不完備,因?yàn)槲覀円采钤谝曈X(jué)世界中。下一代 AI 模型將能夠編輯文本輸入并生成圖像,我們也希望它們能夠借由其見(jiàn)過(guò)的圖像而更好地理解文本。
聯(lián)合處理文本和圖像的能力將使模型變得更聰明。人類(lèi)接觸的不僅是閱讀到的內(nèi)容,還有看到和聽(tīng)到的內(nèi)容。如果模型可以處理類(lèi)似的數(shù)據(jù),那么它們就能以類(lèi)似人類(lèi)的方式學(xué)習(xí)概念。這個(gè)靈感尚未得到證實(shí),我希望 2021 年能夠看到這方面的進(jìn)展。
模型更加聰明的同時(shí),我們也要保證其安全性。GPT-3 能夠處理多項(xiàng)任務(wù),但它并不像我們認(rèn)為的那樣可靠。我們希望給模型一項(xiàng)任務(wù)后,模型能夠返回?zé)o需更改或確認(rèn)的輸出。在 OpenAI,我們提出了一種新方法:基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)。該方法允許人類(lèi)裁判利用強(qiáng)化信號(hào)用我們想要的方式指導(dǎo)模型的行為,這樣我們就可以強(qiáng)化期望的行為,抑制不想要的行為。
GPT-3 等系統(tǒng)被動(dòng)地吸收信息。它們吸收數(shù)據(jù)并內(nèi)化其相關(guān)性,當(dāng)訓(xùn)練數(shù)據(jù)集包含我們不希望模型模仿的行為樣本時(shí),這是個(gè)大問(wèn)題。而使用基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)后,我們可以讓語(yǔ)言模型展示出多種行為,人類(lèi)裁判就這一行為是否符合期望給出反饋。我們發(fā)現(xiàn) GPT-3 語(yǔ)言模型能夠快速?gòu)倪@些反饋中學(xué)習(xí),這樣我們就可以利用相對(duì)少的人類(lèi)交互快速精確地調(diào)整模型行為。
讓語(yǔ)言模型處理文本和圖像這兩種數(shù)據(jù)模態(tài),并通過(guò)與人類(lèi)的交互進(jìn)行訓(xùn)練后,我們看到了一條路徑,使模型變得更強(qiáng)大、更值得信任,因而對(duì)更多人具備更大用途。這條路徑將在 2021 年提供更多令人振奮的發(fā)展前景。
原文鏈接:https://blog.deeplearning.ai/blog/the-batch-new-year-wishes-from-fei-fei-li-harry-shum-ayanna-howard-ilya-sutskever-matthew-mattina