李彥宏乘坐自動駕駛汽車,走在北京五環(huán)路上

不久前,我見到了百度安全事業(yè)部總經(jīng)理馬杰和百度安全產(chǎn)品部總經(jīng)理韓祖利,和他們聊過之后,我相信有兩件事會發(fā)生:

1、下一個大規(guī)模普及的人工智能產(chǎn)品,可能來自百度;

2、有了大規(guī)模的用戶,才會讓問題暴露并引起廣泛關(guān)注。所以第一個遇到并著手解決人工智能安全問題的,也可能是百度。

那么,目之所及,人工智能會面臨哪些具體的風險呢?

  馬杰(畫左)和韓祖利(畫右)

  二、人工智能有哪些安全問題?

韓祖利把人工智能面臨的問題,分成了五大類。

1、傳感器欺騙

2017年的極棒黑客大賽上,來自百度安全實驗室的小灰灰用A4紙打印的人臉就騙過了人臉解鎖裝置;同樣的 A4 紙,打印之后也可以用于破解虹膜識別;還是 A4 紙,竟然也可以破解“指靜脈識別”這種被用于社保系統(tǒng)的“高安全等級”技術(shù)。

人臉識別、虹膜識別、指紋識別、指靜脈識別,其實都是基于人工智能的一個重要分支:圖像識別技術(shù)。

小灰灰告訴我:“這些每個人都會用到的身份識別技術(shù),原理都是通過傳感器采集信息,然后進入算法。這樣,只要知道這些傳感器需要“看見”什么,我們就偽造一個給它看。就能輕松欺騙騙過它了?!?/p>

  這是小灰灰拍攝的自己的眼睛,用來破解虹膜識別系統(tǒng)。

這也是韓祖利眼中人工智能面臨的第一個問題:“傳感器欺騙”。

單純的一種驗證方式,比如僅僅人臉識別,或僅僅虹膜識別,都存在繞過的技術(shù),所以業(yè)內(nèi)目前的解決方案是“多因子認證”,就是同時采用兩種或兩種以上的認證方式。同時欺騙兩種認證方式,難度就變得大多了。

他說。

 2、軟件缺陷

大名鼎鼎的 TensorFlow,是谷歌推出的機器學習系統(tǒng),人人都可以利用這個平臺開發(fā)自己的人工智能應用。

但是,假設(shè)這個架構(gòu)本身就存在漏洞呢?

韓祖利說:“Tensor有 887萬行代碼,不僅如此,要運行 Tensor,還需要調(diào)用100多個依賴庫,其中很多庫都是很多年前的“老古董”。這么多代碼已經(jīng)超出了人工審計的工作量,其中一定存在漏洞?!?/p>

  這張圖表里列舉了各大人工智能平臺的漏洞情況(點擊可以看大圖)

看看上面這張圖,就是各大人工智能平臺的漏洞表。不用假設(shè),他們就是有漏洞的。

對于這種漏洞,似乎沒有好的方法,就是不斷認真審計、查找問題。安全研究員的職責即是在此,至少百度在自家的 Paddle Paddle 人工智能平臺上是這么做的。

 3、數(shù)據(jù)投毒

說到數(shù)據(jù)投毒,是AI攻防里最驚心動魄的部分。也是最接近人們想象的一種。

加州大學伯克利分校的著名人工智能專家 Down Song 算是一個“城會玩”的代表。她在一個寫著“STOP”的標牌上,粘貼了幾塊膠條。人類看起來這根本沒什么,但是在自動駕駛的人工智能看來,這就是一個時速45公里的限速牌。

想象一下,如果你的自動駕駛汽車遇到了這樣的標牌,一定會毫不猶豫地沖過去,讓你體驗從急救車到醫(yī)院搶救的全套流程。

韓祖利說,這就是標準的“對抗數(shù)據(jù)”。

同樣的玩法還有很多,比如日本的一個團隊,在每張圖片里加上一個像素,就能讓人工智能識別產(chǎn)生翻天覆地的錯誤,直接指鹿為馬。(順便說下,他們搞定的是技術(shù)很強的 Face++ 系統(tǒng)。)

再比如,如果你欠朋友二十萬不打算還,就得去做個整容。但是如果想讓人臉識別不認識你,只需要這個特殊的發(fā)光眼鏡。戴上之后,就會被系統(tǒng)認作另外一個人。

人工智能雖然被叫做人工智能,但其實目前的技術(shù)根本達不到人類這種完備的知識體系,所以很多在人看來很 Low 的欺騙方法,就可以輕松“撂倒”它。

剛才說的,是對抗已經(jīng)“成年”的人工智能。還有人做得更絕,在人工智能接受數(shù)據(jù)訓練的時候,就直接把“帶毒”的數(shù)據(jù)混進去,這樣訓練出來的人工智能就帶有天然缺陷。

這就是“數(shù)據(jù)集投毒”了。

畢竟,現(xiàn)在的人工智能就像一個小孩子,小孩子往往是很好騙的。

  4、系統(tǒng)安全

人工智能系統(tǒng)是要跑在操作系統(tǒng)之上的。而這些操作系統(tǒng)每年都會被“白帽子”找到大量漏洞,打上一串兒補丁。前一階段爆發(fā)的 WannaCry 病毒,沒打補丁的電腦就遭殃了。

尤其對于很多攜帶智能功能的硬件來說,如果操作系統(tǒng)有漏洞不及時補上,就很可能被黑客控制。

 5、網(wǎng)絡(luò)安全

和系統(tǒng)安全類似,網(wǎng)絡(luò)安全也并不是人工智能面對的獨特威脅。只要有數(shù)據(jù)在網(wǎng)絡(luò)上傳輸,就存在被黑客截取數(shù)據(jù)的可能。

你可能感覺到了,要想搞掉某個人工智能,有很多角度和姿勢。其實,所有的安全都是這樣:防守的人要守住城墻的每一寸磚,而進攻者只要找到一個點突破就大功告成。這是典型的內(nèi)線作戰(zhàn)和外線作戰(zhàn)的區(qū)別。不幸,人工智能由于處在進化的頂端,不僅別人面臨的威脅它一樣不少,除此之外還面臨獨有的威脅。

  三、百度的人工智能會被攻擊嗎?

說了那么多種進攻人工智能的方法,但大多數(shù)情況下,這些攻擊都不會真實發(fā)生。黑客攻擊某個系統(tǒng),還要有一項基本要素,那就是——動機。在現(xiàn)在這個時代,做壞事的動機一般是錢。

我一直在強調(diào)平衡點的概念。這里就是一個例子:當某個產(chǎn)品的用戶規(guī)模達到一定量級,越過平衡點,在攻擊者眼中就具有了價值。所以,百度要重點防御的,就是那些已經(jīng)或即將有很多用戶的產(chǎn)品。

我覺得百度目前跑在最前面的人工智能產(chǎn)品有兩個,分別是“DuerOS 人工智能操作系統(tǒng)”和“Apollo 無人駕駛系統(tǒng)”。果不其然,百度安全事業(yè)部總經(jīng)理馬杰在這兩個產(chǎn)品上投入的注意力也很多。

  比如搭載了 DuerOS 的渡鴉音箱

 1、先來說說 DuerOS

DuerOS 是嵌入各種智能硬件中的人工智能操作系統(tǒng)。比如渡鴉音箱、Fill耳機,里面都內(nèi)嵌了 DuerOS。

一般情況下,像智能空氣凈化器、智能音箱、看家機器人這類東西,都會附帶很多傳感器,例如聲音收集、視頻采集,而且一般擺在客廳甚至臥室。如果他們被黑客控制,上傳一點聲音、視頻,確實讓人很羞憤。。。

但要防止這些事情發(fā)生,只保證 DuerOS本身的安全性遠遠不夠。

DuerOS 已經(jīng)有四位數(shù)的合作伙伴,但是這些硬件往往是合作伙伴生產(chǎn)的。原則上來說,百度只是人工智能系統(tǒng)提供商,無法控制合作伙伴的硬件安全或者操作系統(tǒng)安全。

但任何設(shè)備出現(xiàn)問題,傷害的都是百度的品牌。所以,我們要盡力幫合作伙伴把其他安全方面也做好。

馬杰說。

為了不當背鍋俠,他們是怎么做的呢?

組團打怪的人都知道,要解決自己搞不定的事情,一般需要“聯(lián)盟”。醞釀了大半年,百度終于在2017年底主導推出了 AI 聯(lián)盟。

它主要在倡導一套技術(shù)標準,包括:安全的 Linux 內(nèi)核、補丁熱修復技術(shù)、安全通信協(xié)議、身份認證機制、自動攻擊攔截五大技術(shù)。這幾乎涵蓋了文章第二部分所說的“人工智能面臨的五大威脅”。而這其中有不少技術(shù)都是百度首席安全科學家韋韜團隊“Xteam”的心水之作。

這段生詞有點多,簡單總結(jié),就是百度搞出了一整套人工智能安全方案,可以隨 DuerOS 附贈。鑒于現(xiàn)在智能硬件廠商普遍比較低的安全能力,說附贈不太貼切,用馬杰的話叫做“強制附贈”——只要使用 DuerOS,就必須采用 AI 聯(lián)盟認證的安全方案。這樣省時省力,皆大歡喜。

從這個角度說,應用 DuerOS 的硬件,安全性是有底線保障的。

 2、再來說說 Apollo

李彥宏說,通過Apollo平臺實現(xiàn)無人駕駛車量產(chǎn)的時間是2019年。

目前,作為開源自動駕駛系統(tǒng)的 Apollo 正在按部就班地迭代(懂代碼的可以到Github上監(jiān)督一下他們的進度),而每一次新版本發(fā)布前,都是百度安全同學熬夜的季節(jié)。因為他們要負責審核代碼的安全性,找找里面是否存在漏洞。

這就是“軟件安全”。

  apollo 系統(tǒng)

人人都喜歡老司機,因為他們“穩(wěn)”。在自動駕駛世界,人工智能的角色就是司機。Apollo 如果不“穩(wěn)”,如何齁住秋名山。講真,無人駕駛安全的重要性,要超過臥室里“上傳錄音”的凈化器。

無人車是公認人工智能的第一個大戰(zhàn)場。從科學規(guī)律上來講,無論是哪個公司的無人車,只有它越普及,才越可能暴露出來安全問題。

在現(xiàn)階段,連業(yè)內(nèi)第一梯隊的百度無人車都處在研發(fā)中,直接腦補《速度與激情8》里的場景,未免有些脫離現(xiàn)實。如果你問我,汽車中的人工智能會面臨怎樣具體的攻擊姿勢,最科學的答案就是:我還不知道。

可以說:對于無人車安全,挑戰(zhàn)更大,但時間窗口未到。

 四、我們該用什么姿勢來恐懼?

正如剛才所言,人工智能很多具體的風險可能還未知。而未知天然就會引發(fā)恐懼。

我們是否該縱容自己的恐懼呢?

文章開頭我提到了汽車代替馬車的故事,其實這個故事還有更多細節(jié):

150年前,汽車剛被發(fā)明出來,它被認為是怪物。

那時候倫敦城滿街跑的都是馬車,從旁邊冷不丁殺出一輛汽車,經(jīng)常會挑戰(zhàn)馬兒脆弱的小心臟。受驚的馬引發(fā)了不少事故。汽車本身的安全性也堪憂,翻開一張英國報紙,一張漫畫映入眼簾:汽車爆炸,坐車的人血肉橫飛。

用這種危險的玩意兒代替?zhèn)惗爻莾?yōu)雅又萌萌噠的十萬匹馬,人們不答應。

聽取了群眾的呼聲,1858年英國實施了“紅旗法”,規(guī)定汽車在郊外的限速是4碼,市內(nèi)的限速是2碼(你沒看錯,比走路還要慢),還要在汽車前面有專人步行手持紅旗,提示大家“危險將近”。

你看,今天隨處可見的普通汽車,曾經(jīng)被人當做洪水猛獸一般對待。當時人們的恐懼,在后人看來近乎笑談。

隨著技術(shù)的落地,不斷跟進研究,才是對人工智能安全最負責任的態(tài)度。就像馬杰所說:“最可怕的問題都來源于沒有意識到。只要意識到,最終都能解決?!?/p>

除了百度安全的同學,在 BSRC(百度安全應急響應中心)門庭下也有很多白帽子在孜孜不倦地幫百度找到安全問題。所以,和白帽子的合作也是百度人工智能安全重要的部分。

講真,即使對于白帽子這樣的專業(yè)黑客來說,人工智能也是比較陌生的技術(shù)。而要研究AI的安全,首先需要了解它。

在馬杰心里,安全人員都有一張“技能表”。各項基礎(chǔ)技能,對于找到漏洞是至關(guān)重要的。例如 CPU 的架構(gòu)、系統(tǒng)內(nèi)核,這些都是高段位白帽子的必備技能。而人工智能,很可能成為“技能表”中下一個重點。

“無論是用人工智能找漏洞,還是找到人工智能中的漏洞,首先都要對它有充分的了解。而這種學習,越早開始越好?!八f。

  在剛剛結(jié)束的BSRC年度盛典上,百度安全還為優(yōu)秀白帽子們發(fā)了獎。今年百度給白帽子的年終獎累計達到百萬人民幣,還挺多的。

說回新技術(shù)。我們的恐懼也許最終不能改變什么,就像“危險”的汽車最終還是走進了每個人的車庫:

19世紀末,卡爾·本茨發(fā)明了內(nèi)燃機汽車。有一次他載著當?shù)毓賳T上路。由于和“紅旗法”類似的法規(guī)限制,德國汽車車速不能超過6公里,所以只能龜速前進。

突然后面一輛馬車超了過去,車夫回頭大聲嘲笑他們。

官員大怒,對本茨大喊:“給我追上去!”

本茨故作無奈:“可是政府有規(guī)定。。。”

“別管什么規(guī)定!我就是規(guī)定!追!”官員大叫。

聞聽此言,本茨一腳油門踩下去。他們的汽車立刻超越了馬車,從此,再沒有被追上過。

馬杰所言,無外乎八個字:與其恐懼,不如擁抱。

分享到

songjy

相關(guān)推薦