攻擊AI有多簡(jiǎn)單？一束光就夠了。

3月11日，阿里安全專家發(fā)布了一項(xiàng)新研究，只要用簡(jiǎn)單的激光筆，就可以讓AI模型不再有效。在這個(gè)研究中，他們?cè)O(shè)計(jì)了一種算法，可模擬光束對(duì)AI模型進(jìn)行“攻擊”，這種測(cè)試方法在現(xiàn)實(shí)世界中得到了驗(yàn)證，且“攻擊”極易操作，對(duì)現(xiàn)有基于AI的視覺系統(tǒng)更具威脅，例如基于AI視覺的自動(dòng)駕駛。

當(dāng)不同頻譜的光束打在同一個(gè)物體上，AI可能將該物體識(shí)別錯(cuò)誤，比如將停車標(biāo)識(shí)識(shí)別成順利通行。難以想象，假如一個(gè)人正在飛奔的自動(dòng)駕駛汽車上閉眼休息，AI將“前有危險(xiǎn)”識(shí)別成“通行”后直接墜入萬丈懸崖；或者直接無法識(shí)別前方行人，對(duì)于行人而言將有多么危險(xiǎn)。

“攻擊AI遠(yuǎn)非需要人為去制造對(duì)抗樣本，一支簡(jiǎn)單的激光筆就可以。我們想通過這個(gè)研究揭示AI模型一些之前沒有被探索過的‘錯(cuò)誤’，從而‘強(qiáng)壯’AI，讓它未來能抵擋這種‘攻擊’，也讓相關(guān)從業(yè)者重視提高AI模型的安全性?！卑⒗锇踩珗D靈實(shí)驗(yàn)室負(fù)責(zé)人薛暉說道。

除了以“一束光”測(cè)試AI視覺的安全性，最近圖靈實(shí)驗(yàn)室發(fā)布了多項(xiàng)涉及AI安全的研究成果，比如多項(xiàng)文字識(shí)別與檢測(cè)、利用自監(jiān)督建立視頻表征學(xué)習(xí)方法與提升半監(jiān)督行為檢測(cè)的算法框架、AI樣本對(duì)抗、偽造人臉檢測(cè)、AI對(duì)人臉與人聲匹配的雙重模態(tài)識(shí)別、視頻描述AI生成技術(shù)等囊括AI“視覺”“聽覺”“大腦”“免疫性”等多方研究，這10項(xiàng)涉及AI安全的新一代安全架構(gòu)研究成果均被國際頂會(huì)CVPR2021收錄。

“在AI安全前沿技術(shù)上進(jìn)行探索，一是為了讓AI更安全，二是為了讓AI助力安全，三是為解決具體社會(huì)問題尋找提效的新途徑。”薛暉說。

互聯(lián)網(wǎng)內(nèi)容越來越朝著視頻化的方向發(fā)展，每天用戶上傳和瀏覽的數(shù)量也在不斷增長(zhǎng)，視頻中所可能存在的內(nèi)容風(fēng)險(xiǎn)，如色情、恐怖、暴力等信息也對(duì)內(nèi)容安全造成威脅，安全技術(shù)人員有必要通過機(jī)器來對(duì)視頻內(nèi)容進(jìn)行理解。

因此，阿里安全高級(jí)算法工程師陳達(dá)與阿里安全實(shí)習(xí)算法工程師鄧超睿一起開展了自頂向下的密集型視頻描述生成研究，通過算法對(duì)給定視頻自動(dòng)生成對(duì)視頻內(nèi)容進(jìn)行描述的一段文字，提前過濾不良內(nèi)容，守護(hù)互聯(lián)網(wǎng)清朗健康環(huán)境。

書樂是阿里安全圖靈實(shí)驗(yàn)室的一名女性算法專家，她認(rèn)為算法應(yīng)該是有“

溫度”“柔軟”的，希望能在保護(hù)大眾隱私的基礎(chǔ)上，更加高效地解決機(jī)場(chǎng)、火車站、車庫、游樂場(chǎng)等環(huán)境下走失兒童、老人的尋找問題。

以往行人重識(shí)別模型在實(shí)際部署中，面臨著訓(xùn)練數(shù)據(jù)的采集場(chǎng)景與模型部署場(chǎng)景存在差異的問題，比如模型地訓(xùn)練場(chǎng)景是機(jī)場(chǎng)，但在火車站可能不好用，模型精度會(huì)降低。因此，書樂的研究集中在提升AI模型的泛化能力上，以適用于不同的部署場(chǎng)景，且不用識(shí)別人臉，通過衣著、步態(tài)等，即可提升找尋效率。

高級(jí)算法專家越豐十分關(guān)注AI對(duì)抗樣本的問題，高質(zhì)量的DeepFake人臉偽造視頻更容易被制作并引發(fā)不良影響，而真實(shí)場(chǎng)景的偽造視頻數(shù)據(jù)分布和視頻質(zhì)量參差不齊，他們正在通過尋找一個(gè)更魯棒的方法提升檢測(cè)AI檢測(cè)算法的實(shí)用性。

“安全部署要前置，無論是AI本身的安全，還是AI可以助力解決的安全問題與社會(huì)問題，這就是從源頭構(gòu)筑安全的核心理念?！毖煴硎荆Ｍ趶V闊的AI安全研究的新領(lǐng)域中，能有更多新生力量加入，迸發(fā)出有創(chuàng)造性和想象力的研究，最終應(yīng)用到人們的生活中，真正服務(wù)大眾，解決難題。