攻擊AI有多簡單？一束光就夠了。

3月11日，阿里安全專家發(fā)布了一項新研究，只要用簡單的激光筆，就可以讓AI模型不再有效。在這個研究中，他們設計了一種算法，可模擬光束對AI模型進行“攻擊”，這種測試方法在現(xiàn)實世界中得到了驗證，且“攻擊”極易操作，對現(xiàn)有基于AI的視覺系統(tǒng)更具威脅，例如基于AI視覺的自動駕駛。

當不同頻譜的光束打在同一個物體上，AI可能將該物體識別錯誤，比如將停車標識識別成順利通行。難以想象，假如一個人正在飛奔的自動駕駛汽車上閉眼休息，AI將“前有危險”識別成“通行”后直接墜入萬丈懸崖；或者直接無法識別前方行人，對于行人而言將有多么危險。

“攻擊AI遠非需要人為去制造對抗樣本，一支簡單的激光筆就可以。我們想通過這個研究揭示AI模型一些之前沒有被探索過的‘錯誤’，從而‘強壯’AI，讓它未來能抵擋這種‘攻擊’，也讓相關從業(yè)者重視提高AI模型的安全性?！卑⒗锇踩珗D靈實驗室負責人薛暉說道。

除了以“一束光”測試AI視覺的安全性，最近圖靈實驗室發(fā)布了多項涉及AI安全的研究成果，比如多項文字識別與檢測、利用自監(jiān)督建立視頻表征學習方法與提升半監(jiān)督行為檢測的算法框架、AI樣本對抗、偽造人臉檢測、AI對人臉與人聲匹配的雙重模態(tài)識別、視頻描述AI生成技術等囊括AI“視覺”“聽覺”“大腦”“免疫性”等多方研究，這10項涉及AI安全的新一代安全架構研究成果均被國際頂會CVPR2021收錄。

“在AI安全前沿技術上進行探索，一是為了讓AI更安全，二是為了讓AI助力安全，三是為解決具體社會問題尋找提效的新途徑?！毖熣f。

互聯(lián)網內容越來越朝著視頻化的方向發(fā)展，每天用戶上傳和瀏覽的數(shù)量也在不斷增長，視頻中所可能存在的內容風險，如色情、恐怖、暴力等信息也對內容安全造成威脅，安全技術人員有必要通過機器來對視頻內容進行理解。

因此，阿里安全高級算法工程師陳達與阿里安全實習算法工程師鄧超睿一起開展了自頂向下的密集型視頻描述生成研究，通過算法對給定視頻自動生成對視頻內容進行描述的一段文字，提前過濾不良內容，守護互聯(lián)網清朗健康環(huán)境。

書樂是阿里安全圖靈實驗室的一名女性算法專家，她認為算法應該是有“

溫度”“柔軟”的，希望能在保護大眾隱私的基礎上，更加高效地解決機場、火車站、車庫、游樂場等環(huán)境下走失兒童、老人的尋找問題。

以往行人重識別模型在實際部署中，面臨著訓練數(shù)據(jù)的采集場景與模型部署場景存在差異的問題，比如模型地訓練場景是機場，但在火車站可能不好用，模型精度會降低。因此，書樂的研究集中在提升AI模型的泛化能力上，以適用于不同的部署場景，且不用識別人臉，通過衣著、步態(tài)等，即可提升找尋效率。

高級算法專家越豐十分關注AI對抗樣本的問題，高質量的DeepFake人臉偽造視頻更容易被制作并引發(fā)不良影響，而真實場景的偽造視頻數(shù)據(jù)分布和視頻質量參差不齊，他們正在通過尋找一個更魯棒的方法提升檢測AI檢測算法的實用性。

“安全部署要前置，無論是AI本身的安全，還是AI可以助力解決的安全問題與社會問題，這就是從源頭構筑安全的核心理念?！毖煴硎?，希望在廣闊的AI安全研究的新領域中，能有更多新生力量加入，迸發(fā)出有創(chuàng)造性和想象力的研究，最終應用到人們的生活中，真正服務大眾，解決難題。