對抗性數據需警惕 科學家已經測試“欺騙”了一輛無人車

近年來，人工智能已經取得了長足的進步，但正如許多人工智能使用者所表明的那樣，人工智能仍然容易出現一些人類并不會犯的驚人錯誤。雖然這些錯誤有時可能是人工智能進行學習時不可避免的后果，但越來越明顯的是，一個比我們意想中嚴重得多的問題正帶來越來越大的風險：對抗性數據。

對抗性數據描述了這樣一種情況，人類用戶故意向算法提供已損壞的信息，損壞的數據打亂了機器學習過程，從而欺騙算法得出虛假的結論或不正確的預測。

作為一名生物醫學工程師，筆者認為對抗數據是一個值得關注的重要話題。最近，加州大學伯克利分校(UC Berkeley)教授唐恩·宋(Dawn Song)“欺騙”了一輛自動駕駛汽車，讓它以為停車標志上的限速是每小時45英里。

這種性質的惡意攻擊很容易導致致命的事故。同樣地，受損的算法數據可能導致錯誤的生物醫學研究，重則危及生命或影響醫學事業的創新發展。

直到最近，人們才意識到對抗性數據的威脅，我們不能再忽視它了。

對抗性數據是如何產生的呢？

有趣的是，即使不帶任何惡意，也可能產生對抗性數據的輸出。這在很大程度上是因為算法能夠“觀察”到我們人類無法識別的數據中的東西。由于這種可見性，麻省理工學院最近的一個案例研究將對抗性描述為一種特性，而不是故障。

在這項研究中，研究人員將人工智能學習過程中的“魯棒性”和“非魯棒性”特征進行了分離。魯棒特征通常可以被人類感知到，而非魯棒特征只能被人工智能檢測到。研究人員嘗試用一種算法讓人工智能識別貓的圖片，結果顯示，系統通過觀察圖像中的真實模式，卻得出錯誤的結論。

錯誤識別發生的原因是，人工智能看到的是一組無法明顯感知的像素，使得它無法正確識別照片。這導致在識別算法的過程中，系統在無意中被訓練成使用誤導模式。

這些非魯棒性特征作為一種“干擾噪聲”，導致算法的結果存在缺陷。因此，黑客要想干擾人工智能，往往只需要引入一些非魯棒特性，這些特性不容易被人眼識別，但可以明顯地改變人工智能的輸出結果。

對抗性數據和黑暗人工智能的潛在后果

正如安全情報局的穆阿扎姆·汗所指出的，依賴于對抗性數據的攻擊主要有兩種類型：“中毒攻擊”和“閃躲攻擊”。在中毒攻擊中，攻擊者提供了一些輸入示例，這些輸入示例使得決策邊界轉移向對攻擊者有利的方向；在閃躲攻擊中，攻擊者會使得程序模型對樣本進行錯誤分類。

例如，在筆者所熟悉的生物醫學環境中，對抗性數據的攻擊可能會導致算法錯誤地將有害或受污染的樣本標記為良性且清潔，這就可能導致錯誤的研究結果或不正確的醫療診斷。

讓人工智能學習算法也可以被用來驅動專門為幫助黑客而設計的惡意人工智能程序。正如《惡意人工智能報告》所指出的，黑客可以利用人工智能為他們的各項破壞活動提供便利，從而實現更廣泛的網絡攻擊。尤其，機器學習能夠繞過不安全的物聯網設備，讓黑客更容易竊取機密數據、違法操縱公司數據庫等等。本質上，一個黑暗的人工智能工具可以通過對抗性數據來“感染”或操縱其他人工智能程序。中小型企業往往面臨更高的風險，因為他們沒有先進的網絡安全指標。

保護措施

盡管存在這些問題，對抗性數據也可以被用于積極的方面。事實上，許多開發人員已經開始使用對抗性數據來檢測自己的系統漏洞，從而使他們能夠在黑客利用漏洞之前實現安全升級。其他開發人員正在使用機器學習來創建另一種人工智能系統，確保其能更擅長識別和消除潛在的數據威脅。

正如喬·代沙爾特在一篇發表于“基因工程及生物技術新聞”的文章中所解釋的那樣，許多這些人工智能工具已經能夠在計算機網絡上尋找可疑的活動，分析時間通常為幾毫秒，并能夠在其造成任何損害之前消除禍端，這些罪魁禍首通常來自流氓文件或程序。

他補充說，這種方法與傳統的信息技術安全不同，傳統的信息技術安全更關注于識別已知威脅的特定文件和程序，而不是研究這些文件和程序的行為。

當然，機器學習算法本身的改進也可以減少對抗性數據帶來的一些風險。然而，最重要的是，這些系統并不是完全獨立的。人工輸入和人工監督仍然是識別魯棒特征和非魯棒特征之間差異的關鍵，以確保錯誤的識別不會導致錯誤的結果。利用真實相關性的額外訓練可以進一步降低人工智能的易受攻擊特性。

顯然，在不久的將來，對抗性數據將繼續對人類世界構成挑戰。但在這樣一個時代，人工智能可以被用來幫助我們更好地理解人類大腦、解決各種世界問題。我們不能低估這種數據驅動威脅的緊迫性。處理對抗性數據并采取措施對抗黑暗人工智能應該成為科技界的首要任務之一。