Hinton、Yann LeCun、李飛飛談深度學習十年：AI沒有走入死胡同，“革命”仍如火如荼

大數據文摘授權轉載自AI前線

作者：Sharon Goldman

譯者：核子可樂

策劃：冬梅

2022 年，當我們回望這生機勃勃、萬物競發的 AI 黃金十年，新的問題涌上心頭：我們可以從這十年來的深度學習發展之路中總結出什么？這一顛覆世界的革命性技術，未來又將何去何從？

人工智能（AI）先驅 Geoffrey Hinton 是十年前深度學習初創“革命”的開拓者之一。在他看來，未來 AI 技術的發展勢頭仍將一路加速。

2012 年，為 AI 帶來首個重大突破的關鍵神經網絡研究橫空出世。而值此十周年紀念日之際，Hinton 和其他幾位 AI 杰出人士再度發聲，回擊了部分批評者提出的深度學習已經“走進死胡同”的觀點。

Hinton 表示，“我們將看到機器人技術的巨大進步 —— 更靈巧、更敏捷、更順從的機器人即將誕生。它們可以像人類一樣高效、溫和地處理工作。”

其他 AI 先驅者，包括 Meta 公司首席科學家兼 AI 負責人 Yann LeCun，以及斯坦福大學教授李飛飛，也對 Hinton 的觀點表示贊同。幾位大佬都認定，2012 年在 ImageNet 數據庫上的開創性研究結果（基于以往的工作成果，成功解鎖計算機視覺乃至整體深度學習的全面進步）確實將深度學習推向了主流，并引發了一股難以阻擋的歷史洪流。

LeCun 在接受外媒 VentureBeat 采訪時提到，擋在 AI 前進道路上的種種阻礙，正以驚人的速度被加快掃除。連他自己都感嘆，“過去四五年的技術發展速度令人驚訝。”

而 2006 年建立起 ImageNet（首個用于計算機視覺算法的大規模人工標注照片數據集）的李飛飛，也在接受采訪時提到，2012 年以來，這場浩浩蕩蕩的深度學習發展大潮是“一場我做夢也無法想象的驚人革命”。

然而，木秀于林風必摧之。

耀眼的光環之下，也有尖銳的批評者認為深度學習存在很大局限，并認為這項技術的應用范圍極其狹窄。反對者還強調，神經網絡的本質上其實是又一場技術炒作，并不像某些支持者說的那樣有能力帶來根本性的突破。換言之，他們完全不認可“它是最終幫助我們達成期望中的「人工通用智能」（AGI）的基礎，即具備與人類相當的推理能力的 AI”這一論斷。

萬物競發的 AI 黃金十年

紐約大學名譽教授、Robust.AI 創始人兼 CEO Gary Marcus 曾在去年 3 月寫下一篇關于“深度學習走進‘死胡同’”的文章。在他看來，這項技術雖然取得了不錯的進展，但“卡在了關于物理世界的常識知識與推理這一環，再難寸進”。

華盛頓大學計算語言學教授、時常批評這場“深度學習泡沫”的 Emily Bender 則表示，她認為目前的自然語言處理（NLP）和計算機視覺模型，并不能算是“邁向人工智能和人工通用智能的實質性腳步”。

無論如何，批評者也必須承認，計算機視覺和語言等關鍵應用確實取得了巨大進步。這也引得成千上萬家企業爭相利用深度學習的力量，進而在推薦引擎、翻譯軟件、聊天機器人等領域帶來令人印象深刻的現實成果。

然而，其中也有不少必須直面的嚴肅爭論。例如，AI 領域還有不少倫理和偏見等基本問題需要解決，治理者也需要監管 AI，以保護公眾在就業、醫療保健和監控等領域免受歧視。

2022 年，當我們回望這生機勃勃、萬物競發的 AI 黃金十年，新的問題涌上心頭：我們可以從這十年來的深度學習發展中總結出什么？這一顛覆世界的革命性技術，未來又將引何去何從？

Geoffrey Hinton

AI 先驅們早已預見到這場革命的到來

Hinton 稱，他一直都知道深度學習“革命”即將到來。

Hinton 在 1986 年發表的論文中普及了用于訓練多層神經網絡的反向傳播算法。他表示，“有很多研究者都相信，這就是人工智能的未來。我們則一直在努力證明自己的這一論斷、證明自己所相信的東西。”

1989 年率先使用反向傳播和卷積神經網絡的 LeCun 也對此表示贊同。他談到，“我絲毫也不懷疑未來的 AI，采用的仍然是我們八十和九十年代開發出的相關技術。”

與當時的主流觀念相反，Hinton 和 LeCun 等人堅持認為，多層神經網絡等深度學習架構可以應用于計算機視覺、語音識別、NLP 和機器翻譯等領域，進而產生近似甚至超越人類專家的表現。他們駁斥了那些抵觸他們研究成果的批評者，強調反向傳播與卷積神經網絡等算法技術將成為推動 AI 進步的關鍵。不過當時學術界的普遍消極情緒也可以理解，畢竟在經歷了八十和九十年代的一系列挫折之后，AI 技術已經長期停滯不前。

與此同時，擔任斯坦福大學以人為本 AI 研究院聯合主任、前谷歌 AI 與機器學習首席科學家的李飛飛，也同樣對自己的假設充滿信心。她認為只要配合正確的算法，ImageNet 數據庫完全能夠推動計算機視覺與深度學習的跨越式發展。

她解釋道，“這是一種典型的開箱即用式機器學習思維方式，也對應著很高的風險。但我們在科學意義上相信自己的假設。”

但這一切仍然有待時間的檢驗。這些經過數十年 AI 研究發展起來的理論，直到 2012 年秋才完全證明了自己。一場重大突破，最終引發了得到公認的深度學習革命。

2012 年 10 月，Hinton 的兩位博士生 Alex Krizhevsky 和 Ilya Sutskever 參加了由李飛飛組織的 ImageNet 競賽，嘗試為大規模對象檢測與圖像分類設計出可行的算法。師生三人憑借一篇題為《使用深度卷積神經網絡實現 ImageNet 數據庫分類》的論文最終勝出。該論文使用 ImageNet 數據庫創建了一個名為 AlexNet 的開創性神經網絡。而且事實證明，該模型在各種圖像的分類方面都要比以往任何方法準確得多。

這篇令 AI 研究界贊嘆不已的論文仍然站在早期突破的肩膀之上，再配合上 ImageNet 數據集和更強大的 GPU 硬件，直接開宗立派，為日后 Google Photos、Google Translate、Uber、Alexa、DALL-E 乃至 AlphaFold 翻開了歷史進程的嶄新一頁。

此后，對 AI 技術的投資呈現出指數級增長：全球 AI 初創資金從 2011 年的 6.7 億美元增長至 2020 年的 360 億美元，并于 2021 年再次翻番達到 770 億美元。

那一年，神經網絡成為主流

經歷了 2012 年震驚全球的 ImageNet 競賽，媒體開始全力跟進深度學習的發展趨勢。

ImageNet 競賽次月《紐約時報》發表的文章《科學家們在深度學習項目中看到了希望》提到，“科技企業報告稱，通過一種受人腦模式識別理論的啟發，新型 AI 技術已經在諸多領域取得驚人進展，包括計算機視覺、語音識別乃至發現有前途的****物新分子等。”文章還補充稱，“這種被稱為人工神經網絡，或簡稱為神經網絡的新技術，采用與人腦相似的神經連接結構，成功推動深度學習程序在速度與準確性方面達到一個又一個新高度。”

這一年，AlexNet 并不是深度學習領域唯一的超級明星。2012 年 6 月，谷歌 X 實驗室的研究人員也構建了一個由 16000 個處理節點組成的神經網絡，包含 10 億個連接。隨著時間推移，它開始總結出“貓”的特征，進而準確識別出 YouTube 視頻中出現的小貓形象。

與此同時，Jeffrey Dean 和吳恩達也在 Google Brain 的大規模圖像識別方面取得了突破。在 2012 年的 IEEE 計算機視覺與模式識別會議上，研究人員 Dan Ciregan 等人再次顯著提高了卷積神經網絡在多個圖像數據庫上的最佳性能。

Hiton 總結道，到 2013 年，“幾乎所有計算機視覺研究都轉向了神經網絡。”從那時起，他也開始奔走于多倫多大學和谷歌研究院。這是 AI 研究自 2007 年以來的一場重大變革，“在此之前，每次技術會議最多只會接收一篇關于深度學習的論文。”

李飛飛

深度學習的十年發展歷程

作為深度學習歷史性突破的親歷者，李飛飛在 2012 年那場 ImageNet 競賽上親自公布了獲勝選手。接下來十年深度學習的****，也在意大利佛羅倫薩的會議現場被正式定義。

李飛飛提到，“ImageNet 的構想始于 2006 年，但當時幾乎沒人支持。

然而，最終它還是以光芒萬丈的方式獲得了認可和回報。”

自 2012 年開始，深度學習的發展速度驚人，學習模型的“深度”也開始不斷打破紀錄。

LeCun 表示“不少擋在 AI 發展道路上的阻礙被快速掃除”，于是自然語言理解、文本生成翻譯和圖像合成等應用領域全面起飛。

其中部分領域的發展速度甚至比預期更快。對 Hinton 來說，基于神經網絡的機器翻譯特別令人印象深刻，而這方面嘗試其實始于 2014 年。“我原本以為不會那么快。”另一方面，李飛飛也對 DALL-E 贊賞有加，表示“進展比我想象中更快。”

敬告深度學習批評者

然而，并不是所有人都愿意為深度學習的進展而鼓掌喝彩。

2012 年 11 月，紐約大學名譽教授、Robust.AI 創始人兼 CEO Gary Marcus 就為《紐約客》撰寫了一篇文章，表示“套用一句古老的寓言——Hinton 造了一把好梯子，但無論多好的梯子都沒法讓人登上月球。”

Marcus 甚至斷言，時至今日，深度學習完全沒能讓 AI 比十年前更接近“月球”——也就是萬眾期待的人工通用智能，或者說能力與人類相當的 AI。

“技術方面的進步當然客觀存在，但要想成功登月，必須解決因果理解和自然語言理解 / 推理的問題。深度學習在這些方向上并沒有太大進展。”

Marcus 還提到，他認為將神經網絡與符號人工智能（在深度學習興起之前，在領域中占主導地位的 AI 分支）相結合的混合模型，才是突破神經網絡極限的正確方向。

但 Hinton 和 LeCun 各自駁斥了 Marcus 的批評意見。

Hinton 表示“深度學習并沒有走進死胡同——只要看看最近發生的一切，就能感受到它的蓬勃力量。”但他也承認，深度學習所能解決的問題確實還比較有限。

LeCun 則補充稱，“我覺得壓根不存在什么死胡同，只是前進道路上還有需要掃除的障礙。我們目前不太清楚要怎么掃除，但深度學習的進展沒有放緩……如果非要說的話，反而是在一路加速。”

但反對派的 Bender 對此并不買賬。她在郵件采訪中強調，“在某種程度上，他們討論的還是根據 ImageNet 等基準數據集提供的標簽，對圖像進行分類的所謂進展。2012 年確實是個歷史性的突破點，但除此以外的其他宏大目標還完全沒有被攻克，屬于典型的雷聲大雨點小。”

AI 偏見與倫理問題已迫在眉睫

Bender 還認為，AI 和深度學習技術已經在不知不覺中走得太遠。“我相信超大規模數據集確實能為 AI 模型帶來強大的能力，通過算力加高效算法的方式生成合成文本和圖像。但這方面的成功形成了強大的發展慣性，于是研究者們似乎陷入了一種循環——人們「發現」模型存在偏見，于是嘗試去消除這些偏見。但大家都知道，時至今日也不存在真正無偏見的數據集或者 AI 模型。”

此外，她“希望看到 AI 領域能貫徹真正的問責標準，包括測試評判、經驗主張乃至產品安全。為此，我們需要幫助民眾理解 AI 技術、看穿炒作宣傳，我們需要行之有效的監管手段。”

但 LeCun 不這么看，他認為“這些訴求的實質，都是人們想要對復雜的重要問題進行粗暴簡化”，而且很多人會做“有罪推定”。他堅持強調，大多數企業“其實都是想做正確的事”。

再有，他還抱怨了那些不愿參與 AI 技術研究、卻每天大放厥詞的批評者。

“那些身在場外指指點點的家伙甚至形成了自己的完整生態系統。但除了擾亂關注之外，他們起不到任何積極的作用。”

關于深度學習的爭論還將繼續

爭論氣氛看似緊張，但李飛飛強調這都是科學研究領域內的正常討論。她解釋稱，“科學并不是真理，科學是尋求真理的過程。過程中必然有發現也有改進，所以爭論、批評和喝彩都是必不可少的環節。”

但也有一些爭論和批評意見讓她感覺“有點做作”，包括現在的 AI 路線有錯、以及 AGI 即將實現之類。“我認為這本應是一場更深層、更微妙、更細致、更多維的科學爭論，但現在的情況有點淺表化了。”

當然，李飛飛也承認這十年來 AI 的發展表現令人失望，而且往往跟技術本身無關。“我覺得最令人失望的狀況發生在 2014 年，當時我和以前的學生們共同創立了 AI4ALL，希望將年輕女性、有色族裔和服務欠缺社群的學生們帶入 AI 世界。我們的目標，就是給 AI 世界帶來更加多樣化的未來。”

如今八年過去，她認為積極的變化來得太慢。“我希望看到更快、更深層次的變化，但各方付出的努力還遠遠不夠，特別是在初中和高中這個階段。我們不知不覺中失去了很多才華橫溢的年輕參與者。”

AI 與深度學習的未來

LeCun 承認，很多 AI 挑戰在吸納了大量資源投入之后仍未得到解決，其中最典型的一例就是自動駕駛。

“必須得說，人們可能低估了自動駕駛的復雜性。”LeCun 承認自己也沒有深入研究過這個領域，“但我知道這事很難，而且需要很長時間。我不同意某些人的觀點，他們說原理問題已經基本解決……接下來只要把模型做得更大就行。”

事實上，LeCun 最近發布了一份建立“自主機器智能”的藍圖，這也表明他認為現有 AI 方法并不足以打造出與人類相當的 AI 成果。

但他同時看到了深度學習未來的巨大潛力。他說最令自己感到興奮、并愿意為之奮斗的，就是讓機器獲得類似于動物、甚至人類的高效學習能力。

“對我來說，最大的問題就是動物到底遵循怎樣的學習原則。正因為如此，我才一直倡導自監督學習等技術方向。這方面的進展將使我們得以構建出目前遙不可及的成果，比如能夠在日常生活中幫助用戶的智能系統。它們就像是人類的助手，這才是大家所真正需要的。未來，我們一定會進入全民佩戴增強現實眼鏡的時代，我們將隨時隨地與 AI 互動。”

Hinton 也認為深度學習有著良好的進展。除了機器人技術的進步，他認為神經網絡的底層計算基礎設施也將迎來新突破。“目前的基礎設施是在用擅長矩陣乘法器的加速器執行數字計算。”而對于反向傳播，還需要把模擬信號轉換為數字信號。

“目前的反向傳播只能在模擬硬件中實現，未來我們一定會找到替代方案。

我也完全相信，從長遠來看，人類幾乎所有計算都將以模擬的方式完成。”

李飛飛則把深度學習的未來寄予在交流和教育上。“在斯坦福以人為本 AI 研究院，我們把大量精力投入到與商業領袖、政府官員、政策制定者、媒體、記者乃至整個社會的溝通中來，并建立了各種專題討論、會議、研討、政策簡報和行業簡報。”

她補充道，對于這樣一種出現不久的技術，“我個人擔心各方由于缺乏必要的背景知識，而無法傳達對 AI 時代的細致描述與深入思考。”

黃金十年：一段將永被銘記的深度學習歲月

對 Hinton 來說，過去十年來深度學習的發展“超越了我最瘋狂的想象”。

但他也強調，雖然深度學習取得了巨大進步，但這一切歸根結底還是源自計算機硬件的升級。“這一切都應該歸功于愈發強大的計算機硬件。”

而像 Marcus 這樣的批評者認為，深度學習目前取得的進展“在后世看來，也許反而是一種不幸。我認為 2050 年的人們會回顧 2022 年的 AI 系統，并感嘆當時的人們有勇氣、有干勁，但卻沒有走對方向。”

李飛飛則希望人們將這十年銘記為“偉大數字革命的開端，它使所有人——不是少數人或者部分人，而是所有人——都能更好地工作和生活。”

作為一名科學家，她表示“我當然不覺得如今的深度學習會是人類對于 AI 探索的終點。”在社會方面，她希望能讓 AI 成為“一種令人印象深刻的技術工具，而且始終以人為中心進行開發和使用。我們必須認識到這種工具帶來的深遠影響，并接受以人為本的思維框架、AI 設計和部署原則。”

畢竟，“后世對我們的評價，取決于我們當下所做的一切。”

原文鏈接：