博客專欄

        EEPW首頁 > 博客 > 75歲Hinton中國大會最新演講「通往智能的兩種道路」,最后感慨:我已經老了,未來交給年輕人(1)

        75歲Hinton中國大會最新演講「通往智能的兩種道路」,最后感慨:我已經老了,未來交給年輕人(1)

        發布人:機器之心 時間:2023-06-12 來源:工程師 發布文章

        「但我已經老了,我所希望的是像你們這樣的年輕有為的研究人員,去想出我們如何能夠擁有這些超級智能,使我們的生活變得更好,而不是被它們控制。」


        6 月 10 日,在 2023 北京智源大會的閉幕式演講中,在談到如何防止超級智能欺騙、控制人類的話題時,今年 75 歲的圖靈獎得主 Geoffrey Hinton 不無感慨地說道。


        圖片


        Hinton 本次的演講題目為「通往智能的兩種道路」(Two Paths to Intelligence),即以數字形式執行的不朽計算和依賴于硬件的可朽計算,它們的代表分別是數字計算機和人類大腦。演講最后,他重點談到了大型語言模型(LLM)為他帶來的對超級智能威脅的擔憂,對于這個涉及人類文明未來的主題,他非常直白地展現了自己的悲觀態度。


        演講一開始,Hinton 便宣稱,超級智能(superintelligence)誕生的時間可能會比他曾經想象的早得多。這一觀察引出了兩大問題:(1)人工神經網絡的智能水平將會很快超越真實神經網絡嗎?(2)人類是否能保證對超級 AI 的控制?在大會演講中,他詳細討論了第一個問題;針對第二個問題,Hinton 在演講的最后表示:超級智能可能將很快到來。


        圖片


        首先,讓我們來看看傳統的計算方式。計算機的設計原則是要能精準地執行指令,也就是說如果我們在不同的硬件上運行相同的程序(不管是不是神經網絡),那么效果應該是一樣的。這就意味著程序中包含的知識(如神經網絡的權重)是不朽的,與具體的硬件沒有關系。


        圖片


        為了實現知識的不朽,我們的做法是以高功率運行晶體管,使其能以數字化(digital)的方式可靠運行。但這樣做的同時,我們就相當于拋棄了硬件其它一些性質,比如豐富的模擬性(analog)和高度的可變性。


        圖片


        傳統計算機之所以采用那樣的設計模式,是因為傳統計算運行的程序都是人類編寫的。現在隨著機器學習技術的發展,計算機有了另一種獲取程序和任務目標的方法:基于樣本的學習。


        這種新范式讓我們可以放棄之前計算機系統設計的一項最基本原則,即軟件設計與硬件分離;轉而進行軟件與硬件的協同設計。


        軟硬件分離設計的優點是能將同一程序運行在許多不同的硬件上,同時我們在設計程序時也能只看軟件,不管硬件 —— 這也是計算機科學系與電子工程系能夠分開設立的原因。


        而對于軟硬件協同設計,Hinton 提出了一個新概念:Mortal Computation。對應于前面提到不朽形式的軟件,我們這里將其譯為「可朽計算」。


        可朽計算是什么?


        圖片


        可朽計算放棄了可在不同硬件上運行同一軟件的不朽性,轉而采納了新的設計思路:知識與硬件的具體物理細節密不可分。這種新思路自然也有優有劣。其中主要的優勢包括節省能源和低硬件成本。


        在節能方面可以參考人腦,人腦就是一種典型的可朽計算裝置。雖然人腦中也依然有一個比特的數字計算,即神經元要么****要么不****,但整體來說,人腦的絕大多數計算都是模擬計算,功耗非常低。


        可朽計算也可以使用更低成本的硬件。相較于現如今以二維模式高精度生產的處理器,可朽計算的硬件能以三維模式「生長」出來,因為我們不需要明確知道硬件的連接方式以及每個部件的確切功能。很顯然,為了實現計算硬件的「生長」,我們需要很多新型納米技術或對生物神經元進行基因改造的能力。改造生物神經元的方法可能更容易實現,因為我們已經知道生物神經元大致能夠完成我們想要的任務。


        為了展示模擬計算的高效能力,Hinton 給出了一個示例:計算一個神經活動向量與一個權重矩陣的積(神經網絡的大部分工作都是此類計算)。


        圖片


        對于該任務,當前計算機的做法是使用高功耗的晶體管將數值表示成數字化的比特形式,然后執行 O (n2) 數字運算將兩個 n 比特的數值相乘。雖然這只是計算機上的單個運算,但卻是 n2 個比特的運算。


        而如果使用模擬計算呢?我們可以將神經活動視為電壓,將權重視為電導;那么每一單位時間里,電壓乘以電導可得到電荷,電荷可以疊加。這種工作方式的能效會高很多,而且其實現在已經存在這樣工作的芯片了。但很不幸,Hinton 表示,現在人們還是要使用非常昂貴的轉換器將模擬形式的結果轉換成數字形式。他希望以后我們能在模擬領域完成整個計算過程。


        可朽計算也面臨著一些問題,其中最主要的是難以保證結果的一致性,即在不同硬件上的計算結果可能會有所差別。另外,在反向傳播不可用的情況下,我們還需要找到新方法。



        *博客內容為網友個人發布,僅代表博主個人觀點,如有侵權請聯系工作人員刪除。



        關鍵詞: AI

        相關推薦

        技術專區

        關閉
        主站蜘蛛池模板: 沧州市| 连江县| 耿马| 抚顺市| 滨海县| 日土县| 周宁县| 民乐县| 辽阳市| 苏尼特左旗| 额尔古纳市| 崇信县| 江源县| 郑州市| 绥宁县| 黎川县| 临沂市| 富民县| 石楼县| 财经| 镇坪县| 张掖市| 黎平县| 武威市| 孟津县| 沽源县| 弥渡县| 泗阳县| 石林| 丰顺县| 汽车| 广丰县| 贡觉县| 永康市| 定西市| 集安市| 睢宁县| 太康县| 洛阳市| 惠东县| 桃江县|