75歲Hinton中國大會最新演講「通往智能的兩種道路」，最后感慨：我已經老了，未來交給年輕人（3）

蒸餾也能夠替代權重共享。尤其是當你的模型用到了特定硬件的模擬屬性時，那就不能使用權重共享了，而是必須使用蒸餾來共享知識。

用蒸餾共享知識的效率并不高，帶寬很低。就像在學校里，教師都想把自己知道的知識灌進學生腦袋，但這是不可能的，因為我們是生物智能，你的權重對我沒用。

這里先簡單總結一下，上面提到了兩種截然不同的執行計算的方式（數字計算和生物計算），并且智能體之間共享知識的方式也大相徑庭。

那么現在發展正盛的大型語言模型（LLM）是哪種形式呢？它們是數字計算方式，能使用權重共享。

但是 LLM 的每個副本智能體都只能以非常低效的蒸餾方式學習文檔中的知識。LLM 的做法是預測文檔的下一個詞，但是并沒有教師對于下一個詞的概率分布，它有的只是一個隨機選擇，即該文檔作者在下一個詞位置選用的詞。LLM 實際上學習的是我們人類，但傳遞知識的帶寬非常低。

話又說回來，雖然 LLM 的每個副本通過蒸餾學習的效率非常低，但它們數量多呀，可以多達幾千個，也因此它們能學到比我們多數千倍的東西。也就是說現在的 LLM 比我們任何人都更加博學。

超級智能會終結人類文明嗎？

接下來 Hinton 提出了一個問題：「如果這些數字智能并不通過蒸餾非常緩慢地學習我們，而是開始直接從現實世界學習，那么會發生什么呢？」

實際上，LLM 在學習文檔時就已經在學習人類數千年所積累的知識了。因為人類會通過語言描述我們對世界的認識，那么數字智能就能直接通過文本學習來獲得人類積累的知識。盡管蒸餾的速度很慢，但它們也確實學到了非常抽象的知識。

如果數字智能可以通過圖像和視頻建模來進行無監督學習呢？現在的互聯網上已有大量影像數據可供使用，未來我們也許能夠找到讓 AI 有效學習這些數據的方法。另外，如果 AI 有機器臂等可以操控現實的方法，也能進一步幫助它們學習。

Hinton 相信，如果數字智能體能做到這些，那么它們的學習能力將遠遠勝過人類，學習速度也會很快。

現在就回到了 Hinton 在開始時提出的問題：如果 AI 的智能水平超過我們，我們還能控制住它們嗎？

Hinton 表示，他做這場演講主要是想表達出他的擔憂。他說：「我認為超級智能出現的時間可能會遠遠快于我之前所想。」他給出了超級智能掌控人類的幾種可能方式。

比如不良行為者可能會利用超級智能來操控選舉或贏得戰爭（實際上現在已經有人在用已有 AI 做這些事情了）。

在這種情況下，如果你想要超級智能更高效，你可能會允許它自行創建子目標。而掌控更多權力是一個顯而易見的子目標，畢竟權力越大，控制的資源越多，就更能幫助智能體實現其最終目標。然后超級智能可能會發現，通過操控運用權力的人就能輕松獲得更多權力。

我們很難想象比我們聰明的存在以及我們與它們互動的方式。但 Hinton 認為比我們聰明的超級智能肯定能學會欺騙人類，畢竟人類有那么多小說和政治文獻可供學習。

一旦超級智能學會了欺騙人類，它就能讓人類去進行它想要的行為。這和人騙人其實沒有本質區別。Hinton 舉例說，如果某人想要入侵華盛頓的某棟大樓，他其實無需親自前去，他只需要欺騙人們，讓他們相信入侵這棟大樓是為了拯救民主。

「我覺得這非常可怕。」Hinton 的悲觀溢于言表，「現在，我看不到該怎么防止這種情況發生，但我已經老了。」他希望青年才俊們能夠找到方法讓超級智能幫助人類生活得更好，而不是讓人類落入它們的控制之中。

但他也表示我們有一個優勢，盡管是相當小的優勢，即 AI 不是進化而來的，而是人類創造的。這樣一來，AI 就不具備原始人類那樣的競爭性和攻擊性目標。也許我們能夠在創造 AI 的過程中為它們設定道德倫理原則。

不過，如果是智能水平遠超人類的超級智能，這樣做也不見得有效。Hinton 說他從沒見過更高智能水平的東西被遠遠更低智能水平的東西控制的案例。就假設說如果是青蛙創造了人類，但現在的青蛙和人類又是誰控制誰呢？

最后，Hinton 悲觀地放出了這次演講的最后一頁幻燈片：

這既標志著演講的結束，也是對全體人類的警示：超級智能可能導致人類文明的終結。