直接壓縮一切！OpenAI首席科學家Ilya Sutskever這么看無監督學習（1）

近日，OpenAI 首席科學家 Ilya Sutskever 在專注于計算理論研究的 Simons Institute 作了一次講座，一句話總結就是我們可以通過壓縮的視角來看待無監督學習。此外他還分享了不少其它有趣的見解。機器之心整理了該演講的大體內容，希望借此幫助讀者更深入地理解無監督學習。

Sutskever 首先談到了自己的研究方向的變化，他說：「不久前，我將全部的研究重心都轉移到了 AI 對齊研究上。」這說的是 OpenAI 前段時間成立的「Superalignment（超級對齊）」團隊，由他與 Jan Leike 共同領導。Sutskever 表示他們已經在 AI 對齊方面取得了一些研究成果，但這并非這次演講關注的話題。對此感興趣的讀者可參閱《用 AI 對齊 AI？超級對齊團隊領導人詳解 OpenAI 對齊超級智能四年計劃》。

這次演講的主題為「An observation on Generalization（對泛化的一種觀察）」，而 Ilya Sutskever 具體談論的重點是一種解釋無監督學習的理論。

首先，Ilya Sutskever 提出了一連串有關「學習」的廣義問題：學習究竟是什么？為什么學習有用？為什么學習應該有用？計算機為什么應該具備學習能力？為什么神經網絡可以學習？為什么機器學習模型可以學習到數據的規律？我們能否用數學形式來描述學習？

監督學習

Sutskever 先從監督學習談起。他表示，監督學習方面已經有了重要的形式化工作，這是多位研究者在多年前得到的成果；這些成果通常被稱為統計學習理論。

監督學習的優勢在于能提供一個學習必定成功的精確數學條件。也就是說，如果你有一些來自某數據分布的數據，然后你能成功實現較低的訓練損失并且你的訓練數據足夠多（多于數據分布的自由度），那么你的測試誤差必定很低。

從數學上講，如果能在一類函數中找到能實現較低訓練損失的函數，那么學習就必定成功。也因此，監督學習非常簡單。

研究者在相關研究中已經發現了一些定理，如下便是一例。Sutskever 表示解釋這個定理大概需要五分鐘，但很顯然他的演講時間有限。

總而言之，這個定理很「優雅」，只用三行數學推導便能證明監督學習過程。

所以相對而言，監督學習已經得到很好的理解。我們知道其必定會成功的原因 —— 只要我們能收集到大規模的監督學習數據集，那么就完全可以相信模型必定越來越好。當然另一點也很重要，也就是保證測試分布和訓練分布一致；只有這樣，監督學習理論才是有效的。

所以監督學習的概念是很簡單的。我們也已經有了監督學習為什么有效的答案 —— 我們知道語音識別和圖像分類為什么可以實現，因為它們都基于有效且有數學保證的監督學習。

這里 Ilya Sutskever 順帶提了提 VC 維度。他提到很多統計學習理論的研究者都認為 VC 維度是一大關鍵組件，但 VC 維度被發明出來的目的是為了讓模型有能力處理有無限精度的參數。

舉個例子，如果你的線性分類器的每個參數都有無限精度，而現實中的浮點數的精度都是有限的，而且精度會收縮，那么你可以通過 VC 維度實現一些函數，將這個線性分類器歸約成前面公式描述的監督學習形式。

無監督學習是什么？

接下來看無監督學習。首先什么是無監督學習？Ilya Sutskever 表示他目前還沒看到令人滿意的對無監督學習的闡釋，我們也不知道如何從數學上推理它 —— 最多只能在直覺上做點推斷。

無監督學習是機器學習領域長久以來的夢想。Sutskever 認為這個目標已經在實驗研究中達成，即模型在不被告知數據內容的前提下觀察數據并發現其中存在的真實有用的隱藏結構。

這是怎么發生的？我們能確保這一定會發生嗎？Sutskever 表示我們不能，畢竟我們在無監督學習方面沒有在監督學習方面那樣的理論保證。

人們早在上世紀 80 年代就在探究無監督學習了，當時使用的術語也是類似。在實驗中，人們觀察到，當數據量較小時，不會出現無監督學習現象，但是一些現在流行的開發思路已經出現了，比如 BERT、擴散模型、老式的語言模型等。當時的無監督學習也能生成一些很酷的樣本，但當然是比不上現在的技術。

但因為我們不知道無監督學習的工作方式，所以它一直都讓人困惑。

比如當你針對某個目標（比如圖像重建或預測下一個詞）進行優化時，你可能也在意另一個目標（比如圖像分類或文檔分類），而模型可能在這個未經優化的目標上也能取得不錯的表現。但為什么會這樣呢？不知道，實驗結果就是如此。Sutskever 說這就像是魔法。

難道我們就要放棄理論，在實證主義上一路走下去嗎？

我們知道無監督學習是學習輸入分布中的結構，然后從中獲得有助于實現目標的東西。但如果輸入分布是均勻分布（uniform distribution）呢？這時候各種無監督學習算法都會失效。我們應該怎么看待這種現象呢？Sutskever 表示我們需要做些假設。