谷歌 Transformer 八子全部「出逃」，他們創作了 ChatGPT 中的「T」

谷歌人工智能領域最有影響力的論文之一《Attention Is All You Need》的共同作者之一的人工智能研究員 Llion Jones 證實，他將于本月晚些時候離開谷歌日本公司并計劃在休假后創辦一家公司。

Llion Jones 對媒體表示："離開谷歌并不是一個容易的決定，與谷歌一起度過了美妙的十年，但現在是時候嘗試一些不同的東西了。考慮到人工智能的發展勢頭和進展，我覺得現在也是建立新公司的好時機"。

自 2017 年出版以來，《Attention Is All You Need》轟動硅谷。該論文介紹了 Transformer 的概念，這種系統可以幫助人工智能模型將其正在分析的數據中最重要的信息歸零。Transformer 現在是大型語言模型的關鍵構建塊，該技術是 OpenAI 的 ChatGPT 等流行人工智能產品的基礎。

隨著 Llion Jones 的離開，這篇論文所有八位作者都已離開谷歌。

人們也許不認識他們的臉，或者沒聽過他的名字，但只需要 5 秒鐘，就可以介紹他們的身份——「他們創作了 ChatGPT 中的「T」。

谷歌為何失去「Transformer 八子」

Transfomer 是谷歌最重要的發明之一，它最初是在午餐時設計出來的。2017 年，Alphabet 公司加利福尼亞山景城總部的研究人員在中午用餐時談論如何讓計算機更高效地生成文本。在接下來的 5 個月里，他們進行了實驗，并在沒有意識到他們所發現的問題的重要性的情況下，將他們的發現寫成了一篇名為《Attention is All You Need》的研究論文。

隨后，他們帶來了人工智能的飛躍。

這篇論文的八位作者創建了 Transformer 系統，使機器能夠比以往任何時候都更高效地生成類似人類的文本、圖像、DNA 序列和許多其他類型的數據。他們的論文最終被其他研究人員引用了 8 萬多次，他們設計的人工智能架構為 OpenAI 的 ChatGPT（"T "代表 Transformer）、Midjourney 等圖像生成工具提供了基礎。

谷歌與全世界分享了這一發現，科技公司經常開源新技術，以獲得反饋、吸引人才和建立支持者社區。

但谷歌本身并沒有立即使用這項新技術。在谷歌努力將其尖端研究成果轉化為可用服務的過程中，該系統處于相對休眠狀態長達數年之久。但另一家公司 OpenAI，它利用了谷歌的發明，對這家搜索巨頭發起了多年來最嚴重的威脅。

谷歌哪里出了問題？

一個明顯的問題是規模。根據人工智能公司 Glass.ai 的估計，谷歌擁有一支由 7,133 名員工組成的隊伍，而其員工總數約為 140,000 人。Glass.ai 今年早些時候掃描了 LinkedIn 的個人資料，以識別大型科技公司的人工智能員工。相比之下，OpenAI 引發了一場 AI 軍備競賽，其員工規模要小得多——到 2023 年，大約 375 名員工中約有 150 名 AI 研究人員。

谷歌的龐大規模意味著科學家和工程師在創建 Transformer 時必須經過多層管理才能批準想法。谷歌智庫（該公司主要人工智能部門之一）的研究人員也缺乏明確的戰略方向，導致許多人沉迷于職業發展和研究論文的知名度。

另一個問題在于，將創意轉化為新產品的門檻也非常高。25 歲的伊利亞·波洛蘇欣 (Illia Polosukhin) 第一次與研究員同事阿什什·瓦斯瓦尼 (Ashish Vaswani) 和雅各布·烏茲科雷特 (Jakob Uszkoreit) 在谷歌食堂坐下來時說道，「除非（一個想法）能成為一項價值十億美元的業務，否則谷歌不會采取行動。」 但建立一個價值十億美元的業務需要不斷的迭代和面對大量問題，這是谷歌并不總是容忍的。

谷歌的一位女發言人表示，該公司 "為我們在 Transformer 的行業定義性、突破性工作感到自豪，并為它所創造的人工智能生態系統而感到振奮，包括讓我們的研究員在谷歌公司外推進他們的研究與其他人合作并且發現新機會。"

德語流利的 Uszkoreit 注意到，這項新技術可以比谷歌翻譯更準確地將英語翻譯成德語。但谷歌本身花了很長時間才將該技術應用到其免費翻譯工具或其語言模型 BERT 中，而且該公司從未將其部署在任何人都可以測試的聊天機器人中。也就是說，直到 2022 年底 ChatGPT 的推出才迫使谷歌在 2023 年 3 月迅速發布了 Bard。

多年來，這些研究員們見證了他們的想法被其他人應用到一系列任務中，從 OpenAI 的 ChatGPT 早期迭代到 DALL-E，從 Midjourney 的圖像工具到 DeepMind 的蛋白質折疊系統 AlphaFold。很難不注意到最令人興奮的創新發生在山景城之外。

在某種程度上，谷歌成為了自身成功的受害者。它的隊伍中有像 Geoffrey Hinton 這樣的傳奇人工智能科學家，并且在 2017 年就已經在使用尖端的人工智能技術來處理文本。許多研究人員的心態是「如果它沒有壞，就不要修理它。」

價值 40 億美元的 AI 巨星們

共同撰寫 2017 年論文的研究人員離開谷歌后，他們繼續創辦創業公司，包括生產企業軟件的 Cohere，以及由 Noam Shazeer 創辦的 Character.ai，Noam Shazeer 是該小組中在谷歌任職時間最長的人，曾被視為公司的人工智能傳奇人物。

根據研究公司 Pitchbook 和價格追蹤網站 CoinMarketCap 的估值統計，他們的企業總價值約為 41 億美元。可以說，他們是硅谷的人工智能的「貴族」。

八位作者在谷歌的工作時長

Polosukhin 此后創辦了一家區塊鏈公司。Vaswani 和 Niki Parmar 創辦了企業軟件公司 Essential.ai。Uszkoreit 喜歡挑戰人工智能研究的現狀——他的觀點是，如果它還沒有被打破，那就打破它，此后他與他人共同創立了一家名為 Inceptive Nucleics 的生物技術公司。

2016 年，Uszkoreit 探索了人工智能中「注意力」的概念，即計算機區分數據集中最重要的信息。一年后的午餐時，三人討論了如何利用這個想法來更有效地翻譯單詞。當時的谷歌翻譯很笨拙，尤其是對于非拉丁語言。「漢語轉俄語太糟糕了，」Polosukhin 回憶道。

其中一個問題在于循環神經網絡處理序列中的單詞。它很慢并且沒有充分利用可以同時處理大量任務的芯片。家用計算機中的 CPU 可能有四個「核心」，用于處理和執行指令，但用于處理人工智能系統的服務器中的 CPU 有數千個核心。這意味著人工智能模型可以同時「讀取」句子中的許多單詞。沒有人充分利用這一點。

Uszkoreit 會在 Google 辦公室里走來走去，在白板上畫出新架構的圖表，并且經常遭到懷疑。瓊斯說，他的團隊希望刪除當時使用的循環神經網絡中的「循環」部分，這「聽起來很瘋狂」。但隨著 Parmar, Aidan Gomez 和 Lukasz Kaiser 等其他一些研究人員加入該小組，他們開始看到進展。

曾經，硅谷「八叛逆」改變了集成電路的歷史，如今谷歌的「八叛逆」會給世界帶來怎樣的變化？