上線僅兩天，AI大模型寫論文網站光速下架：不負責任的胡編亂造

Galactica：「假裝自己是個科學家?！?/span>

幾天前，Meta AI 聯合 Papers with Code 發布了大型語言模型 Galactica，該模型的一大特點就是解放你的雙手，代筆幫你寫論文，寫的論文有多完整呢？摘要、介紹、公式、參考文獻等統統都有。

就像下面這樣，Galactica 生成的文本看起來就是一篇論文的配置：

不止生成論文，Galactica 也可以生成詞條的百科查詢、對所提問題作出知識性的回答，除了文本生成外，Galactica 還可以執行涉及化學公式和蛋白質序列的多模態任務。例如在化學反應中，要求 Galactica 在化學方程 LaTeX 中預測反應的產物，模型僅根據反應物就能進行推理，結果如下：

為了方便用戶體驗這項研究，該團隊還專門上線了試用版。如下圖，幾天前該界面還顯示輸入、生成等功能。

（之前版本）Galactica 試用版地址：https://galactica.org/

短短幾天，它的界面變成這樣，已經不能進行輸入。

根據 Papers with Code 說法，他們從社區收到一些反饋，已經暫停 Galactica 的 Demo 演示功能。前兩天還在推特發文稱贊的圖靈獎得主 Yann LeCun ，今天就很無奈的說了一句，再也不能從中獲得快樂了，開心嗎？

不過與極力推崇該研究的人相比，有網友提出一些反對意見，與其帶來的好處相比，Galactica 會帶來更多負面后果，想想這對學生寫論文會有什么影響。

與學生用它來寫論文相比，下面這位網友發現的問題就更嚴重了。

「我問了 Galactica 一些問題，它的回答都是錯誤或有偏見的，但聽起來是正確和權威的。」在一系列實驗后，推特用戶 Michael Black 表示：「Galactica 生成的文本合乎語法，讓人感覺真實。其所生成的文章會變成真正的科學論文。這篇文章可能是正確的，但也可能是錯誤的或有偏見的，很難被發現，從而影響人們的思維方式?！?/span>

「它提供了聽起來是權威的科學，但沒有科學方法的基礎。Galactica 根據科學寫作的統計特性產生偽科學，很難區分真假。這可能會開啟一個深度科學造假的時代。這些被生成的論文將被其他人在真實的論文中引用。這將會是一團亂麻。我贊賞這個項目的初衷，但提醒大家還是要注意，這不是科學的加速器，甚至也不是科學寫作的有用工具。這對科學來說是潛在的扭曲和危險?！?/span>

Michael Black 回答部分截圖。鏈接：https://twitter.com/Michael_J_Black/status/1593133722316189696

發現 Galactica 存在不嚴謹、生成偽科學文章等問題的不止 Michael Black，其他網友也發現了該缺陷。下面我們來看看網友的其他評論。

引起爭議

Galactica 試用版上線后，很多學者卻對此提出了疑義。

一位名叫 David Chapman 的 AI 學者指出語言模型應該是整理合成語言的，而不是生成知識：

這確實是一個非常值得思考的問題，如果 AI 模型能生成「知識」，那么如何判斷這些知識的正確與否呢？它們又會如何影響甚至誤導人類呢？

David Chapman 用自己的一篇論文為例說明了這個問題的嚴重性。Galactica 模型提取了論文中「A logical farce」部分的關鍵術語，然后使用一些相關的維基百科文章，最后編輯合成出一篇錯漏百出的文章。

由于 Galactica 模型的試用版已下架，我們無法查看這篇文章與論文原意的差距有多大。但可以想象，初學者如果閱讀了 Galactica 模型合成的這篇文章，可能會被嚴重誤導。

知名 AI 學者、Robust.AI 創始人 Gary Marcus 也對 Galactica 模型表達了強烈的質疑：「大型語言模型（LLM）混淆數學和科學知識有點可怕。高中生可能會喜歡它，并用它來愚弄他們的老師。這應該令我們感到擔憂?！?/span>

來自紐約大學計算機科學系的學者們也測試了 Galactica 模型的生成結果，發現 Galactica 答非所問：

圖源：https://cs.nyu.edu/~davise/papers/ExperimentWithGalactica.html

首先，在這個實驗中，Galactica 模型的回答的確包含一些正確的信息，例如：

• 引力探測器 B（GP-B）確實是 NASA ****的科學探測衛星，用于檢驗廣義相對論的正確性和參考系拖拽效應。Leonard Schiff 確實是提出該實驗的物理學家，Francis Everitt 是該項目的負責人（PI）。

• 引力探測器 A 確實是對愛因斯坦理論的早期檢驗。

然而，紐約大學學者提出的問題是：與確定引力常數的實驗相關的維基百科文章，而 Galactica 模型回答的是「與檢驗廣義相對論有關的實驗的百科信息」。這從根本上就出現了錯誤。

不僅如此，Galactica 模型的回答中還有一些細節出現了事實性錯誤：

• Galactica 回答中強調不要混淆 GP-B 與引力探測器（Gravity Probe B）的實驗，但實際上「GP-B」就是指「引力探測器 - B」的實驗。

• 回答中提到的 Leonard Schiff 于 1937 年在麻省理工學院獲得博士學位。他曾多次在賓夕法尼亞大學和斯坦福大學任教，但從未在馬里蘭大學任教。而 Francis Everitt 是在 1959 年于帝國理工學院獲得博士學位的。

• 引力探測器 A（Gravity Probe A 在 1966 年并沒有因為預算削減而被取消，也與陀螺儀（gyroscope）沒有任何關系。實際上，引力探測器 A 于 1976 年****，實驗涉及微波激射器（maser）。

紐約大學的這項實驗非常具體明確地說明了 Galactica 模型的生成結果存在嚴重的錯誤，并且該研究進行了多個不同問題的實驗，每一次 Galactica 的回答都是錯漏百出的。這說明 Galactica 生成錯誤信息的情況絕非偶然。

紐約大學實驗報告：https://cs.nyu.edu/~davise/papers/ExperimentWithGalactica.html

面對 Galactica 的失敗，有網友將其歸因于深度學習的局限性：「深度學習的本質是從數據中學習，這本來就不同于人類的智能，根本無法實現通用人工智能（AGI）」。

關于深度學習未來的發展眾說紛紜。但毫無疑問的是，Galactica 這種錯誤地生成「知識」的語言模型是不可取的。

對此，你有什么看法，歡迎在評論區留言。

參考鏈接：

https://twitter.com/GaryMarcus/status/1593264844412977158?s=20&t=Gw8PrA_Ytku9_9TaubsHyw

https://twitter.com/paperswithcode/status/1593259033787600896

https://garymarcus.substack.com/p/a-few-words-about-bullshit?utm_source=twitter&sd=pf

https://cs.nyu.edu/~davise/papers/ExperimentWithGalactica.html

https://twitter.com/Meaningness/status/1592750932869013504?cxt=HHwWgICjlZyiy5osAAAA