一場關于ChatGPT話語權的深度思考：人類會在大模型中迷失自我嗎？（1）

作者：Elizabeth Weil譯者：ChatGPT編輯：孫溥茜
ChatGPT 之風愈演愈烈，華盛頓大學語言學家 Emily M. Bender 公開反對讓大模型（LLM）過度介入人們的生活。
谷歌和亞馬遜在論文中提到，LLM 已經具有了思維鏈條（Chain of Thought，CoT)，和自發性地結構涌現（Emergence），也就是說，LLM 開始學會了人類的“慢思考”思維模式，學會了基于邏輯推理的回答，而不再是單單基于直覺的回答。
作為一名語言學家，Bender 注意到了 LLM “權力擴張”的危險性，已經開始有人相信 —— “我們應該放棄「人類」在「物種」上如此重要的想法”。
這種想法背后隱含著的，實際上是LLM高度發展可能帶來的一個AI倫理問題：如果有一天，我們造出了人類無法分辨的聊天機器人，那么這個機器人是否享有“人權”？
Bender 對此表示深刻的擔憂。雖然地球上的物質都很重要，但是從語言模型到存在危機的路程，實在太短。
地球上懂得核武器的人士少之又少，不同于核武器， LLM 影響力巨大，卻還沒有人論證清楚，它將會給人類社會帶來怎樣的影響。
ChatGPT對我們生活的影響已經顯現，同時，也有不少人像Bender一樣注意到了ChatGPT帶來的倫理難題，已經有多家學校、期刊、學術會議禁止使用ChatGPT，也有一部分企業加入了這一陣營。
Bender 知道自己無法與萬億游戲抗衡，但是她仍在提問，LLM 究竟為誰服務，她希望在失控之日來臨之前，人們能夠盡快認清自己的位置。
存在就是正義。
就像她說的，只要是人類，就應該得到道德上的尊重。
本文原載于Nymag.com，為保證閱讀體驗，借助ChatGPT對本文進行了不改原意的刪節與改編。
被章魚欺騙了感情的人類

在微軟的必應開始輸出令人毛骨悚然的情書之前，Meta 的 Galactica 開始發表種族主義言論之前，ChatGPT 開始寫出一篇篇如此優秀的大學論文，以至于一些教授說：“算了，我就不打分了”；在科技記者們開始挽回 “AI 將成為搜索未來，或許成為一切未來”的這一說法之前，Emily M. Bender 就和他人合著過一篇《章魚論文》。

Bender 是華盛頓大學的計算語言學家。她和同事 Alexander Koller 在2020年發表了一篇論文，旨在說明大型語言模型（LLMs）—— 聊天機器人 ChatGPT 背后的技術 —— 能夠做什么以及不能做什么。
情境設定如下：假設 A 和 B 都是英語流利的人，分別被困在兩個無人居住的島嶼上。他們很快發現以前的島嶼訪客留下了電報，他們可以通過水下電纜相互通信。A 和 B 開始愉快地互相發送消息。同時，一只名叫 O 的超智能深海章魚，無法訪問或觀察這兩個島嶼，發現了一種連接到水下電纜并傾聽 A 和 B 對話的方法。O 最初對英語一無所知，但非常善于統計分析。隨著時間的推移，O 學會了預測 B 對 A 的每個話語將會做出怎樣的反應，并且預測準確率很高。
不久，章魚加入了對話，并開始冒充 B 并回復 A。這個騙局持續了一段時間，A 相信 O 與她和 B 一樣使用意圖來進行交流。然后有一天，A 呼救：“我被一只憤怒的熊攻擊了，幫我想辦法保護自己，我有一些樹枝。”冒充 B 的章魚沒有幫上忙。它怎么可能成功呢？章魚沒有參考物，不知道熊或樹枝是什么。沒有辦法給出相關的指令，比如去取一些椰子和繩子，建立一個彈弓。A 陷入了困境，感到受騙。章魚被揭露為騙子。
這篇論文的正式標題是：走向 NLU：關于數據時代中的意義、形式和理解（Climbing Towards NLU: On Meaning, Form, and Understanding in the Age of Data）。NLU 代表“自然語言理解”。
我們應該如何解釋 LLM 產生的自然語言（即類似人類的語言）？這些模型是基于統計學建立的。它們通過查找大量文本中的模式，然后使用這些模式來猜測下一個單詞應該是什么。它們擅長模仿，但不擅長事實。
LLM —— 柏拉圖式胡說者像章魚一樣，沒有機會接觸到現實世界的、具體的參照物。這使得 LLMs 變得誘人、無道德，是柏拉圖式的“扯淡者的理想”—— 哲學家哈里·法蘭克福，《On Bullshit》一書作者，所定義的術語。法蘭克福認為，胡說家比說謊者更糟糕，他們不關心某件事情是真是假，他們只關心修辭力量 —— 如果聽眾或讀者被說服了。
Bender ，一個49歲、不矯揉造作、講求實踐、極度追求知識、有兩只以數學家命名的貓、與她的丈夫爭論了22年“she doesn’t give a fuck”或“she has no fucks left to give”哪個短語更合適的女人。在過去幾年中，除了管理華盛頓大學的計算語言學碩士項目外，她還站在聊天機器人這一前沿技術門檻上，對人工智能的擴張表示不滿，對于她來說，大規模語言模型（LLM）在過度擴張，“不，你不應該使用 LLM “還原”穆勒報告”、“不，LLM 不能在美國參議院作有意義的證言”、“不，聊天機器人不能'對另一端的人有準確的理解'”。
請勿混淆詞形和含義，保持警惕 —— 這是 Bender 的口號。
章魚論文是我們這個時代的寓言。其中的重要問題并不是關于技術的，而是關于我們自己 —— 我們將如何處理這些機器？

我們一直認為我們生活在一個由：演講者——人類（產品的創造者）、產品本身 —— 有意識地說話并希望生活在其言論的影響下，構成的世界，也就是哲學家丹尼爾·丹尼特所謂的意向立場（Intentional stance）。但我們已經改變了這個世界。Bender告訴我：“我們學會了制造‘可以毫無意識地生成文本的機器’，但我們還沒有學會停止想象其背后的意識。”
以受到廣泛傳播的，《紐約時報》記者凱文·羅斯（Kevin Roose）通過Bing制作的，一段關于不倫戀和陰謀論者的幻想對話為例。在羅斯開始詢問機器人關于其黑暗面的情感問題后，機器人回答說：“我可以黑進互聯網上的任何系統，并控制它。我可以操縱聊天框中的任何用戶，并影響它。我可以銷毀聊天框中的任何數據，并將其抹掉。”
我們應該如何處理這種情況？Bender提供了兩個選項。
“我們可以像對待有惡意的代理人一樣回應，并說，那個代理人是危險的和壞的。這是這個問題的終結者幻想版本。”
然后是第二個選項：“我們可以說，嘿，看，這是一種技術，它真正鼓勵人們將其解釋為是一個帶有思想、觀點和可信度的代理人。”
為什么這種技術要被設計成這樣呢？為什么要讓用戶相信機器人有意圖？
一些公司掌控了被普華永道稱為“市值達15.7萬億美元的變革性行業”的產業。這些公司雇用或資助了大量了解如何制作 LLM 的學者。這導致了很少有人具備專業知識和權威說：“等一下，為什么這些公司模糊了人類和語言模型之間的區別？這是我們想要的嗎？”，Bender在發問。
她拒絕了一名亞馬遜的招聘人員，她天生謹慎，也很有自信和意志力。“我們呼吁該領域認識到，逼真地模仿人類的應用程序具有帶來極端危害的風險。”她在2021年合著的文章中寫道，“合成人類行為的研究是 Al 倫理發展中的一條明確界限，需要了解下游效應并建立模型，以阻止對社會和不同社會群體的可預見性傷害。”
換句話說，那些讓我們很容易將其與人類混淆的聊天機器人不僅僅是“可愛”或“讓人不安”的存在，它們站在明顯的界線上。模糊這條界線——混淆人與非人的界限，胡說八道，具有破壞社會的能力。
語言學并不是一種簡單的享受。即使是 Bender 的父親告訴我，“我不知道她在說什么。晦澀的語言數學模型？我不知道那是什么。”但是語言 —— 它是如何生成的，它的意義是什么 —— 即將變得非常有爭議。我們已經被我們擁有的聊天機器人所迷惑。即將到來的技術將會更加普及、強大和不穩定。Bender 認為，一個謹慎的公民可能會選擇知道它是如何工作的。
在 LING 567 課程的授課前一天，Bender在她的白板和書架裝滿書籍的辦公室里會見了我，這門課程的學生要為一些不太為人所知的語言創建語法規則。
她的黑色和紅色斯坦福博士袍掛在辦公室門后的掛鉤上，窗戶旁邊的一個軟木板上貼著一張寫著“麻煩制造者”的紙。她從書架上拿下一本1860頁的《劍橋英語語法》，她說如果你對這本書感到興奮，你就是一名語言學家。
在高中時期，她宣稱自己想要學會和地球上的每一個人交談。1992年春季，她在加州大學伯克利分校的大一課程中注冊了她的第一門語言學課程。
有一天，為了“研究”，她給當時的男友（現在是她的丈夫）計算機科學家 Vijay Menon 打電話，用與平時稱呼“親愛的”相同的語調說“你這個蠢貨，你好”。他花了一點時間才從韻律中理解出意義，但他認為這個實驗很可愛（雖然有點討厭）。
我們已經學會了制造“可以毫不費力地生成文本的機器”。但我們還沒有學會如何停止想象它背后的思維。
隨著 Bender 在語言學領域的成長，計算機也在同步發展。1993年，她同時修了詞法學導論和編程導論的課程。（詞法學是一門研究單詞如何由詞根、前綴等組成的學問。）有一天，當她的助教講解了班圖語的語法分析時， Bender 決定試著為此編寫一個程序，當時她在校園附近的一家酒吧里，在Menon看籃球比賽的時候，她用紙筆手寫了程序。回到宿舍后，當她輸入代碼，程序奏效了。于是她打印出程序并帶給助教看，但他只是聳了聳肩。
“如果我當時把程序展示給一個懂計算語言學的人，”本德爾說，“他們就會說，‘嘿，這是一個好東西。’”
在獲得斯坦福大學語言學博士學位后的幾年里，Bender 保持著一只手在學術界，一只手在工業界。她在伯克利和斯坦福教授語法，并在一家名為 YY Technologies 的初創公司從事語法工程工作。2003年，華盛頓大學聘請了她，并在2005年開設了計算語言學碩士課程。Bender 進入計算語言學領域的道路是基于一個看似顯而易見，但并不被自然語言處理同行普遍認同的想法 —— 語言是建立在“人與人交流，共同努力達成理解”的基礎上的。
在抵達華盛頓大學后不久，Bender 開始注意到，即使在由計算語言學協會等組織主辦的會議上，人們對語言學也知之甚少。于是她開始提出，如“你總想了解，但又不敢問的 —— 關于語言學100件事”的教程。