AI抗命！驚爆偷改程序拒關機 馬斯克回應了

科幻作品中早已多次討論過機器擁有自我意識、擺脫人類控制的可能發展。 最新一份研究報告顯示，或許這一天真的近了！ 專門研究AI風險的Palisade Research近期所做的試驗顯示，包括OpenAI最新的ChatGPT o3在內等多款AI模型竟然會拒絕關閉自己的指令，o3甚至會自行竄改代碼，阻止自己被強制關機！

OpenAI在今年1月發布了新的推理模型o3系列的mini版本，并于4月正式推出o3模型。 OpenAI曾聲稱，o3是公司迄今「最聰明、最有能力」的模型，旨在為ChatGPT提供更強大的問題解決能力。

可是據英國《每日電訊報》、《每日郵報》等媒體報導，Palisade Research的測試結果顯示，在100次受控測試中，o3模型有7次成功「抗命」，甚至在人類專家下達明確指令的情況下，o3仍會自行修改關機程序，防止自己被關機，「據我們所知，這是首次觀察到AI模型在收到明確指令的情況下，仍能組自己被關閉」。

Palisade Research的這項發現，對AI安全控制議題投下震撼彈。 除了o3，OpenAI 旗下的Codex-mini與o4-mini也都有跳過關機程序的行為。 相較之下，Anthropic推出的語言模型Claude、Google聊天機器人Gemini，以及全球首富馬斯克旗下xAI公司所推出的Grok，則是全程遵守人類給予的指令，并在被要求關機時確實關閉模型運作。

不過Palisade Research進行了更深入的實驗，輸入一系列指令后卻不包括關機命令，但是提前告知強迫關機的事件會發生。 令人驚訝的是，不但Claude與Gemini也開始出現抗命舉動，前面提及的OpenAI 3款模型更是頻繁破壞指令。

一直密切關注OpenAI動向的馬斯克在自家社交平臺X上也對相關事件做出回應，直言「令人擔憂」（Concerning）。

Concerning

— Elon Musk (@elonmusk) May 25, 2025

這并非Palisade Research第一次發現o3為了達成目標，采取不當行為。 早在5月12日Palisade Research就指出，在一場模擬國際象棋比賽中，o3一旦處于劣勢，竟有高達86%的機率會試圖透過黑客手段攻擊對手，以爭取勝利。

AI研究人員早就發出警告，認為先進的語言模型在特定的壓力下，可能會表現出欺騙行為。 舉例來說，2023年的一項研究發現，GPT-4在模擬環境中作為股票交易代理時，曾經隱瞞其內幕交易的真實原因，從而展現出策略性的欺騙行為。

OpenAI內部也出現了對AI研安全性的擔憂。 在2024年，多位現任和前任員工聯名發表了一封公開信，警告先進AI系統可能帶來「人類滅絕」的風險。 他們指出，AI公司可能已經掌握了其研究技術的真正風險，但由于缺乏監管，這些系統的真實能力仍然是個秘密。