GPT-4技術(shù)細(xì)節(jié)保密惹爭(zhēng)議，OpenAI首席科學(xué)家回應(yīng)了
發(fā)布人：機(jī)器之心
時(shí)間：2023-03-19
來(lái)源：工程師
發(fā)布文章
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫(kù)查詢
除了行業(yè)競(jìng)爭(zhēng)層面的擔(dān)憂，OpenAI 首席科學(xué)家透露了不開源的另外一個(gè)原因：模型越強(qiáng)，安全隱患也越多。
昨天凌晨，OpenAI 出人意料地發(fā)布了 GPT-4。
這次發(fā)布令科技界頗感意外，畢竟人們普遍認(rèn)為 GPT-4 會(huì)在微軟周四的「The Future of Work with AI」活動(dòng)上宣布。距離 ChatGPT 首次亮相才不過(guò)四個(gè)月，它便創(chuàng)造了「歷史上增長(zhǎng)最快的消費(fèi)者應(yīng)用程序」記錄。如今 GPT-4 上線，這款產(chǎn)品的應(yīng)對(duì)能力又上了一層樓。
震撼之余，很多研究者認(rèn)真閱讀了 GPT-4 的技術(shù)報(bào)告，卻感到了失望：怎么沒(méi)有技術(shù)細(xì)節(jié)呢？
一次違背創(chuàng)始精神的發(fā)布
在公告中，OpenAI 分享了大量 GPT-4 基準(zhǔn)和測(cè)試結(jié)果以及一些有趣的演示，但幾乎沒(méi)有提供有關(guān)用于訓(xùn)練系統(tǒng)的數(shù)據(jù)、算力成本或用于創(chuàng)建 GPT-4 的硬件或方法等信息。
一些人表示，更重要的是，這會(huì)使針對(duì) GPT-4 構(gòu)成的威脅制定保障措施變得更困難。Ben Schmidt 也認(rèn)為，由于無(wú)法看到 GPT-4 訓(xùn)練的數(shù)據(jù)，很難知道該系統(tǒng)可以在哪里安全使用并提出修復(fù)方案。
「眾所周知，像 GPT-4 這樣的神經(jīng)網(wǎng)絡(luò)是黑盒子。事實(shí)上，它們的操作是不可預(yù)測(cè)和難以理解的，這是關(guān)于是否應(yīng)該使用它們、在何處使用它們的最重要問(wèn)題之一。現(xiàn)在 OpenAI 正逐步制定一個(gè)標(biāo)準(zhǔn)，進(jìn)一步擴(kuò)展了這個(gè)謎團(tuán)。」Ben Schmidt 表示。
OpenAI 的首席科學(xué)家兼聯(lián)合創(chuàng)始人 Ilya Sutskever 對(duì)上述爭(zhēng)議進(jìn)行了回應(yīng)，表示 OpenAI 不分享更多 GPT-4 細(xì)節(jié)信息的原因是「害怕競(jìng)爭(zhēng)和擔(dān)心安全」：
「從競(jìng)爭(zhēng)格局上看，外界的競(jìng)爭(zhēng)很激烈。GPT-4 的開發(fā)并不容易，幾乎集聚了所有的 OpenAI 力量，經(jīng)過(guò)很長(zhǎng)時(shí)間的努力才產(chǎn)出了這個(gè)東西，而且有很多公司都想做同樣的事情。」
「安全方面的原因不像競(jìng)爭(zhēng)方面那樣突出，但它也會(huì)發(fā)生變化。這些模型是非常高效的，而且它們變得越來(lái)越高效。某些時(shí)候，如果有人愿意，用這些模型造成巨大的傷害將會(huì)相當(dāng)容易。隨著這些能力越來(lái)越高，不公開它們是有道理的。」
當(dāng)被問(wèn)及「為什么 OpenAI 改變了分享研究成果的方式」，Sutskever 回答說(shuō)：「坦率地說(shuō)，我們錯(cuò)了。如果你像我們一樣相信，在某個(gè)時(shí)候，AI 或 AGI 將變得極其強(qiáng)大、令人難以置信，那么開源就沒(méi)有意義。這是一個(gè)壞主意，我完全相信在幾年內(nèi)，每個(gè)人都會(huì)清楚地認(rèn)識(shí)到開源 AI 是不明智的。」
Lightning AI 首席執(zhí)行官、開源工具 PyTorch Lightning 的創(chuàng)建者 William Falcon 對(duì) VentureBeat 表示，自己能從商業(yè)角度理解這個(gè)決定：「作為一家公司，你完全有權(quán)這樣做。」
但他也表示，OpenAI 此舉為更廣泛的社區(qū)樹立了一個(gè)「壞的模板」，可能會(huì)產(chǎn)生有害影響。
關(guān)于 OpenAI 不共享其訓(xùn)練數(shù)據(jù)的原因，Sutskever 的解釋是：「我對(duì)此的看法是，訓(xùn)練數(shù)據(jù)是技術(shù)。我們不公開訓(xùn)練數(shù)據(jù)的原因與我們不公開參數(shù)數(shù)量的原因幾乎相同。」當(dāng)被問(wèn)及 OpenAI 是否可以明確聲明其訓(xùn)練數(shù)據(jù)不包含盜版材料時(shí)，Sutskever 沒(méi)有回答。
Sutskever 同意 OpenAI 批評(píng)者的觀點(diǎn)，即開源模型有助于保障措施的開發(fā)。「如果有更多人研究這些模型，我們就會(huì)了解更多，那就更好了，」他說(shuō)。出于這些原因，OpenAI 向某些學(xué)術(shù)和研究機(jī)構(gòu)提供了訪問(wèn)其系統(tǒng)的權(quán)限。
接下來(lái)，我們期待什么？
由 GPT-4 引發(fā)的熱議預(yù)計(jì)還會(huì)持續(xù)一陣，以至于人們可能會(huì)忽略一些其他動(dòng)態(tài)。
比如，在昨日鋪天蓋地的討論中，谷歌的發(fā)布就顯得靜悄悄。目前，Google Workspace 中已經(jīng)全面集成了生成式 AI，更新了生成圖片、演示文稿、電子郵件、文檔等功能。可以想象的是，這將是一次生產(chǎn)力的大提升接下來(lái)，人們可以期待的還有很多：不久之后，微軟 CEO 薩蒂亞?納德拉將親自登臺(tái)演講，介紹微軟和 OpenAI 的更多合作，比如基于 GPT-4 的 Office 套件。
消息來(lái)源：https://www.theinformation.com/articles/microsoft-rations-access-to-ai-hardware-for-internal-teams
參考鏈接：https://www.theverge.com/2023/3/15/23640180/openai-gpt-4-launch-closed-research-ilya-sutskever-interview
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。
