GPT-4背后的開(kāi)發(fā)者：七大團(tuán)隊(duì)，三十余位華人（1）

始于谷歌，發(fā)跡于 OpenAI，這是很多 GPT-4 貢獻(xiàn)者的職業(yè)軌跡。

這個(gè)星期，OpenAI 大模型 GPT-4 的發(fā)布讓全球科技圈的技術(shù)競(jìng)爭(zhēng)進(jìn)入了白熱化。幾天之內(nèi)，ChatGPT、必應(yīng)搜索和 Microsoft 365 相繼接入 GPT-4，微軟的 AI 應(yīng)用瞬間比競(jìng)爭(zhēng)對(duì)手拉開(kāi)一個(gè)身位，甚至有人說(shuō)，新的工業(yè)革命開(kāi)始了。
一方面我們被 GPT-4 的效果所震撼，一方面我們也迫不及待的想要了解背后的技術(shù)，好奇它的訓(xùn)練方法、使用的算力等。
但遺憾的是，OpenAI 并不 Open。在公開(kāi)的論文（其實(shí)更像技術(shù)報(bào)告）中，OpenAI 明確地說(shuō)，GPT-4 模型使用 RLHF 精調(diào)外，不會(huì)公開(kāi)任何技術(shù)細(xì)節(jié)。

鑒于 GPT-4 等大型模型的競(jìng)爭(zhēng)性與安全影響，本報(bào)告不包含有關(guān)架構(gòu)（包括模型大小）、硬件、訓(xùn)練計(jì)算、數(shù)據(jù)集構(gòu)建、訓(xùn)練方法等更多詳細(xì)信息。
不過(guò)，在此報(bào)告中，OpenAI 詳細(xì)列出了貢獻(xiàn)者及其負(fù)責(zé)的工作內(nèi)容。這值得我們細(xì)致研究。這幾百人的貢獻(xiàn)者名單與分類，能讓我了解到 GPT-4 的成功背后包含了哪些部門、技術(shù)分枝的努力。
在這篇文章中，我們對(duì)有代表性的貢獻(xiàn)者進(jìn)行了盤點(diǎn)，期待能為讀者帶來(lái)啟發(fā)。
研發(fā)人員占絕大多數(shù)
從組織架構(gòu)的設(shè)置上看，GPT-4 幕后的研發(fā)團(tuán)隊(duì)大致可分為七個(gè)部分：預(yù)訓(xùn)練（Pretraining）、長(zhǎng)上下文（Long context）、視覺(jué)（Vision）、強(qiáng)化學(xué)習(xí) & 對(duì)齊（RL & alignment）、評(píng)估 & 分析（Evaluation & analysis）、部署（Deployment），以及其他貢獻(xiàn)者（Additional contributions）。
預(yù)訓(xùn)練部分的工作細(xì)分為：

• 計(jì)算機(jī)集群擴(kuò)展（Compute cluster scaling）
• 數(shù)據(jù)（Data）
• 分布式訓(xùn)練基礎(chǔ)設(shè)施（Distributed training infrastructure）
• 硬件正確性（Hardware correctness）
• 優(yōu)化 & 架構(gòu)（Optimization & architecture）
• Training run babysitting

長(zhǎng)上下文部分的工作細(xì)分為：

• 長(zhǎng)上下文研究（Long context research）
• 長(zhǎng)上下文內(nèi)核（Long context kernels）

視覺(jué)部分的工作細(xì)分為：

• 架構(gòu)研究（Architecture research）
• 計(jì)算機(jī)集群擴(kuò)展（Compute cluster scaling）
• 分布式訓(xùn)練基礎(chǔ)設(shè)施（Distributed training infrastructure）
• 硬件正確性（Hardware correctness）
• 數(shù)據(jù)（Data）
• 對(duì)齊數(shù)據(jù)（Alignment Data）
• Training run babysitting
• 部署 & 后訓(xùn)練（Deployment & post-training）

強(qiáng)化學(xué)習(xí) & 對(duì)齊部分的工作細(xì)分為：

• 數(shù)據(jù)集貢獻(xiàn)（Dataset contributions）
• 數(shù)據(jù)基礎(chǔ)設(shè)施（Data infrastructure）
• ChatML 格式（ChatML format）
• 模型安全（Model safety）
• Refusals
• 基礎(chǔ) RLHF 和 InstructGPT 工作（Foundational RLHF and InstructGPT work）
• Flagship training runs
• 代碼功能（Code capability）

評(píng)估 & 分析部分的工作細(xì)分為：

• OpenAI Evals 庫(kù)
• 模型等級(jí)評(píng)估基礎(chǔ)設(shè)施（Model-graded evaluation infrastructure）
• 加速預(yù)測(cè)（Acceleration forecasting）
• ChatGPT 評(píng)估
• 能力評(píng)估（Capability evaluations）
• 編碼評(píng)估（Coding evaluations）
• 真實(shí)世界用例評(píng)估（Real-world use case evaluations）
• 污染調(diào)查（Contamination investigations）
• 指令遵循和 API 評(píng)估（Instruction following and API evals）
• 新功能評(píng)估（Novel capability discovery）
• ……

細(xì)讀貢獻(xiàn)者名單，不難發(fā)現(xiàn)，GPT-4 項(xiàng)目團(tuán)隊(duì)的成員通常「身兼數(shù)職」。對(duì)于希望追趕 ChatGPT 的科技公司來(lái)說(shuō)，OpenAI 提供的部門架構(gòu)樣板提供了一些可以學(xué)習(xí)的思路。另外，它對(duì)于 AI 領(lǐng)域人才的未來(lái)發(fā)展方向或許也有一些啟示。
在 ChatGPT 發(fā)布之后，OpenAI 在人才招聘方面也做出了一些調(diào)整，招募了數(shù)十名前谷歌和 Meta 員工來(lái)創(chuàng)建人工智能聊天機(jī)器人。
在 OpenAI 上，谷歌作為「硅谷黃埔軍校」的名頭算是坐實(shí)了：根據(jù) LeadGenius 和 Punks & Pinstripes 的數(shù)據(jù)顯示，該公司的 300 多名員工（數(shù)據(jù)截止到 2023 年 1 月）中有許多來(lái)自谷歌和 DeepMind 的母公司 Alphabet。數(shù)據(jù)顯示，OpenAI 目前雇傭了約 59 名谷歌前員工和約 34 名 Meta 前員工，同時(shí)包括幾名蘋果和亞馬的前遜員工。

鑒于 OpenAI 在 GPT-4 發(fā)布的第一時(shí)間就公開(kāi)了所有貢獻(xiàn)者名單，機(jī)器之心整理了一部分參與工作的華人學(xué)者。如果遺漏，歡迎補(bǔ)充。
預(yù)訓(xùn)練組
Trevor Cai
Trevor Cai 是 GPT-4 項(xiàng)目中吞吐量團(tuán)隊(duì)的負(fù)責(zé)人。Trevor Cai 本碩畢業(yè)于南加州大學(xué)，2022 年 3 月加入 OpenAI。在加入 OpenAI 之前，Trevor Cai 曾在 DeepMind 工作近 5 年，擔(dān)任軟件工程師。
袁啟明

袁啟明（Qiming Yuan）是 GPT-4 項(xiàng)目數(shù)據(jù)集來(lái)源和處理團(tuán)隊(duì)的負(fù)責(zé)人。袁啟明本科畢業(yè)于清華大學(xué)，碩士畢業(yè)于得克薩斯大學(xué)奧斯汀分校，2018 年加入 OpenAI。此前，袁啟明曾在微軟工作近三年。
Che Chang
Che Chang 作為 OpenAI 的副總法律顧問(wèn)參與了 GPT-4 的研發(fā)，他博士畢業(yè)于美國(guó)西北大學(xué)，2021 年加入 OpenAI，此前在 AWS 領(lǐng)導(dǎo)了人工智能 / 機(jī)器學(xué)習(xí)和市場(chǎng)業(yè)務(wù)的法律團(tuán)隊(duì)。最近一段時(shí)間，OpenAI 的法律團(tuán)隊(duì)還在招聘 AI 產(chǎn)品顧問(wèn)。
歐陽(yáng)龍
歐陽(yáng)龍 2019 年加入 OpenAI，擔(dān)任研究科學(xué)家。Long Ouyang 本科畢業(yè)于哈佛大學(xué)，博士畢業(yè)于斯坦福大學(xué)，曾在斯坦福大學(xué)任博士后研究員。歐陽(yáng)龍也參與研發(fā)了 ChatGPT 相關(guān)的技術(shù)項(xiàng)目，他還是 InstructGPT 論文的第一作者。
翁麗蓮

翁麗蓮（Lilian Weng）是 OpenAI 人工智能應(yīng)用研究的負(fù)責(zé)人，2018 年加入 OpenAI，在 GPT-4 項(xiàng)目中主要參與預(yù)訓(xùn)練、強(qiáng)化學(xué)習(xí) & 對(duì)齊、模型安全等方面的工作。
Tao Xu
Tao Xu 2019 年加入 OpenAI，先后畢業(yè)于北京大學(xué)、康奈爾大學(xué)。Tao Xu 曾在微軟的必應(yīng)機(jī)器學(xué)習(xí)研究組工作四年。
Jie Tang

Jie Tang 在加州大學(xué)伯克利分校獲得計(jì)算機(jī)科學(xué)博士學(xué)位，導(dǎo)師是 Pieter Abbeel。加入 OpenAI 前，他曾在初創(chuàng)公司和 Dropbox 工作約四年時(shí)間。Jie Tang 本科就讀于哈佛大學(xué)，2008 年獲得計(jì)算機(jī)科學(xué)和經(jīng)濟(jì)學(xué)學(xué)士學(xué)位。
Ben Wang
Ben Wang 目前是賓夕法尼亞大學(xué)本科生，2021 年加入 OpenAI。Ben Wang 參與了 GPT-4 項(xiàng)目的預(yù)訓(xùn)練和長(zhǎng)上下文方面的工作。
視覺(jué)組
Mark Chen

Mark Chen 2018 年加入 OpenAI，任研究科學(xué)家，畢業(yè)于麻省理工學(xué)院（MIT）。他參與了 GPT-4 項(xiàng)目中視覺(jué)方面的工作。
Casey Chu
Casey Chu2020 年加入 OpenAI，畢業(yè)于斯坦福大學(xué)計(jì)算數(shù)學(xué)專業(yè)。Casey Chu 的主要研究方向是多模態(tài) AI 系統(tǒng)，他在 GPT-4 項(xiàng)目中主要參與視覺(jué)方面的工作。
胡繩麗

胡繩麗（Shengli Hu）2022 年加入 OpenAI，她碩士畢業(yè)于復(fù)旦大學(xué)、博士畢業(yè)于康奈爾大學(xué)。她的研究興趣在于社會(huì)科學(xué)、計(jì)算語(yǔ)言學(xué)、計(jì)算機(jī)視覺(jué)和語(yǔ)音的跨學(xué)科研究。胡繩麗曾在自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、語(yǔ)音和應(yīng)用統(tǒng)計(jì)方面的頂級(jí)會(huì)議和期刊上發(fā)表過(guò)多篇論文，包括 CVPR、ACL、EMNLP、ECCV 等等，并獲得過(guò)最佳論文獎(jiǎng)提名。
Tianhao Zheng
Tianhao Zheng2022 年加入 OpenAI。他本科畢業(yè)于清華大學(xué)，博士畢業(yè)于得克薩斯大學(xué)奧斯汀分校。再加入 OpenAI 之前，他曾先后在英偉達(dá)、谷歌、Twitter 工作過(guò)。Tianhao Zheng 在 GPT-4 項(xiàng)目中主要參與了視覺(jué)方面的工作。
翁家翌


翁家翌（Jiayi Weng）2020 年在清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系獲得本科學(xué)位。本科在朱軍教授組學(xué)習(xí)期間，主要參與了強(qiáng)化學(xué)習(xí)算法庫(kù) Tianshou（天授）的開(kāi)發(fā)，該項(xiàng)目已獲得 5.9K GitHub Star。CMU 碩士畢業(yè)后，翁家翌加入 OpenAI 任研究工程師。