微軟又贏麻了！聯合 Meta 發布免費商業應用的開源 AI 模型 Llama 2（1）

• 昔日的競爭對手，今日的合作盟友；

• 忽如一夜春風來，開源大模型迎來新局面；

• 今天是 OSS AI 勝利的一天；

隨著 Meta 最新發布一個新的開源 AI 模型——Llama 2，網上盛贊的聲音不絕于耳，甚至圖靈獎得主、卷積網絡之父、Meta 首席人工智能科學家 Yann LeCun 更是直言，「這將改變 LLM 市場的格局」。

而 Llama 2 之所以能引起這么大的反響，不僅是因為它是開源的，更主要的原因便是它可以被免費地用于研究和商業用途。與此同時，Meta 還與微軟強強聯手，旨在驅動 OpenAI 的 ChatGPT、Bing Chat 和其他現代聊天機器人等應用程序。

在 Meta 看來，「開放的方法是當今人工智能模型開發的正確方法，特別是在技術快速發展的生成領域。通過公開提供人工智能模型，它們可以使每個人受益。為企業、初創企業、企業家和研究人員提供其開發的工具，這些工具的開發規模是他們自己難以構建的，并以他們可能無法獲得的計算能力為后盾，將為他們以令人興奮的方式進行實驗。」

僅是這一點，便是當前很多專注于大模型開發的企業無法做到的，也如網友評價的那番，格局一下被打開。

Llama 2 的前身

今日發布的 Llama 2 是 Llama（大羊駝）的后續版本。

今年 2 月，Meta 首次公開發布 LLaMA，作為具有非商業許可證的開源版本。這是一種先進的基礎大型語言模型，旨在幫助研究人員推進 AI 這一子領域的工作。更小、性能更高的模型（例如 LLaMA）使研究界中無法訪問大量基礎設施的其他人能夠研究這些模型，從而進一步實現這一重要且快速變化的領域的訪問民主化。

彼時，Meta 提供多種尺寸的 LLaMA（7B、13B、33B 和 65B 參數）。僅從功能上來看，Llama 可以根據提示生成文本和代碼，與其他類似聊天機器人的系統相當。

然而，當時由于擔心被濫用，Meta 決定限制對模型的訪問，所以也只是對具有一定資格的研究者開放，還需要寫申請表格等。

不過，令人沒想到的是，不久之后便有人將 LLaMA 的權重（包括經過訓練的神經網絡的參數值文件）泄露到了 torrent 網站，使得并沒有完全開放的 LLaMA 大模型短時間內在 AI 社區大規模擴散開。

很快，經過微調的 LLaMA 的諸多模型如雨后春筍般涌現，“羊駝”家族一時太過擁擠，如斯坦福發布了 Alpaca（羊駝）、UC 伯克利開源了 Vicuna（小羊駝）、華盛頓大學提出了 QLoRA 還開源了 Guanaco（原駝）...國內哈工大還基于中文醫學知識的 LLaMA 模型指令微調出了一個“華駝”。

時下，Llama 2 的發布將這款開源大模型推向一個新的高度。相比上一代 Llama 模型，經過混合公開數據的訓練，Llama 2 的性能有了顯著提高。

Llama 2：從 7B 到 70B 參數不等

為此，Meta 發布了一篇長達 76 頁的論文《Llama 2: Open Foundation and Fine-Tuned Chat Models》詳述 Llama 2 大模型的預訓練、微調、安全性等相關的工作。

• 論文地址：https://scontent-lax3-2.xx.fbcdn.net/v/t39.2365-6/10000000_663429262362723_1696968207443577320_n.pdf?_nc_cat=101&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=5ol-jUSglG4AX_EKgWk&_nc_ht=scontent-lax3-2.xx&oh=00_AfC4pQWErthyr1jwgSScKeyjXW3wwEUnqvIh7MNeb-Et3g&oe=64BBB691

據論文顯示，Llama 2 有兩種版本：Llama 2 和 Llama 2-Chat，后者針對雙向對話進行了微調。Llama 2 和 Llama 2-Chat 進一步細分為不同復雜程度的版本：70 億個參數、130 億個參數和 700 億個參數。

Meta 將 Llama 2 預訓練語料庫的規模增加了 40%，這一款模型（基本模型）接受了 2 萬億個 token 的訓練，上下文窗口包含了 4096 個 token，相比上一代，提升了一倍。上下文窗口決定了模型一次可以處理的內容的長度。在硬件方面，Meta 都使用了 NVIDIA A100。

Meta 還表示，Llama 2 微調模型是為類似于 ChatGPT 的聊天應用程序開發的，已經接受了“超過 100 萬條人工注釋”的訓練。

不過，Meta 在論文中并沒有透露訓練數據的具體來源，只是說它來自網絡，其中不包括來自 Meta 的產品或服務的數據。

根據官方基準測試，Llama 2 在開源模型領域，一馬當先。其中，Llama 2 70B 模型的性能優于所有開放源碼模型。

和閉源的大模型相比，Llama 2 70B 在推理任務上接近 GPT-3.5，但在編碼基準上存在顯著差距。同時，其在性能上還無法與 OpenAI 的 GPT-4、PaLM-2-L 相媲美，在計算機編程方面 Llama 2 明顯落后于 GPT-4。

論及 Llama 2 此次真正的優勢，Nvidia 高級 AI 科學家 Jim Fan 高度評價道：

• Llama-2 的訓練費用可能超過 2000 萬美元。Meta 通過發布具有商業友好許可的模型，為社區提供了令人難以置信的服務。由于許可證問題，大公司的人工智能研究人員對 Llama-1 持謹慎態度，但現在我認為他們中的很多人都會加入進來，貢獻自己的力量。

• Meta 的團隊對 4K 提示進行了人類研究，以評估 Llama-2 是否有用。他們使用 "勝率 "作為比較模型的指標，其精神與 Vicuna 基準類似。70B 模型與 GPT-3.5-0301 大致持平，表現明顯強于 Falcon、MPT 和 Vicuna。

  與學術基準相比，我更相信這些真實的人類評級。

• Llama-2 還沒有達到 GPT-3.5 的水平，主要是因為它的編碼能力較弱。在 "HumanEval"（標準編碼基準）上，它還不如 StarCoder 或其他許多專門為編碼而設計的模型。盡管如此，我毫不懷疑 Llama-2 將因其開放的權重而得到顯著改善。

• Meta 團隊在人工智能安全問題上不遺余力。事實上，這篇論文幾乎有一半的篇幅都在談論安全、紅線和評估。我們要為這種負責任的努力鼓掌！

  在之前的研究中，幫助性和安全性之間存在著棘手的權衡問題。Meta 通過訓練兩個獨立的 reward 模型來緩解這一問題。這些模型還沒有開源，但對社區來說非常有價值。

• 我認為 Llama-2 將極大地推動多模態人工智能和機器人研究。這些領域需要的不僅僅是黑盒子訪問 API。

  到目前為止，我們必須將復雜的感官信息（視頻、音頻、三維感知）轉換為文本描述，然后再輸入到 LLM，這樣做既笨拙又會導致大量信息丟失。將感官模塊直接嫁接到強大的 LLM 上會更有效。

• Llama 2 的論文本身就是一部杰作。GPT-4 的技術詳解論文只分享了很少的信息，而 Llama-2 則不同，它詳細介紹了整個細節，包括模型細節、訓練階段、硬件、數據管道和注釋過程。例如，論文對 RLHF 的影響進行了系統分析，并提供了漂亮的可視化效果。

• 引用第 5.1 節："我們認為，LLMs 在某些任務中超越人類注釋者的超強寫作能力，從根本上說是由 RLHF 驅動的"。

來源：https://twitter.com/DrJimFan/status/1681372700881854465

不過，值得注意的是，Llama 2 雖然允許了商業使用，但是它在社區許可協議中還添加了一條附加商業條款：

如果在 Llama 2 版本發布之日，被許可方或被許可方的關聯公司提供的產品或服務的每月活躍用戶數在上一個日歷月中超過 7 億，則您必須向Meta申請許可，Meta 可以自行決定向您授予該權利，并且您無權行使本協議項下的任何權利，除非或直到 Meta 明確授予您此類權利。

這意味著一些大廠，譬如亞馬遜、Google 這樣的巨頭想要使用 Llama 2，還存在一定限制。