Stable Diffusion公司開源大語言模型StableLM,網友:不是我想要的!
眾所周知,去年初創公司 Stability AI 發布的 AI 圖像生成工具 Stable Diffusion,成為一種革命性的圖像模型,也使 AI“文生圖”實現了飛速的發展。
滿載著大家對其“不再局限于開發圖像生成”和“開源”的期待,在 4 月 20 日, Stability AI 宣布推出開源大型語言模型(LLM)—— StableLM。
(圖源:Stability AI 官方博客截圖)
小參數大訓練,開源備受熱捧
據 Stability AI 官方報道,StableLM 模型還處于 Alpha 階段,參數比較少,只有 30 億和 70 億個參數,之后還會推出有 150 億到 650 億參數的模型。作為一個類 ChatGPT 模型,StableLM 模型可以生成文本和代碼,并為一系列下游應用程序提供動力,能為小而高效的模型通過適當的培訓提供高性能。
然而,與 ChatGPT、Bard 等模型相比,StableLM 最大的“優勢”莫過于可供每一個人下載并部署在本地,就連筆記本也可以跑起來。
正如 Stability AI 在報道中坦言的:“語言模型將成為我們數字經濟的支柱,我們希望每個人都在他們的設計中擁有發言權。”
StableLM 目前已在 GitHub 開源,其高性能低消耗等特點快速吸引了一大波人的關注,不到一天時間,星標已接近 6000 Stars。
寫文案、編代碼,還支持商業化
值得一提的是,StableLM 的發布主要得益于 Stability AI 在 EleutherAI (一個非營利性研究中心)開源早期語言模型方面的經驗,其語言模型包括 GPT-J 、 GPT-NeoX 和 Pythia 套件,它們基于 The Pile 開源數據集訓練。
StableLM 是基于一個新的實驗數據集訓練出來的,該數據集基于 The Pile 構建,但數據集規模是原來的 3 倍,包含 1.5 萬億個標記內容。盡管其參數只有 30 到 70 億(相比之下,GPT-3 有 1750 億個參數),但這個數據集的豐富性使得 StableLM 在對話和編碼任務中表現出驚人的高性能。
Stability AI 還表示,作為概念驗證,他們還使用了斯坦福大學 Alpaca程序對模型進行了微調,使用了五個最近的對話代理數據集的組合:斯坦福大學的Alpaca、Nomic-AI的gpt4all、RyokoAI 的ShareGPT52K 數據集、Databricks 實驗室的 Dolly 和 Anthropic 的 HH,并把這些模型發布為 StableLM-Tuned-Alpha。
目前,在官方博客中, Stability AI 也展示了 70 億參數微調模型在“文本對話、創作內容、編寫代碼”幾個方面的示例:
在對話方面,當提問“你會對即將高中畢業的朋友說些什么”,StableLM 回答說:“你們應該為自己的成就、工作、交友等方面感到驕傲,并對自己的未來抱以期望。”
面對“寫一封郵件”的任務,StableLM 也是可以依照信件的格式,清晰的羅列出相關內容。
(圖源: Stability AI 官方博客截圖)
甚至,StableLM 還可以完成一首 rap 的歌詞:
(圖源: Stability AI 官方博客截圖)
在面對“用 C 語言編寫可以計算機生命意義”的問題上,StableLM 在“解答未果”后,還用幽默的口吻調侃道:“生命的實際意義會有更復雜的成分,例如社會、哲學等。”
(圖源: Stability AI 官方博客截圖)
不僅如此,StableLM 模型還允許商業化,但開發人員需要遵守 CCBY-SA-4.0 許可條款,自由地檢查、使用和調整 StableLM 基礎模型。 “大方開源”遭來非議
伴隨著 StableLM 在 GitHub 上的開源,國內外網友也展開了熱議,而萬萬沒想到的是,許多網友在試用后,竟開始瘋狂抨擊 StableLM 的效果:
“我試圖用它生成的所有東西,但最后我都沒有采納。”;
“StableLM 的‘開源’是唯一的優勢了吧”;
“它的回答結果真的平平無奇,不是我想要的”。
但是,也有網友幫忙解釋道:
“畢竟 Alpha 版本的參數量目前較小”;
“我還是相信在不久的將來, StableLM 會進步的”;
“能大方開源,已經讓我欣慰了”。
此外, StableLM 模型“開源”的安全性等問題也備受大家關注。
眾所周知,去年在 Stable Diffusion 發布后,Stability AI 遭到了很多藝術家的投訴和起訴。因此,很多人對 StableLM 表示懷疑:“ 不知道是否還會引發訴訟”、“害怕又發生剽竊問題”……
與此同時,不少人擔心有人會利用開源來撰寫釣魚鏈接的文案和協同軟件攻擊等。
對此, Stability AI 官方表示:“我們開源我們的模型,以提高透明度并促進信任。研究人員可以'深入了解'來驗證性能,研究可解釋性技術,識別潛在風險并幫助制定保障措施” 。
參考鏈接:
https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-modelshttps://techcrunch.com/2023/04/19/stability-ai-releases-chatgpt-like-language-models/?guccounter=1https://news.ycombinator.com/item?id=35629127https://github.com/Stability-AI/StableLM
*博客內容為網友個人發布,僅代表博主個人觀點,如有侵權請聯系工作人員刪除。