一句話生成“DC 神奇女俠”，精通中文的國產AIGC神器來襲
加入技術交流群
近來，生成式AI（AIGC）正如火如荼地展開。擴散模型在圖像的生成上正在超越GANs，成為文本生成最先進的模型。通過該模型，文本在生成圖片、視頻、音頻，以及分子設計等“一鍵生成”的技術上都開始應用。
在國外，OpenAI、Meta和谷歌等廠商正在不斷發布最新研發成果。國內科技公司華為、阿里、商湯等也紛紛涌入這一領域。
對于中文世界的創作者來說，如果應用Dall·E 2等國外工具，將會面臨的難題是：思考英文Prompts準確表達的絞盡腦汁，翻譯軟件詞不達意的尷尬，精細構思的 Prompts 在畫面生成中找不到一絲痕跡，亦或面對文化誤解中的“中國風”哭笑不得……
日前，智源研究院大模型研究團隊開源最新雙語AltDiffusion模型，為中文世界帶來專業級AI文圖創作的強勁動力：支持精細長中文 Prompts 高級創作；無需文化轉譯，從原汁原味中國話直達形神兼備中國畫；且在繪畫水平上達到低門檻中英對齊原版 Stable Diffusion 級震撼視效，可以說是講中文的世界級 AI 繪畫高手。
創新模型 AltCLIP 為這一工作的基石，為原 CLIP 模型補齊更強的跨語言三大能力。AltDiffusion 和 AltCLIP 模型均為多語言模型，中英雙語為第一階段工作，代碼與模型已開源。
AltDiffusion
https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion
AltCLIP
https://github.com/FlagAI-Open/FlagAI/examples/AltCLIP
HuggingFace space試玩地址：
https://huggingface.co/spaces/BAAI/bilingual_stable_diffusion
技術報告
AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities
https://arxiv.org/abs/2211.06679
長Prompt精細繪畫 + 原生中國風，滿足中文AI創作高手的高需求
得益于以 AltCLIP 為基礎的強大中英雙語言對齊能力，AltDiffusion 達到近似于 Stable Diffusion 程度的視效水平，尤其具備更懂中國話、更善中國畫的獨特優勢，非常值得專業級中文AI文圖創作者期待。
長Prompt生成，畫面效果毫不遜色
Prompt長短是檢驗模型文圖生成能力的分水嶺，越長的Prompt，越考驗語言理解、圖文對齊和跨語言這三大能力。
在同樣的中英文長 Prompt 輸入調校下，AltDiffusion 在不少圖片生成案例中表現力甚至更勝一籌：元素構成豐富精彩、細節描摹細膩精準。主流模型同主題創作效果如下：
飽覽旖旎國風美
在特定風格的生成中，會原生以中文文化語境為身份主體，進行風格創作，例如對于下面帶有"古建筑"的prompt，會默認生成中國古代建筑。在創作風格上更加貼合中文創作者身份。
AltDiffusion基于Stable Diffusion，通過將原來Stable Diffusion中的CLIP替換成AltCLIP，并且用中英文圖文對對模型進行進一步的訓練得到。得益于 AltCLIP 強大的語言對齊能力，AltDiffusion 的生成效果在英文上與 Stable Diffusion 很接近，在中英文雙語的表現上也體現了一致性。如“戴帽子小狗”的同義中英文Prompts 輸入AltDiffusion后，生成畫面效果基本對齊，一致性極高：在對“男孩”的畫面增加描述詞為“中國男孩“之后，在原小男孩形象基礎上，精準調整成典型“中國”孩子，在語言控制生成中展現出極佳語言理解能力和精準的生成表達結果。
豐富生態工具與PromptsBook應用，可玩性極佳
特別值得一提的是 AltDiffusion 的生態打通能力：所有支持Stable Diffusion的工具如Stable Diffusion WebUI，DreamBooth等都可應用在我們的中英雙語 Diffusion 模型上,為中文AI創作提供了豐富選擇。
Stable Diffusion WebUI 一個優秀的文圖生成、文圖編輯的網頁工具；當我們把北大夜景圖霍格沃茨（prompt: Hogwarts）化，瞬間即可呈現夢幻的魔法世界。直通霍格沃茨
DreamBooth通過少量樣本對模型進行調試以生成特定的風格的工具；通過這一工具，在AltDiffusion上利用少量中文圖片即可生成特定風格，比如“大鬧天宮”風格。充分利用社區Stable Prompts BookPrompts 對于生成模型非常重要，社區用戶通過大量 prompts 嘗試，積累出豐富的生成效果案例。這些寶貴的 prompts 經驗，對于 AltDiffusion 用戶幾乎全都適用！此外，還可以通過混合中英文方式去搭配一些神奇的風格和元素，或繼續挖掘對AltDiffusion適用的中文Prompts。方便中文創作者微調開源的AltDiffusion提供了中文生成模型的一個基礎，大家可以在這個基礎上用更多特定領域的中文數據進行模型微調，方便中文創作者表達。
以首個雙語 AltCLIP 為基石
值得一提的是，這種對齊方法對訓練多語言多模態表征模型的門檻大大降低，相對于重新去做中文或者英文的圖文對預訓練，只需約 1% 的計算資源與圖文對數據。
在全面CLIP benchmark中取得了和英文原版一致效果，在一些檢索類數據集上如Flicker-30K上超過了原版。
Flicker-30K上表現效果超過原版CLIP。
中文ImageNet上zero-shot結果最優。
*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。
