字節團隊提出猞猁Lynx模型：多模態LLMs理解認知生成類榜單SoTA

當前大語言模型 (Large Language Models, LLMs) 如 GPT4 在遵循給定圖像的開放式指令方面表現出了出色的多模態能力。然而，這些模型的性能嚴重依賴于對網絡結構、訓練數據和訓練策略等方案的選擇，但這些選擇并沒有在先前的文獻中被廣泛討論。此外，目前也缺乏合適的基準 (benchmarks) 來評估和比較這些模型，限制了多模態 LLMs 的 發展。

• 論文：https://arxiv.org/abs/2307.02469

• 網站：https://lynx-llm.github.io/

• 代碼：https://github.com/bytedance/lynx-llm

在這篇文章中，作者從定量和定性兩個方面對此類模型的訓練進行了系統和全面的研究。設置了 20 多種變體，對于網絡結構，比較了不同的 LLMs 主干和模型設計；對于訓練數據，研究了數據和采樣策略的影響；在指令方面，探討了多樣化提示對模型指令跟隨能力的影響。對于 benchmarks ，文章首次提出包括圖像和視頻任務的開放式視覺問答評估集 Open-VQA。

基于實驗結論，作者提出了 Lynx，與現有的開源 GPT4-style 模型相比，它在表現出最準確的多模態理解能力的同時，保持了最佳的多模態生成能力。

評估方案

不同于典型的視覺語言任務，評估 GPT4-style 模型的主要挑戰在于平衡文本生成能力和多模態理解準確性兩個方面的性能。為了解決這個問題，作者提出了一種包含視頻和圖像數據的新 benchmark Open-VQA，并對當前的開源模型進行了全面的評價。

具體來說，采用了兩種量化評價方案：

• 收集開放式視覺問答 (Open-VQA) 測試集，其包含關于物體、OCR、計數、推理、動作識別、時間順序等不同類別的問題。不同于有標準答案的 VQA 數據集，Open-VQA 的答案是開放式的。為了評估 Open-VQA 上的性能，使用 GPT4 作為判別器，其結果與人類評估有 95% 的一致性。

• 此外，作者采用了由 mPLUG-owl [1] 提供的 OwlEval 數據集來評估模型的文本生成能力，雖然只包含 50 張圖片 82 個問題，但涵蓋故事生成、廣告生成、代碼生成等多樣問題，并招募人工標注員對不同模型的表現進行打分。

結論

為了深入研究多模態 LLMs 的訓練策略，作者主要從網絡結構（前綴微調 / 交叉注意力）、訓練數據（數據選擇及組合比例）、指示（單一指示 / 多樣化指示）、LLMs 模型（LLaMA [5]/Vicuna [6]）、圖像像素（420/224）等多個方面設置了二十多種變體，通過實驗得出了以下主要結論：

• 多模態 LLMs 的指示遵循能力不如 LLMs。例如，InstructBLIP [2] 傾向于不管輸入指令如何都生成簡短的回復，而其他模型傾向于生成長句子而不考慮指令，作者認為這是由于缺乏高質量和多樣化的多模態指令數據所導致的。

• 訓練數據的質量對模型的性能至關重要。基于在不同的數據上進行實驗的結果，發現使用少量的高質量數據比使用大規模的噪聲數據表現得更好。作者認為這是生成式訓練和對比式訓練的區別，因為生成式訓練是直接學習詞的條件分布而不是文本和圖像的相似度。因此，為了更好的模型性能，在數據方面需要滿足兩點：1）包含高質量的流暢文本；2）文本和圖像內容對齊得較好。

• 任務和提示對零樣本 (zero-shot) 能力至關重要。使用多樣化任務和指令可以提升模型在未知任務上的零樣本生成能力，這與純文本模型中的觀察結果一致。

• 平衡正確性和語言生成能力是很重要的。如果模型在下游任務 (如 VQA) 上訓練不足，更可能生成與視覺輸入不符的編造的內容；而如果模型在下游任務中訓練過多，它則傾向于生成短答案，將無法按照用戶的指示生成較長的答案。

• 前綴微調 (prefix-finetuning, PT) 是目前對 LLMs 進行多模態適配的最佳方案。在實驗中，prefix-finetuning 結構的模型能更快地提升對多樣化指示的遵循能力，比交叉注意力 (cross-attention, CA) 的模型結構更易訓練。（prefix-tuning 和 cross-attention 為兩種模型結構，具體見 Lynx 模型介紹部分）

Lynx 模型

作者提出了 Lynx（猞猁）—— 進行了兩階段訓練的 prefix-finetuning 的 GPT4-style 模型。在第一階段，使用大約 120M 圖像 - 文本對來對齊視覺和語言嵌入 (embeddings) ；在第二階段，使用 20 個圖像或視頻的多模態任務以及自然語言處理 (NLP) 數據來調整模型的指令遵循能力。

Lynx 模型的整體結構如上圖 Figure 1 所示。

視覺輸入經過視覺編碼器處理后得到視覺令牌 (tokens) $$W_v$$，經過映射后與指令 tokens $$W_l$$ 拼接作為 LLMs 的輸入，在本文中將這種結構稱為「prefix-finetuning」以區別于如 Flamingo [3] 所使用的 cross-attention 結構。

此外，作者發現，通過在凍結 (frozen) 的 LLMs 某些層后添加適配器 (Adapter) 可以進一步降低訓練成本。

模型效果

作者測評了現有的開源多模態 LLMs 模型在 Open-VQA、Mme [4] 及 OwlEval 人工測評上的表現（結果見后文圖表，評估細節見論文）。可以看到 Lynx 模型在 Open-VQA 圖像和視頻理解任務、OwlEval 人工測評及 Mme Perception 類任務中都取得了最好的表現。其中，InstructBLIP 在多數任務中也實現了高性能，但其回復過于簡短，相較而言，在大多數情況下 Lynx 模型在給出正確的答案的基礎上提供了簡明的理由來支撐回復，這使得它對用戶更友好（部分 cases 見后文 Cases 展示部分）。

1. 在 Open-VQA 圖像測試集上的指標結果如下圖 Table 1 所示：

2. 在 Open-VQA 視頻測試集上的指標結果如下圖 Table 2 所示。

3. 選取 Open-VQA 中得分排名靠前的模型進行 OwlEval 測評集上的人工效果評估，其結果如上圖 Figure 4 所示。從人工評價結果可以看出 Lynx 模型具有最佳的語言生成性能。

4. 在 Mme benchmark 測試中，Perception 類任務獲得最好的表現，其中 14 類子任務中有 7 個表現最優。（詳細結果見論文附錄）

Cases 展示

Open-VQA 圖片 cases

OwlEval cases

Open-VQA 視頻 case

總結

在本文中，作者通過對二十多種多模態 LLMs 變種的實驗，確定了以 prefix-finetuning 為主要結構的 Lynx 模型并給出開放式答案的 Open-VQA 測評方案。實驗結果顯示 Lynx 模型表現最準確的多模態理解準確度的同時，保持了最佳的多模態生成能力。

參考文獻

[1] Qinghao Ye, Haiyang Xu, Guohai Xu, Jiabo Ye, Ming Yan, Yiyang Zhou, Junyang Wang, Anwen Hu, Pengcheng Shi, Yaya Shi, et al. mplug-owl: Modularization empowers large language models with multimodality. arXiv preprint arXiv:2304.14178, 2023.

[2] Wenliang Dai, Junnan Li, Dongxu Li, Anthony Meng Huat Tiong, Junqi Zhao, Weisheng Wang, Boyang Li, Pascale Fung, and Steven Hoi. Instructblip: Towards general-purpose vision-language models with instruction tuning. arXiv preprint arXiv:2305.06500, 2023.

[3] Jean-Baptiste Alayrac, Jeff Donahue, Pauline Luc, Antoine Miech, Iain Barr, Yana Hasson, Karel Lenc, Arthur Mensch, Katherine Millican, Malcolm Reynolds, et al. Flamingo: a visual language model for few-shot learning. Advances in Neural Information Processing Systems, 35:23716–23736, 2022.

[4] Chaoyou Fu, Peixian Chen, Yunhang Shen, Yulei Qin, Mengdan Zhang, Xu Lin, Zhenyu Qiu, Wei Lin, Jinrui Yang, Xiawu Zheng, Ke Li, Xing Sun, and Rongrong Ji. Mme: A comprehensive evaluation benchmark for multimodal large language models. arXiv preprint arXiv:2306.13394, 2023.

[5] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, et al. Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971, 2023.

[6] Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan Zhuang, Yonghao Zhuang, Joseph E. Gonzalez, Ion Stoica, and Eric P. Xing. Vicuna: An open-source chatbot impressing gpt-4 with 90%* chatgpt quality, March 2023. URL