Shikra：理解指向，說出坐標，多模態語言模型超進化

論文：http://arxiv.org/abs/2306.15195

代碼：https://github.com/shikras/shikra

背景
在人類的日常交流中，經常會關注場景中的不同區域或物體，人們可以通過說話并指向這些區域來進行高效的信息交換。我們將這種交互模式稱為參考對話（Referential Dialogue）。如果 MLLM 擅長這項技能，它將帶來許多令人興奮的應用。例如，將其應用到 Apple Vision Pro 等混合現實 (XR) 眼鏡中，用戶可以使用視線注視指示任何內容與AI對話。同時AI也可以通過高亮等形式來指向某些區域，實現與用戶的高效交流。本工作提出了Shikra模型，賦予了MLLM這樣的參考對話能力，既可以理解位置輸入，也可以產生位置輸出。

核心亮點
1. Shikra能夠理解用戶輸入的point/bounding box，并支持point/bounding box的輸出，可以和人類無縫地進行參考對話。2. Shikra設計簡單直接，采用非拼接式設計，不需要額外的位置編碼器、前/后目標檢測器或外部插件模塊，甚至不需要額外的詞匯表。

如上圖所示，Shikra能夠精確理解用戶輸入的定位區域，并能在輸出中引用與輸入時不同的區域進行交流。像人類一樣通過對話和定位進行高效交流。

如上圖所示，Shikra不僅具備LLM所有的基本常識，還能夠基于位置信息做出推理。

如上圖所示，Shikra可以產生詳細的描述，解釋圖片中正在發生的事情，并為參考的物體生成準確的定位。

盡管沒有在OCR數據集上專門訓練，Shikra也具有基本的OCR能力。更多的例子

其他傳統任務

方法
模型架構采用CLIP ViT-L/14 作為視覺主干，Vicuna-7/13B作為基語言模型，使用一層線性映射連接CLIP和Vicuna的特征空間。Shikra直接使用自然語言中的數字來表示物體位置，使用[xmin, ymin, xmax, ymax] 表示邊界框，使用[xcenter, ycenter]表示區域中心點，區域的 xy 坐標根據圖像大小進行歸一化。每個數字默認保留 3 位小數。這些坐標可以出現在模型的輸入和輸出序列中的任何位置。記錄坐標的方括號也自然地出現在句子中。

實驗結果
Shikra在傳統REC、VQA、Caption任務上都能取得優良表現。同時在PointQA-Twice、Point-V7W等需要理解位置輸入的VQA任務上取得了SOTA結果。

我們使用POPE benchmark評估了Shikra產生幻覺的程度，Shikra得到和InstrcutBLIP相當的結果，并遠超近期其他MLLM。

思想鏈（CoT），旨在通過在最終答案前添加推理過程以幫助LLM回答復雜的QA問題。這一技術已被廣泛應用到自然語言處理的各種任務中。然而如何在多模態場景下應用CoT則尚待研究。尤其因為目前的MLLM還存在嚴重的幻視問題，CoT經常會產生幻覺，影響最終答案的正確性。通過在合成數據集CLEVR上的實驗，我們發現，使用帶有位置信息的CoT時，可以有效減少模型幻覺提高模型性能。

結論
本工作介紹了一種名為Shikra的簡單且統一的模型，以自然語言的方式理解與輸出空間坐標，為MLLM增加了類似于人類的參考對話能力，無需引入額外的詞匯表、位置編碼器或外部插件。