NeurIPS'22｜Hinton團隊開源：用一個統一的接口處理四大視覺任務
加入技術交流群
論文鏈接：https://arxiv.org/pdf/2206.07669v2.pdf源碼鏈接：https://github.com/google-research/pix2seq
簡介
本文提出了一種將四個看似不同的視覺任務（目標檢測，實例分割，關鍵點檢測，圖像描述）統一在單個像素到序列界面中的方法。本文方法是對在目標檢測任務中使用的Pix2Seq模型到一系列任務的擴展。
本文框架
本文方法提出一種對于四個關注任務的序列接口，即所有任務的描述和輸出都表示為若干離散令牌組成的序列。
- 目標檢測：一個物體由五個離散令牌表示，。每次訓練樣本時多個物體隨機采樣序列化后形成最終令牌。
- 實例分割：這里預測實例掩碼的多邊形描述，并將多邊形描述為一序列的坐標，并將坐標轉為離散令牌。這里每次采樣訓練圖片對應的開始點的開始令牌是隨機的。如果存在相同實例的多個多邊形，通過一個分割令牌聚集每個多邊形的表示序列。
- 關鍵點檢測：類似地，這里也是用一系列坐標表示關鍵點檢測結果，。這里為了簡潔省略了關鍵點類別標簽。如果某個關鍵點被遮擋，相應的坐標令牌被一個特別的令牌取代。
- 圖像描述：直接預測離散的文本令牌。
統一的架構和損失函數
與Pix2Seq方法只關注單一任務不同的是，****以一個任務的prompt為條件，直接為單個目標檢測任務產生輸出token，以便模型可以產生適應于關注任務的輸出。在訓練期間，模型將prompt和期望的輸出連接到單個序列中，利用token加權方案確保****只被訓練來預測期望的輸出，而不是prompt令牌。在推理過程中，prompt是給定的，并且是固定的，所以****只需要產生序列的其余部分。類似于Pix2Seq方法，訓練目標是最大化基于圖像的令牌和之前的令牌的似然性。
多個任務的訓練
- 數據混合。合并不同任務的圖像和相應輸出序列。優點是構建很簡單，但很難加入圖像增廣。
- 批混合。采樣不同任務的圖像，經適合當前任務的增廣處理，合并令牌化的輸出序列得到圖像-序列對。這種方法可以獨立地為了一個任務計算損失和梯度，并以合適的權重融合不同任務的梯度。
本文方法考慮使用批混合策略。
推斷
實驗
圖4給出了如何選擇合適的各任務損失函數加權系數。這里使用貪心策略。圖4（a）給出了搜素目標檢測與實例分割間權重比例的搜索結果。可以看出在一個較廣的范圍內，兩個任務的性能都接近峰值。之后實驗簡單選擇2：8的權重比例。加入圖像描述任務后，在9：1的權重比例下是對當前任務是較合適的。加入關鍵點檢測后發現權重能設置的較小，這里選擇為0.01。
部分圖片可視化結果：
*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。
