如何向大模型注入知識？達摩院通義對話模型SPACE系列探索（2）

最終 SPACE-1 借助半監督注入策略知識的能力，在這些經典的對話榜單上均大幅超過了之前的 SOTA 模型，端到端混合分數在 In-Car，MultiWOZ2.0 和 MultiWOZ2.1 分別提升 2.5、5.3 和 5.5 個點：

圖 13 SPACE-1 在 MultiWoz 2.0 等數據集上帶來顯著提升
以上的結果充分證明了半監督預訓練的效果。進一步詳細分析如下圖所示，Success 是對話完成率指標，BLEU 是對話生成指標，對話策略對于這兩個指標有重要影響，注入對話策略知識后的大模型，在這兩個這兩個指標上帶來了顯著提升。

圖 14 SPACE-1 效果詳細分析
3. SPACE-2：從封閉集知識到開放集知識
3.1. 開放集知識
SAPCE-1 主要將對話策略知識注入到預訓練模型的過程中，但是仍然存在一些局限，首先 DA 標簽體系比較簡單，因為只有 20 個類別；其次，DA 的標簽體系是一個封閉集，雖然對于人機對話是非常重要的，但從知識的角度來看，仍然是比較簡單。對于整個對話系統來說，語言理解所涉及的知識會更加復雜，比如一個 query “市中心有什么好吃的嗎？”，首先這句話有意圖信息（找餐館），其次對于餐館位置等屬性一般作為是槽位信息。在廣泛的對話場景下，對于意圖和槽位的人類標注，其實也可以看做知識的一種形態。所以我們希望 SPACE-2 能完成從簡單封閉集知識到復雜開放集知識的躍遷，很好的利用已有的標注數據。

圖 15 兩種知識形態：簡單的封閉集知識和復雜的開放集知識
3.2. 語義樹標簽
沿著這個思路，我們首先要解決一個難點，已有的復雜開放集知識不是一個簡單的封閉集合的分類任務，不同數據集的體系更加復雜不一致。我們通過提出語義樹結構對所有任務型對話數據集的用戶側理解標簽進行統一，從 domaim、intent、slot、value 等四個層次進行樹狀標簽的構建。比如對于 query “附近有好吃的川菜館嗎”，其 domain 為 restaurant，intent 是查找餐廳，slot 是菜系，value 是川菜，就可以完成一顆語義樹的構建。利用這個思路，我們整合學術界已有的 32 個有標對話數據，提出 AnPreDial（300 萬） ，同時整合已有的 19 個無標對話數據，提出 UnPreDial（1900 萬），作為 SPACE-2 的預訓練數據。

圖 16 語義樹標簽
3.3. 半監督對比學習
與 SPACE-1 類似，我們仍然采用半監督對比學習的思路進行知識注入，有標注樣本采用有監督對比學習，無標注樣本采用自監督對比學習。而對于有監督對比學習，當前的語義樹知識不是獨熱（one-hot）的，而是可度量的相似度標簽。比如 query A 表達的是“能不能幫我在城東找一家比較便宜的賓館”，而 query B 表達的是“你能不能在城西幫忙找一家便宜的賓館”，這兩句話的語義樹標簽之間的相似度是可度量的，具體的度量方式我們通過兩個 query 標簽解析出的語義樹進行計算，將語義數按照節點和路徑的組合，拆分為 10 種不同的情況 {D, I, S, V, DI, IS, SV, DIS, ISV, DISV} 其中 D 表示 domain，I 表示 intent，S 表示 slot，V 表示 value。最終按照路徑和節點的重合程度，計算 Jaccard 距離作為 soft label 值，最終作為半監督學習的標簽。

圖 17 語義樹相似度度量
因為兩個樣本之間，可能只有部分是相似的，所以根據語義樹的特點，我們進一步提出了 Multi-view scoring 的學習策略，在最后預測的過程中加入不同子空間的映射矩陣，用不同子空間對部分相似的樣本進行顯式建模。

 圖 18 采用多視角（Multi-View）分別對不同的子結構進行顯式建模
通過這種策略，可以通過 soft label 度量 batch 內任意兩個樣本的相似度，最后通過 weighted 對比學習的方式進行優化。下圖可以看出，相比于自監督的對比學習（自己和自己作為正例，batch 內其他樣本作為負例）和全監督的對比學習（正負標簽作為對比學習標簽），SPACE-2 基于樹結構的半監督對比學習方式，既能有效的利用標注信息，又能很彈性的退化為自監督對比學習，非常適合對話理解任務。

圖 19 基于樹結構的半監督對比學習
3.4. SPACE-2 結果
SPACE-2 在面向對話理解的榜單 DialoGLUE 上（意圖識別、填槽、對話跟蹤）全量測試和小樣本測試總分均為第一，其中在全量測試上，SPACE-2 相比之前的 SOTA 提升 1.1%，在小樣本測試上，SPACE-2 相比之前的 SOTA 提升 3.41，由此可以證明開放集知識對于對話理解的增益。

圖 20 SPACE-2 注入了對話理解知識，在對話理解榜單 DialoGLUE 取得 full-data 和 few-shot 雙榜單第一名
4. SPACE-3: 從單模塊建模到一體化建模
面向單模塊的預訓練模型存在幾個問題：

1. 首先，模型的泛化性有限，無法很好的泛化到其他對話任務中，比如面向對話理解的模型很難再對話策略上有很好的效果；
2. 對話任務具有流程型和時序性，理解 -> 策略 -> 生成是有先后順序及相輔相成的，同時建模多個任務將能更充分的挖掘數據特征；
3. 不同任務的標簽知識如果能夠同時以半監督的方式注入到預訓練模型中 ，標注信息的增多，對于模型的優化也更有幫助。

為了克服這些問題，所以我們提出了 SPACE-3，希望將對話理解、對話策略、對話生成都統一到一個預訓練對話模型中。
4.1. 一體化模型
我們換個角度來看人機對話，首先多輪對話是流動的，是對話雙方不停地進行交互，但之前的預訓練對話模型都是從單側（用戶側 or 系統側）進行建模，沒有考慮他們之間相互的影響。另外，語義樹是對用戶側的語言（utterance）進行理解的，DA 是對系統側的語言（response）進行理解的，那么就可以將理解知識和策略知識進行雙側理解統一建模。

圖 21 換個角度看人機對話
基于這個思路，我們希望能夠模擬人類對話的思考路徑，通過三個 Decoder 依次做理解、策略和生成，中間的結果可以用在各類對話下游任務上。在模型技術選型上，我們采取 UniLM 作為 backbone，將 1 Encoder + 1 Decoder 擴展為 1 Encoder + 3 Decoder 的結構，其中 Dialog Encoder 作為基礎編碼器通過 MLM loss 完成基礎語言理解，而三個 Decoder 各司其職，Understanding Decoder 通過半監督對比學習進行對話理解，Policy Deocder 通過語義策略正則 loss 進行對話策略建模，最后 Response Decoder 通過傳統的生成 loss 進行對話生成。

圖 22 SPACE-3 模型架構
4.2. 雙側理解建模
策略 loss 的設計體現了我們對雙側理解的思想，首先在用戶側時刻，根據上下文和用戶 utterance，經過 Policy Decoder 的預測的結果，和直接利用 Understanding Decoder 對下一輪 response 理解的結果，二者具有一致性。比如在下面的例子中，當模型接受 U1 + R1 + U2 為 context 的輸入時 Policy Decoder 模塊的結果，需要與 U1 + R1 + U2 + R2 為 context 的輸入時 Understanding Decoder 模塊的結果進行一致性約束，來引導模型對策略進行建模。 

圖 23 策略 LOSS 建模示例
同樣的，在用戶側時刻，根據上下文和系統 response，經過 Policy Decoder 的預測的結果，和直接利用 Understanding Decoder 對用戶 utterance 理解的結果，二者具有一致性。當模型接受 U1 + R1 + U2 + R2 為 context 的輸入時 Policy Decoder 模塊的結果，需要與 U1 + R1 + U2 + R2 + U3 為 context 的輸入時 Understanding Decoder 模塊的結果進行一致性約束，來引導模型對策略進行建模。

圖 24 策略 LOSS 建模示例
4.3. SPACE-3 結果
最后，我們同時在對話理解任務、對話策略任務和對話生成任務上同時評測了 SPACE-3 的效果，在包含理解、策略和生成的 8 個數據集的綜合評價上，取得當前最好效果。

圖 25 SPACE-3 模型結果
5. SPACE-1/2/3 系列模型總結
這一年多來，我們通過提出半監督預訓練新范式，向預訓練對話模型中注入人類標注知識，打造了 SPACE 系列模型，共在 11 個國際對話數據集取得 SOTA，并且三個工作分別側重對話策略、對話理解及統一建模。相關的論文已經被頂級會議接收。其中，SPACE-1 融合對話策略知識，被 AAAI 2020 錄用；SPACE-2 融合對話理解知識，被 COLING 2022 錄用；SPACE-3 集理解、策略、生成一體，被 SIGIR 2022 錄用。

圖 26 SPACE 1/2/3 系列模型
6. 未來展望

1. 拓展更多任務：半監督預訓練作為一個通用的預訓練技術， 不僅可以用于對話任務，對于更多的 NLP 任務, 甚至其他模態的任務都有應用的潛力；
2. 融入更多知識：本文中我們對分類標注知識和樹形語義知識做了探索，除此之外還有很多其他知識形態，如何進行更好的形式化表示，統一地融入到一個預訓練模型中也是一個開放問題；
3. 設計更好算法：目前的探索是基于一致性正則化的半監督預訓練方案，但整個半監督領域還有 self-taught, co-training, deep generative modeling 等諸多方法，如何綜合利用或設計更優的算法是一個重要研究課題；
4. 放松數據約束：半監督學習要求標注數據和無標數據具有類似的數據分布，這一要求在真實場景中具有局限性，如何設計泛化性更強的半監督學習方法，放松對于無標數據分布的假設，是未來的一個發展方向。

特別鳴謝
靈駿為本項目提供智能算力支持，顯著性加速了 SPACE 大規模預訓練過程。靈駿是阿里云自主研發的新一代智能計算服務，以軟硬件一體的系統性創新優化，使端到端計算效率得到飛躍式升級。支持自然語言處理、圖形圖像識別、搜索廣告推薦等多種應用場景，具備高性能、高效率、高資源利用率等核心優勢，可為大模型等前沿 AI 技術提供高拓展可預期的計算服務。
參考文獻
[1] Devlin J, Chang M W, Lee K, et al.  BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019.[2] Brown T, Mann B, Ryder N, et al. Language Models are Few-Shot Learners. NeurIPS 2020.[3] Raffel et al. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer.  JMLR 2020.[4] Vaswani A, Shazeer N, Parmar N, et al. Attention Is All You Need.  NeurIPS 2017.[5] Henderson M, Casanueva I, Mrk?i? N, et al. Convert: Efficient and accurate conversational representations from transformers. EMNLP-findings 2019.[6] Wu C S, Hoi S, Socher R, et al. TOD-BERT: pre-trained natural language understanding for task-oriented dialogue. EMNLP 2020.[7] Zihang Jiang, Weihao Yu, Daquan Zhou, et al. ConvBERT: Improving BERT with Span-based Dynamic Convolution. NeurIPS 2020.[8] Zhang Y, Sun S, Galley M, et al. DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation. ACL system demonstration 2020.[9] Adiwardana D, Luong M T, So D R, et al. Towards a human-like open-domain chatbot. arXiv preprint arXiv:2001.09977, 2020.[10] Roller S, Dinan E, Goyal N, et al. Recipes for building an open-domain chatbot. arXiv preprint arXiv:2004.13637, 2020.[11] Xiaojin Jerry Zhu. Semi-supervised learning literature survey. 2005.[12] Liang X, Wu L, Li J, et al. R-Drop: Regularized Dropout for Neural Networks. NeurIPS 2021.[13] He W, Dai Y, Zheng Y, et al. SPACE: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection. AAAI 2022.[14] He W, Dai Y, Hui B, et al. SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding. COLING 2022.[15] He W, Dai Y, Yang M, SPACE-3: Unified Dialog Model Pre-training for Task-Oriented Dialog Understanding and Generation. SIGIR 2022.[16] Xu H, Zhengyan Z, Ning D, et al. Pre-Trained Models: Past, Present and Future [J]. arXiv preprint arXiv:2106.07139, 2021.