面向可解釋性的知識圖譜推理研究（3）

2. 基于貝葉斯強化學習的知識圖譜推理

第二個是進行的關于貝葉斯強化學習的知識圖譜推理模型。

研究發現，基于強化學習的知識圖譜推理很大的問題是：

• 訓練難以穩定，其蒙特卡洛抽樣的方差比較大，獎賞稀疏。

• 難以利用先驗知識，如利用預訓練語料、屬性信息、關系和實體的先驗分布。

• 單點分布的實體和向量，不能表達語義的不確定性。

利用貝葉斯強化學習工具來建模不確定性推理。假設參數服從某種概率分布，右圖顯示了貝葉斯學習的有點是可以表達不確定性。

利用貝葉斯強化學習其優點是可以表達實體及關系的不確定性，這種不確定性有利于權衡探索-利用關系，通過隨機性可以引入正則項，來穩定 Q 網絡/策略網絡的訓練優化，同時貝葉斯強化的機制可以利用知識的先驗分布。

其方法比較簡單，就是將知識圖譜中的實體和關系假設為高斯分布，通過設計合理的知識圖譜 Q 函數來進行推理。

將知識圖譜推理定義成馬爾可夫決策過程，其環境是知識圖譜，狀態是實體在知識圖譜中所處的位置，動作是這個位置可能連接的實體集合，策略函數是基于最大 Q 值的執行策略，獎賞函數是 0、1 獎賞。

Q 函數的定義就是一個狀態動作值的定義，在 St 是狀態時，對未來推理 Q 的獎賞的期望。直接求解 Q 函數通常比較困難，是通過神經網絡進行擬合。具體實現方式是通過 BayesianLSTM 來擬合 Q 函數的隱狀態，通過貝葉斯線性回歸網絡輸出 Q 值。

具體的執行策略和優化策略有兩種，是異策略的方式，即優化策略與執行策略函數不同。優化策略是采取貪心策略，來保證訓練的利用。執行策略是通過 Tompson 采樣，通過 Q 值隨機化生成來保證環境的探索。

最后的目標函數是最小化 Q 函數網絡的變分自由能，通過軌跡采樣方式來進行優化，采用蒙特卡洛梯度進行近似優化，具體實現是通過貝葉斯反向傳播的方法來訓練貝葉斯神經網絡。

在知識圖譜進行的實驗，圖為事實預測的實驗結果，是一個二分類預測，給定兩個實體預測其關系的實驗。可以發現模型在 NELL995 上大部分取得了比較好的領先。

實體預測的實驗，可以發現模型可以取得較優的結果。

在小規模知識圖譜上的鏈接預測實驗，在小規模知識圖譜,上的實驗將最大推理長度設定為 2，設定為單步推理，也取得了一定的效果。

貝葉斯強化學習模型，沒有采用隨機分布的方式，與 MINERVA 進行對比，可以發現貝葉斯強化學習模型收斂的更快一些，可以引入先驗分布，通過對實體的高斯分布的預訓練，葉斯強化學習模型收斂的結果更好一些。

對推理的過程進行箱式圖可視化，如圖示例中，推理阿根廷是在哪里的？可以不確定性推理，實現 Q 值分布的不確定性，來實現不確定性推理。

圖為 GaussianPath 模型在推理過程中產生了一些可解釋性的推理路徑。

小結：提出一個貝葉斯強化學習的知識推理模型，該模型可以表達多跳推理路徑的不確定性；該模型可以利用貝葉斯網絡的特性引入先驗知識從而加速及穩定強化學習的網路訓練。實驗表明，該模型可以在標準的數據集上取得競爭性的結果。該工作發表于 2021 年 AAAI 上。

3. 異質信息網絡的自動元路徑挖掘

第三個工作是基于強化學習的知識圖譜推理的應用，就是在異質信息網絡的自動元路徑挖掘。

異質信息網絡是指圖上的節點、關系的種類大于 1 的網絡，其定義比知識圖譜更加廣泛。常見的異質信息網絡有電影網絡、引用網絡、知識圖譜等。

元路徑是異質信息網路上非常常用的手段，是實體關系的序列，可以表達實體之間的語義特征，如，“APA”可以刻畫共同發表的關系，“APVPA”可以刻畫同一個課題組的關系。其在圖數據挖掘中產生了一系列非常經典的工作。

元路徑（Meta Path）應用非常廣泛，在信息檢索、數據挖掘、推薦系統中廣泛應用。

元路徑優點是，語義表達準確，效率較高，含有圖的結構特征，可解釋性好。缺點是，需要人工設計，人工構造 Meta Path，是非端到端的方法，對于長序列元路徑設計比較困難。

自動得到元路徑的方法是基于貪婪樹的方法、K-最短路徑、圖遍歷的方式得到 Meta Path。其存在的問題是在離散空間計算，搜索空間比較大。我們研究的異質信息網絡的自動元路徑挖掘模型，利用強化學習，在推理過程中得到推理路徑模式，來得到元路徑。

異質信息網絡的自動元路徑挖掘方法，在 HIN 上利用強化學習進行多跳推理，得到路徑實例；在類型有向圖上進行規約，得到元路徑。

該工作強化學習的框架，與前面兩個工作類似，就是在狀態、動作設定上略有不同。在狀態上加入了 vd 實體的元組；在動作上，是實體在異質信息網絡的停留，其動作空間就是與其連接的邊和實體；獎賞是基于 γ 的衰減的獎賞函數。

知識圖譜的規模通常很大，是百萬級別的實體及事實，直接給每個實體分配表向量通常會消耗非常大的存儲資源和計算資源。這項工作提出一種基于類型上下文表示的方式，通過將類型向量平均來表示實體，有效減少實體向量存儲的問題。

具體路徑實例規約方法是基于最低祖先方法，通過在類型圖上進行根節點的搜索得到元路徑。如，實體類型的 DAG 如圖，通過最低祖先搜索的方法得到其是 Person 的類型，最后得到類型及類型的組合，得到元路徑。

實驗部分采用挖掘得到的元路徑進行鏈接預測。采用的數據集是 Yago 和 NELL，即大規模異質信息網絡或知識圖譜。Yago 和 NELL 具有上百萬的實體，Yago 中具有 80 多萬個類型；NELL 具有 700 多個類型。與 KG 的區別是具有大量的類型信息。

根據鏈接預測的實驗，可以發現通過強化學習挖掘得到的路徑，盡管其是一個比較簡單的路徑特征的線性回歸，都可以取得比較好的效果。

同時，可以通過強化學習推理的回歸的 Weight 獲得元路徑的權重，如，在 Yago 數據集中表示公民的關系，可以由 Person BorIn Country、Person BorIn District LocatedIn Country 主要刻畫 isCitizenOf 的關系。該模型可以獲得不同權重的元路徑，也可以挖掘得到較長長度的元路徑，還可以通過元路徑的比較發現同義的元路徑。

小結：提出一個強化學習的模型，該模型可以在大規模異質信息網絡上挖掘元路徑，利用上下文表示可以大大緩解異質信息網絡的規模性問題。實驗表明，即使利用簡單的線性回歸，挖掘得到的元路徑也可以在大規模異質信息網絡表現較好。表明異質信息網絡核心的限制就是元路徑的質量。該工作發表于 2020 年 AAAI 上。

05 總結和展望

• 深度學習和神經網路的研究進入下一階段，需要對神經網絡的可解釋性、魯棒性進行更加深入的研究。

• 未來研究知識圖譜可解釋性的方法可以結合一階邏輯推理和神經網絡，讓知識圖譜推理可以符合邏輯性，來提高知識圖譜的可解釋性。

• 結合進一步的實際查詢任務，例如問答系統、信息檢索，實現端到端的可解釋性知識推理。

• 利用分解模型或 GNNExplainer 等一些方法，建立現有模型的一些事后可解釋性手段。

06 Q&A 問答環節

Q：如何評估生成解釋的可理解能力？

A：解釋的可解釋能力，一般在事后可解釋性比較多，如可信度等。在這里研究工作中，更多是事前可解釋性的方法。具體可解釋性的能力是比較主觀的，現有的評估可解釋性的方法更多的用于事后可解釋性。

今天的分享就到這里，謝謝大家。