面向可解釋性的知識圖譜推理研究（2）

6. 現有方法總結

這里對主要的推理方法進行一個總結，可以發現基于邏輯演繹規則和圖結構的方法都是是基于符號的方法，其可解釋性比較好，但泛化性能比較差，都是離線的計算方式。基于知識圖譜嵌入和深度神經網絡模型，其泛化性能比較好，但可解釋性比較差。

近期研究的重點是如何將符號主義和連接主義的模型進行融合來獲得具有可解釋性的知識圖譜推理模型。

03 研究動機

1. 知識圖譜推理的可解釋性

對知識圖譜推理的可解釋性來源進行了分類：

• 邏輯可解釋性：是天然的知識圖譜可解釋性來源，可以提供邏輯解釋依據。

• 圖結構的可解釋性：圖結構具有路徑特征，如metapath和子圖的結構特征。

• 神經網絡模型可解釋性：事后可解釋性，可以通過神經網絡的一些事后可解釋性手段來分析特征的顯著性。其代表方法是Attention機制的可視化，這種方法目前還不是很成熟；另一種是 CAM 或圖 CAM 方法；還有一種是利用嵌入空間理論分析方法，其中 RotateE 或雙曲空間其嵌入空間理論分析做的非常好，但是不能很好地解釋參數的變化。

2. 強化學習

如何對符號主義和連接主義的模型進行有效的融合是近期的研究熱點。這里研究的重點是將強化學習融入到知識推理中。

強化學習是近 10 年來非常受關注的模型，在控制、游戲、機器人中得到了廣泛應用。其是將一個學習過程建模成馬爾科夫過程，通過智能體和環境的互相交互，通過最大化長期累積的獎賞來訓練模型。與環境交互時會產生軌跡，如果將知識圖譜建模為一個強化學習的過程，那么既可以得到推理的結果，也可以得到推理的路徑，通過推理路徑來解釋知識圖譜推理。

3. 基于強化學習的知識圖譜推理

具體的融合方法是將知識圖譜視為一個環境，將智能體建模成一個深度神經網絡，結合符號主義和連接主義的優缺點，做到取長補短，讓模型同時具備神經網絡的泛化性能和路徑可解釋性，同時由于深度強化學習是一個序列過程，可以處理多跳推理的過程。

04 近期研究

1. 基于層次強化學習的知識圖譜推理

第一個進行的工作就是基于層次強化學習的知識圖譜推理模型。

其研究的背景是解決知識圖譜多語義問題。以圖為例，將 FreeBase 知識圖譜中的實體用 TransE 進行預訓練，將相關聯的實體相減得到關系的表示，將表示進行 PCA 降維可視化，可以看到關系具有多個語義簇，代表關系模型在預訓練模型中出現的模式。多個語義簇會造成歧義的現象，造成推理準確率下降。

如何解決知識圖譜推理多語義問題呢？結合近期神經科學的發現，發表在 Science 上的文章表明人類或高級動物其決策的過程是一個分層推理的過程，是一個潛意識的過程，通過多次觀察、多次推理，逐步去消解多語義和歧義，來得到推理的結構。分層決策的機制是認知過程的核心機制，是該論文的結論。例如，人在識別一只金絲猴的過程中的一個潛意識過程是先識別是一個動物，是一個靈長目的動物，再識別它是一只金絲猴。這是一個從高水平到低水平、從概念上粗粒度到細粒度的過程，該過程就是一個分層的機制。

分層強化學習與傳統強化學習模型的區別是，分層強化學習將決策空間進行了進一步的結構化，將問題分解為若干個子問題來進行決策。分層強化學習更像人類思維，能夠提高知識推理的準確度，解決多語義問題。

具體實現分層強化學習的方法是設計兩個互相嵌套的強化學習，一個是高層次的策略函數，一個是低層次策略函數。高層次策略控制知識圖譜實體間的狀態轉移，低層次策略控制語義簇之間的轉移，語義簇是用 TransE 的嵌入來構建。

具體來講，高水平策略函數是一個基于 GRU 的可以保存歷史向量的策略函數，其獎賞函數是一個γ衰減的獎賞函數。低水平策略函數是一個將狀態空間層次化分解的過程，其獎賞函數是一個 0、1 獎賞。

其訓練的目標是使其獎賞最大化，利用梯度策略優化來訓練模型。由于該模型高水平策略和低水平策略互相嵌套的模型，使用交替固定優化的方式，通過蒙特卡洛采樣軌跡的方式來訓練推理模型。

使用的評價指標是平均準確率、平均排序分數和 Hit@X。數據集是常識知識圖譜 FB15K、NELL995、WN18RR，其中 FB15K 的多語義現象比較嚴重。

進行鏈接預測的實驗，圖為實體預測的實驗結果，可以發現模型在大部分數據集上表現的都比較好，同時在多語義的數據集上表現的更好一點。

第二個是事實預測的實驗，給定兩個實體，預測它們之間是否存在某種關系，是一個二分類的問題，模型在 FB15K-237 上表現更好一些。

分層強化推理可以提供可解釋性的推理路徑，如圖，在推理過程中相比于 MINERVA可以提供更好的推理路徑。

小結：提出了一個分層強化學習的知識推理模型，這個模型模仿了人類的思維方法，這個模型可以學習到知識圖譜中關系的層次化語義簇，從而有助于解決推理過程的多語義問題。實驗表明，這個模型可以在標準的數據集上取得競爭性的結果，在多語義問題上表現更好。該工作發表于 2020 年 IJCAI 上。