微軟亞洲研究院深入探索圖深度學習領域兩大挑戰，以圖深度學習賦能知識計算

圖（Graph），作為一種通用的數據組織方式，被廣泛應用于建模實體間的聯系，例如知識圖譜、社交網絡、交通路網、引文網絡、互聯網以及云服務依賴關系網絡等。隨著深度學習技術的快速發展，由深度學習與圖數據處理相結合，催生出了圖深度學習這一熱門的研究方向，并以圖嵌入、圖神經網絡等技術為代表對圖數據進行學習和分析。從數據的角度來看，圖深度學習如今已成為圖數據分析背后的重要技術。

微軟亞洲研究院數據、知識與智能（Data, Knowledge and Intelligence，DKI）組一直致力于發掘數據的價值，因此，DKI 組的研究員們希望從數據分析和知識提取中獲取洞見，以更有效的圖深度學習技術來賦能企業級的數據分析和知識計算。所謂知識計算就是指利用計算機程序來處理人類知識的過程，而且在這個過程中要將人類的知識轉化為計算機可以理解的形式，并用這些信息解決復雜的問題。

知識計算領域的數據對象往往很有特點，其中的典型數據包括知識圖譜和根據領域特點自定義的異構網絡，這類圖中的節點和邊有更明確的語義，而且往往有確定的實體名和關系類型名，還常具有詳細的文本描述。圖的結構和語義信息都是對分析結果有明顯影響的要素，基于這兩種信息融合的知識表示也非常具有挑戰性，所以圖學習模型的設計也要更有針對性。

目前對知識的建模手段主要有兩類：一類是通過大規模語言模型隱式建模知識，但這類模型的可控度和可解釋性較低，有些回答真假難辨，比如 ChatGPT；另一類是通過顯式的知識建模，利用結構化的知識表達，將其存儲于知識庫中，可以顯式進行問答、推理等任務，然而如何更好地利用知識庫中的知識卻是個難題。

微軟亞洲研究院 DKI 組的研究員們認為可以利用圖深度學習，從以下幾個方面增強顯式知識建模的能力：

（1）增強知識表示能力。通過相應技術學習得到知識的向量表示，讓現有的智能模型可以更好地利用知識庫中的知識。

（2）提升知識挖掘能力。圖深度學習技術可以用來挖掘知識圖譜結構中的隱藏關系，從而更好地理解知識中的含義和關聯性。

（3）擴展知識應用范圍。圖深度學習技術能夠應用于多種領域，如自然語言處理、推薦系統、知識圖譜構建等，為知識計算的應用提供了更多的可能性。

知識圖譜是最為常用的顯式建模知識的方式，它是一種用節點表示實體，用連邊表示關系的圖結構組織方式。針對知識圖譜的圖深度學習技術是知識計算中非常重要的一環。目前，知識圖譜上的圖深度學習方法以嵌入技術為主，該類技術將實體和關系映射到低維向量空間，用來表示知識圖譜中實體和關系之間的相似度，從而進行知識圖譜的推理、推薦和分類等任務。在應用外部知識解決各類智能任務的過程中，圖深度學習也發揮著重要作用。

“我們希望利用圖深度學習來增強顯式建模知識的能力，并結合知識圖譜和圖深度學習進行更多探索。針對知識圖譜，我們通過圖深度學習來挖掘更多潛在的隱藏關系，力爭得到更全面、完善的知識表達，這也是我們在 NeurIPS 2022 大規模圖學習競賽 OGB-LSC 上的課題，比賽結果表明我們的研究已經取得了階段性成果?！蔽④泚喼扪芯吭?DKI 組主管研究員杜侖表示。

系列研究讓圖深度學習模型更通用、更穩定

圖深度學習領域的研究內容非常廣泛，微軟亞洲研究院 DKI 組將系列研究聚焦在了圖深度學習需要持續攻克的幾個課題上：設計更通用、更具泛化性的圖深度學習模型和更穩定有效的模型訓練策略，以及探索更廣泛的圖模型應用場景。

從模型設計的角度，目前很多模型都擅長處理具有同配屬性的數據。同配屬性是指圖上節點具有相鄰相似性，這種性質在傳統的圖研究對象中存在較多，例如社交網絡、交通路網等等，然而圖數據的覆蓋面非常廣，例如企業中團隊協作的關系網絡就有更明顯的優勢互補傾向，或者推薦系統中用戶對于內容不喜歡的反饋網絡顯然不具備同配關系。那么如何建模更廣泛類型的圖，并挖掘更多圖中的有效信號，是目前模型設計上的一個挑戰。

從模型訓練的角度來看，由于圖數據中節點和節點的連邊導致訓練過程中無法簡單地流式遍歷數據，需要配合圖采樣等技術才能進行有效的訓練，因此如何在保證高效訓練的同時又盡可能減少信息損失，是真實大規模圖數據場景中的重要問題。除了圖特有的問題外，圖深度學習模型的訓練也會遇到其他深度學習模型所面臨的類似的問題，比如如何保證訓練的穩定性、效率和最終模型的泛化表現等。

此外，圖模型的過壓縮（oversquashing）、過平滑（oversmoothing），以及一般深度學習的模型初始化、過擬合等也都是需要一一解決的問題。

經過近幾年的持續研究，DKI 組的研究員們在適用范圍更廣、可解釋性更強的圖模型設計，以及一些通用的提高模型訓練穩定性和泛化性的設計等方面都取得不少突破性成果。

在更具泛化性的模型結構設計方面，研究員們提出了針對圖同配性和異配性同時建模的雙核圖網絡模型，和針對鄰域特征分布建模的混合矩圖網絡模型：

• 針對圖同配性和異配性同時建模的雙核圖網絡模型：研究員們發現無法建模異配關系的部分原因是，對同一階鄰居的向量表征使用了相同的核做變換所致，即使使用類似于圖注意力網絡（GAT）的注意力機制，但由于注意力計算的權重總是一個正值，所以一個核無法同時對節點表征之間的相似性和相異性（如正負相關性）進行建模。針對這個問題，研究員們分析發現，無論是在同配圖還是異配圖的數據集上，都存在著相當數量的異配子圖，且子圖的異配度參差不齊，而傳統模型如 GCN（圖卷積神經網絡）在同配子圖上往往表現優異，但在異配子圖上發揮較差，這充分說明了同時建模同配和異配性模型的必要性。因此，研究員們提出了一種基于雙核特征轉換和門（gate）機制的新型 GNN（圖形神經網絡）模型——GBK-GNN。通過具有不同同質異質特性的七個真實數據集的廣泛實驗表明，與其他 SOTA 方法相比，GBK-GNN 有穩定且顯著的提升。

圖1：GBK-GNN 模型架構圖

• 針對鄰域特征分布建模的混合矩圖網絡模型：GNN 是一類通過聚合鄰居信息來對圖上的節點、邊或者子圖進行表示的機器學習模型。然而，大多數現有的 GNN 都使用單一的統計量，如平均數、最大值和求和，來聚合鄰居的特征，丟失了與鄰居特征分布相關的信息，降低了模型的性能。為了解決這個問題，研究員們借鑒統計學理論的矩方法，提出了新的 GNN 模型——混合矩圖神經網絡 MM-GNN。在15個真實世界圖數據集（包括社交網絡、引文網絡和網頁網絡等）上進行的廣泛實驗表明，MM-GNN 優于現有的最先進的模型。

圖2：MM-GNN 模型架構圖

在探索穩定的圖深度學習模型的過程中，微軟亞洲研究院 DKI 組還發現了穩定神經元的響應對模型泛化能力提升的幫助，提出了基于信息瓶頸理論的神經元競爭初始化策略：

• 穩定神經元響應以提升模型泛化性能：研究員們從神經元級別的細粒度出發，分析了單個神經元在神經網絡訓練和測試中的響應特性，發現提升神經元對同類輸入樣本響應的穩定性能夠有效地提高神經網絡的泛化性能。據此，研究員們提出了一種通用的正則項，用于控制神經元在激活狀態下響應的類內方差。該正則項簡單高效，不僅顯著提高了圖學習領域的圖神經網絡的泛化能力，還在計算機視覺領域中為卷積神經網絡和多層感知機模型帶來了顯著提升。

• 基于信息瓶頸理論的神經元競爭初始化策略：在深度神經網絡的復雜系統中，穩定的訓練過程往往依賴于有效的初始化機制?，F有的初始化機制研究工作主要關注于如何更好地緩解訓練過程中所出現的梯度消失或爆炸問題，但缺乏對提升模型最終泛化效果的關注。受信息瓶頸理論（information bottleneck theory）的啟發，研究員們定義了兩個初始化目標，保證初始模型具有一定分類效果的同時能盡可能多地保留兩種模型輸入的信息量。此外，通過一種新穎且高效的神經元競爭算法，模型的初始化在上述兩個目標之外還能保證初始化參數的多樣性。該方法的新穎性和有效性得到了 CIKM 委員會的青睞，并獲得了最佳短文獎。

微軟亞洲研究院 DKI 組還利用圖建模方法賦能了更多領域，提出了基于圖模型增強的表格理解深度網絡。表格數據結構的自動化理解是對文檔表格和網頁表格進行數據分析的重要步驟。然而，表格數據類型多樣，包括便于存儲的數據庫表格、為了利于展示的電子表格以及結構更為靈活的問卷式表格，這大大增加了表格理解的難度。對此，研究員們利用圖結構靈活、泛用性強的特點，引入了圖建模的思路，兼顧了建模表格結構以及表格中文本的語義信息，設計了一個面向表格的通用深度網絡，可以有效地理解表格結構。此外，網絡中還引入了行粒度和列粒度上的雙向循環神經網絡模塊，以更好地理解表格不同區域間的邊界關系。在兩種不同數據粒度的真實表格理解任務中，該方法都取得了最優表現。

加強合作，推動圖深度學習賦能更多場景

微軟亞洲研究院 DKI 組在圖深度學習研究中所取得的階段性技術突破，現已開始應用在眾多業務場景中。例如，在 Excel 中，通過圖建模的方法引入 WordNet 作為建模表格語義信息時的外部知識，對表格結構識別任務有明顯提升。而在領英（LinkedIn）的工作推薦功能中，一個很重要的問題是如何把合適的工作推薦給合適的人。領英與 DKI 組合作通過異構圖建模包括行業信息、教育背景、技能等在內的領域知識，并結合異構圖 GNN 模型同時建模領域知識與用戶行為等信息，當前已在線下實驗中取得了明顯的推薦準確率提升。

除此之外，微軟亞洲研究院 DKI 組還與學術界的高校和科研機構合作，一道推進圖深度學習領域的進步與應用。通過微軟亞洲研究院鑄星計劃，DKI 組的研究員與中科院計算所的學者共同探索了結合圖模型的交通軌跡數據的表示學習，借由層級圖模型建模數據點的物理距離，有效提升了軌跡表示學習模型的效果。在與上交所的研究合作中，研究員們對大規模圖處理進行了研究，提出了新的圖模型加速推斷方法，使推理過程更高效。

對于圖深度學習未來的研究規劃，微軟亞洲研究院首席研究員韓石表示，“下一步，微軟亞洲研究院 DKI 組將持續推進企業級知識計算領域與相關基礎研究的探索，包括文檔智能、顯式知識表示和大規模語言模型的結合、以及圖深度學習模型等。同時，我們也希望可以與更多學術機構和專家學者合作，共同探索圖深度學習的前沿發展方向?！?/span>

感謝微軟亞洲研究院 DKI 組圖深度學習研究團隊（成員包括：杜侖、陳旭、馬曉君、付強、韓石）對本文的貢獻。

相關論文鏈接：

1. Solution for NeurIPS 2022 OGB-LSC

https://ogb.stanford.edu/paper/neurips2022/wikikg90mv2_DNAKG.pdf

2. HTGN-BTW: Heterogeneous Temporal Graph Network with Bi-Time-Window Training Strategy for Temporal Link Prediction

https://www.wsdm-conference.org/2022/wp-content/uploads/2022/02/Task2_nothinghere_2nd.pdf

3. Neuron with Steady Response Leads to Better Generalization，NeurIPS’22

https://openreview.net/forum?id=9YQPaqVZKP

4. MM-GNN: Mix-Moment Graph Neural Network towards Modeling Neighborhood Feature Distribution, WSDM’23

https://arxiv.org/abs/2208.07012

5. Neuron with Steady Response Leads to Better Generalization，NeurIPS’22

https://openreview.net/forum?id=9YQPaqVZKP

6. Neuron Campaign for Initialization Guided by Information Bottleneck Theory，Best Short Paper at CIKM’21

https://dl.acm.org/doi/abs/10.1145/3459637.3482153

7. TabularNet: A Neural Network Architecture for Understanding Semantic Structures of Tabular Data, KDD’21

https://dl.acm.org/doi/abs/10.1145/3447548.3467228