NLPer，是時候重視因果推理了！這有一份楊笛一等撰寫的綜述

的因果推理。

科學(xué)研究的一個基本目標(biāo)是了解因果關(guān)系。然而，盡管因果在生活和社會科學(xué)中扮演了重要角色，它在 NLP 中卻沒有得到同樣重要的地位，后者通常更加重視預(yù)測任務(wù)。隨著因果推理和語言處理交叉研究領(lǐng)域的出現(xiàn)，二者之前的界限正變得模糊，但 NLP 中的因果推理研究仍然分散在各個領(lǐng)域，沒有統(tǒng)一的定義、基準(zhǔn)數(shù)據(jù)集和對剩余挑戰(zhàn)的清晰表述。

在這篇綜述論文中，來自以色列理工學(xué)院的 Amir Feder、佐治亞理工學(xué)院的楊笛一等十幾位研究者系統(tǒng)闡述了自然語言處理中的因果推理，為計算語言學(xué)界提供了一個統(tǒng)一的因果推理概述。具體來說，他們介紹了估計因果效應(yīng)的統(tǒng)計學(xué)挑戰(zhàn)，包括文本作為 outcome、treatment 或解決干擾（confounding）的手段等情況。此外，他們還探討了因果推理的潛在用途，以提高 NLP 模型的性能、穩(wěn)健性、公平性和可解釋性。

論文鏈接：https://arxiv.org/pdf/2109.00725v1.pdf

為什么要重視 NLP 中的因果推理

很多科學(xué)領(lǐng)域?qū)τ趯⑽谋菊铣蓴?shù)據(jù)越來越感興趣。NLP 研究人員可能不熟悉這些領(lǐng)域的一個關(guān)鍵特性，即強(qiáng)調(diào)因果推理。例如，在推薦一種新的****物療法之前，臨床醫(yī)生想知道這種****物與疾病進(jìn)展之間的因果關(guān)系。因果推理涉及一個通過干預(yù)（intervention）創(chuàng)造的反事實(shí)世界的問題：如果當(dāng)時給病人用了****，他們的病情會如何發(fā)展？正如下面將要解釋的，在觀察數(shù)據(jù)中，因果效應(yīng)并不等同于服用****物的患者與其觀察到的疾病進(jìn)展之間的相關(guān)性?，F(xiàn)在有關(guān)于使用傳統(tǒng)（非文本）數(shù)據(jù)集進(jìn)行有效推理的技術(shù)的深入文獻(xiàn)，但這些技術(shù)在自然語言數(shù)據(jù)中的應(yīng)用引發(fā)了新的挑戰(zhàn)。

一直以來，傳統(tǒng) NLP 應(yīng)用的研究目的都是作出準(zhǔn)確的預(yù)測：通常任何統(tǒng)計相關(guān)性都被認(rèn)為是可接受的，無論潛在的因果關(guān)系如何。然而，隨著 NLP 在高風(fēng)險場景中的部署愈發(fā)普遍，我們不能依賴通常的假設(shè)，即訓(xùn)練和測試數(shù)據(jù)是同分布的。我們可能不會滿足于無法解釋的黑箱預(yù)測器。對于這兩個問題，因果推理提供了一條有希望的道路：數(shù)據(jù)生成過程中因果結(jié)構(gòu)的領(lǐng)域知識可以提示歸納偏置，從而帶來更穩(wěn)健的預(yù)測器，而預(yù)測器本身的因果視角可以提供關(guān)于其內(nèi)部運(yùn)轉(zhuǎn)方式的新見解。

因此，這篇綜述的核心主張是：加深因果推理與 NLP 之間的聯(lián)系，可能對促進(jìn)社會科學(xué)和 NLP 研究具有重要意義。

這篇綜述寫了什么？

在論文中，研究者將因果推理與 NLP 之間的交集分為兩個不同的領(lǐng)域：1）從文本中估計因果關(guān)系；2）利用因果形式體系提高 NLP 方法的可靠性。他們利用兩個例子說明了其中的區(qū)別。

例 1. 一個在線論壇允許其用戶在他們的個人資料中用一個圖標(biāo)表示性別。他們注意到，圖標(biāo)為「女性」的用戶所發(fā)的帖子得到的點(diǎn)贊量要少一些。為了評估這一政策（允許用戶在資料中提供性別信息），他們問了一個問題：被認(rèn)為是女性會降低帖子的受歡迎程度嗎？

例 1 中要探討的是「被認(rèn)為是女性（treatment）」和「帖子得到的點(diǎn)贊量（outcome）」之間是否存在因果關(guān)系。這里的反事實(shí)問題就成了：如果我們操控了一個帖子的性別圖標(biāo)，它能得到多少個贊？

被觀察到的「被認(rèn)為是女性」和「帖子得到的點(diǎn)贊量」之間的關(guān)聯(lián)一般不符合因果效應(yīng)。這是因為，出現(xiàn)這種關(guān)聯(lián)可能有兩方面原因：1）確實(shí)存在因果關(guān)系；2）由干擾因子引起的偽相關(guān)，即那些與 treatment 和 outcome 都有關(guān)系的變量。

在這個例子中，帖子的話題就可能是一個干擾因子：圖標(biāo)為女性的用戶所發(fā)的帖子可能更多的是關(guān)于某個話題的，而該話題本身就很難吸引人點(diǎn)贊。正如論文第二部分所言，由于干擾因子的存在，在沒有假設(shè)的情況下估計因果關(guān)系是不可能的。

例 1 強(qiáng)調(diào)的是這樣一種設(shè)置：文本編碼了因果效應(yīng)的相關(guān)干擾因子?！肝谋咀鳛橐环N干擾因子（text as a confounder）」是我們可以用文本數(shù)據(jù)作出的眾多因果推理之一。文本數(shù)據(jù)還可以編碼 outcome 或感興趣的 treatment。例如，我們可能想知道被感知到的性別如何影響到一個帖子所收到的回復(fù)的情緒（text as outcome），或者一種寫作風(fēng)格如何影響到一個帖子所收到的贊（text as treatment）？

NLP 有助于因果推理。文本數(shù)據(jù)的因果推理涉及幾個不同于典型因果推理的挑戰(zhàn)：文本是高維的，需要復(fù)雜的建模來衡量語義上有意義的因素，如主題，而且需要仔細(xì)思考，以形式化因果問題對應(yīng)的干預(yù)。從主題模型到上下文嵌入，NLP 在建模語言方面的發(fā)展為從文本中提取所需信息以估計因果效應(yīng)提供了有前景的方法。然而，我們需要新的假設(shè)，以確保 NLP 方法的使用能夠帶來有效的因果推理。作者在論文的第三部分討論了從文本中估計因果效應(yīng)的現(xiàn)有研究，并指出了其中的挑戰(zhàn)和機(jī)遇。

例 2. 一家醫(yī)學(xué)研究中心想要構(gòu)建一個分類器，用于從病人醫(yī)療記錄的文本敘述中檢測臨床診斷。這些記錄匯總在多個醫(yī)院站點(diǎn)，目標(biāo)臨床狀況的頻率和敘述的寫作風(fēng)格都有所不同。當(dāng)分類器應(yīng)用于訓(xùn)練集之外的站點(diǎn)的記錄時，它的準(zhǔn)確率會下降。事后分析表明，這個分類器在看起來不相關(guān)的特性上投入了很高的權(quán)重，比如格式標(biāo)記。

和例 1 一樣，例 2 也涉及到一個反事實(shí)問題：如果我們改變醫(yī)院站點(diǎn)，同時保持真實(shí)的臨床狀態(tài)不變，分類器的預(yù)測是否會改變？我們希望分類器依靠那些表達(dá)臨床狀況的短語來作出判斷，而不是寫作風(fēng)格。然而，在訓(xùn)練數(shù)據(jù)中，由于站點(diǎn)成了混淆變量，臨床狀況和寫作風(fēng)格之間就有了虛假的相關(guān)性：例如，某個站點(diǎn)可能由于它自身的位置或特殊性而更容易遇到目標(biāo)臨床條件，也可能使用獨(dú)特的文本特征，如在每個敘述的開頭使用樣板文本。在訓(xùn)練集中，這些特征將影響標(biāo)簽的預(yù)測，但它們不太可能在新站點(diǎn)的部署場景中有用。在本例中，醫(yī)院站點(diǎn)就像一個干擾因子：它在文本的某些特征和預(yù)測目標(biāo)之間建立了虛假的相關(guān)性。

例 2 顯示了缺乏穩(wěn)健性是如何降低 NLP 方法可靠性的。一個相關(guān)的問題是，NLP 系統(tǒng)通常是黑盒，這讓我們很難理解人類可解釋的文本特征如何導(dǎo)致觀測到的預(yù)測。在這種設(shè)置中，我們想知道文本的某些部分（例如一些 token 序列）是否導(dǎo)致了 NLP 方法的輸出（例如分類預(yù)測）。

因果推理可以幫助 NLP。為了解決 NLP 方法的穩(wěn)健性和可解釋性問題，我們需要新的標(biāo)準(zhǔn)來學(xué)習(xí)不只會利用相關(guān)性的模型。例如，我們希望預(yù)測器在我們對本文稍作更改時保持不變，例如在保持 ground truth 標(biāo)簽不變的情況下更改格式。

利用因果來發(fā)展新的準(zhǔn)則，為建立可靠、可解釋的自然語言處理方法提供服務(wù)，這是相當(dāng)有希望的。在論文的第 4 部分，研究者概述了現(xiàn)有的研究，并列舉了使用因果推理來促進(jìn)自然語言處理研究的挑戰(zhàn)和機(jī)遇。

以下是該論文的完整目錄：

更多細(xì)節(jié)請參考論文。