博客專欄

        EEPW首頁(yè) > 博客 > 因果推斷入門:為什么需要因果推斷?(4)

        因果推斷入門:為什么需要因果推斷?(4)

        發(fā)布人:數(shù)據(jù)派THU 時(shí)間:2022-09-18 來源:工程師 發(fā)布文章

        4、因果模型、do算子、干預(yù)


        4.1 do算子和干預(yù)


        在概率中,我們有以... 為條件的概念(condition on),但這與干預(yù)不同。以  為條件僅意味著我們將關(guān)注點(diǎn)限制在 整體人群中接受 treatment=t 的這一部分人群。相比之下,干預(yù) intervention 是讓整體人群都接受 treatment=t,而不管觀察到的其本身的 treatment 是否為 t。通常用 do 算子表示干預(yù)操作,即讓整體人群都接受 treatment=t 等價(jià)于 。可以對(duì)照?qǐng)D 4.2 加深理解,subpopulations 表示觀察到的數(shù)據(jù)中藍(lán)色部分是 T=0 的集合,紅色部分是 T=1 的集合。Conditioning 表示我們只關(guān)注其中的藍(lán)色部分或紅色部分。do(T=1) 是指讓本身 T=0 的藍(lán)色部分也變成 T=0,即紅色。


        圖片

        還記得第二章講的潛在結(jié)果 potential outcome 嗎, 和  是等價(jià)的。 的分布可以寫成:


        圖片
        平均因果效應(yīng) ATE 就可以寫成如下形式:
        圖片
        我們更關(guān)心  而非其均值,有了概率分布,期望自然就求出來了。我們將  及其他包含 do 算子的概率分布統(tǒng)稱為干預(yù)分布 interventional distributions.。
        干預(yù)分布  和觀察分布 observational distribution  有本質(zhì)的區(qū)別。觀察分布  或  中沒有 do 算子,所以我們可以從觀察到的數(shù)據(jù)中直接求得而不需要做任何額外的實(shí)驗(yàn)。如果可以將包含 do 算子的表達(dá)式 Q 化簡(jiǎn)成不包含 do 的形式,那么 Q 就是可識(shí)別 identi?able 的。
        不論何時(shí),每當(dāng) do 算子出現(xiàn)在“|”之后,都意味著該表達(dá)式中的一切都在干預(yù)措施發(fā)生后(即 post-intervention)的情況下得到的。例如  表示在  這個(gè) subset 中讓其中所有個(gè)體的 treatment 都等于 t 后 Y 的期望。相反, 表示在  這個(gè) subset 中被干預(yù)之前(i.e. pre-intervention)的期望。這兩者的區(qū)別對(duì)之后要介紹的反事實(shí)非常重要。 

        4.2 Modularity模塊化假設(shè)


        在介紹這個(gè)非常重要的假設(shè)之前,我們必須指定因果機(jī)制是什么。有幾種不同的方法可以考慮因果機(jī)制。在本節(jié)中,我們將產(chǎn)生  的因果機(jī)制指定為  的條件概率分布 。正如圖 4.3 所示,產(chǎn)生  的因果機(jī)制是所有  的父節(jié)點(diǎn)及其指向  的邊。  


        圖片

        模塊化假設(shè)是指:假設(shè)對(duì)變量  干預(yù)只會(huì)改變  的因果機(jī)制,只局限在圖中橢圓內(nèi),不會(huì)改變生成任何其他變量的因果機(jī)制。從這個(gè)意義上講,因果機(jī)制是模塊化的。模塊化假設(shè)的明確定義如下:    


        圖片
        如果對(duì)節(jié)點(diǎn)集合 S 進(jìn)行干預(yù),將其中的變量設(shè)為常數(shù),對(duì)于任意節(jié)點(diǎn) i:

        • 如果節(jié)點(diǎn) i 不在集合 S 中,那么其條件概率分布保持不變

        • 如果節(jié)點(diǎn) i 在集合 S 中,如果  是變量  被干預(yù)后指定的值,那么  一定為 1,否則為 0。


        第二點(diǎn)也可以說,如果  和干預(yù)一致(  is consistent with the intervention )( 等于  被干預(yù)后的值),則    
        模塊化假設(shè)允許我們只在一個(gè)圖中就可以 encode 不同的干預(yù)分布。例如
        圖片
        這三種完全不同的分布,都可以用表示聯(lián)合概率分布  的圖來表示,除了涉及到干預(yù)的 factor,其他的 factor 都是一樣的。
        干預(yù)分布的因果圖與用于聯(lián)合分布的圖相同,只不過是移除了指向干預(yù)節(jié)點(diǎn)的所有邊:這是因?yàn)楸桓深A(yù)節(jié)點(diǎn)的條件概率分布  已經(jīng)是 1 了,因此我們可以忽略該 factor。另一種解釋是既然干預(yù)節(jié)點(diǎn)已經(jīng)設(shè)置為常數(shù),那么它必然不會(huì)受到父節(jié)點(diǎn)的影響,因此可以去掉之間的因果關(guān)系。刪掉邊的圖稱為 manipulated graph。以圖 4.4 為例,對(duì) T 干預(yù)對(duì)應(yīng) (b),對(duì)  干預(yù)對(duì)應(yīng) (c).  
        圖片

        4.3 截?cái)嘁蚴椒纸?/span>


        回顧下貝葉斯網(wǎng)路中聯(lián)合概率分布的分解形式:
        圖片


        現(xiàn)在對(duì)節(jié)點(diǎn)集合S進(jìn)行干預(yù),對(duì)于  和干預(yù)前的值保持一樣。對(duì)于 ,因此,干預(yù)后的概率分布可以表示為(截?cái)嘁蚴椒纸猓?/span>

            

        圖片

        4.3.1 Example


        圖片
        以最簡(jiǎn)單的有 confounder 存在的因果圖為例,聯(lián)合概率分布可以表示為:
        圖片
        對(duì) T 進(jìn)行干預(yù)后,,則:
        圖片
        y 的邊緣概率分布為:
        圖片
        通過比較干預(yù)分布和正常的條件概率分布的差別,可以更深刻地理解為什么“關(guān)聯(lián)不是因果”
        圖片
        可以看到,Eq(2) 和 Eq(1) 的差別在于一個(gè)是  一個(gè)是。將這個(gè)例子更簡(jiǎn)化一些,假設(shè) T 是一個(gè)二值的變量,我們想計(jì)算 ATE。因?yàn)?nbsp; 就是 potentialoutcome  的概率分布,因此可以通過求期望得到 ,同理得到 ,因此平均因果效應(yīng) ATE 就可以寫成:      
        圖片
        如果將 Eq(1) 代入,則 ATE 可以完全寫成概率的形式,表達(dá)式中不包括 do,可以通過觀察數(shù)據(jù)得到,這樣 ATE 就是 identified。我們?cè)谙乱恍」?jié)會(huì)更形式化的描述這一過程。

        4.4 后門調(diào)整


        4.4.1 后門路徑


        圖片

        以上圖為例,回顧第三章,從 T 到 Y 存在兩種 association,其中一種是  的因果關(guān)聯(lián),另一種是  和  的非因果關(guān)聯(lián),也稱這兩條路徑是 unblocked(因?yàn)槎际遣娼Y(jié)構(gòu),且沒有 condition on)。后門路徑的含義就是,如果一條從 T 到 Y 的路徑是 unblocked,且有指向 T 的邊(即  ),則稱這條路徑是后門路徑。為什么叫后門呢,因?yàn)楸旧磉@條路徑是沒有從 T 到 Y 的有向邊的,但是因?yàn)橛幸粭l指向 T 的邊,相當(dāng)于進(jìn)入了 T 的后門,這條路徑就被打通了。


        圖片圖片
        此時(shí)如果我們對(duì) T 干預(yù),則任何指向 T 的邊都會(huì)被去掉,后門路徑就被阻斷了,T和 Y 之間就只剩因果關(guān)聯(lián)了。
        如果 condition on W1, W2, W3 和 C,同樣也會(huì)阻斷后門路徑。

        4.4.2 后門準(zhǔn)則,后門調(diào)整
        如果我們想將  完全寫成概率的形式,則需要假設(shè) W 滿足后門準(zhǔn)則。


        對(duì)于 T 和 Y,如果下面條件為 True 的話,變量集合 W 則滿足后門準(zhǔn)則:


        1. condition on W 可以阻斷 T 和 Y 之間的所有后門路徑

        2. W 不包括 T 的所有子孫節(jié)點(diǎn)


        圖片
        將 W 引入到  中,可以得到


        圖片
        為什么 ,可以這樣想一下。 對(duì)應(yīng)的圖中,因?yàn)閷?duì) T 進(jìn)行干預(yù),所有指向 T 的邊都被刪掉,因此,所有的后門路徑都被 block 了,T 和 Y 之間只有沿著  的有向路徑有關(guān)聯(lián)流(因果關(guān)系)。在  對(duì)應(yīng)的圖中,因?yàn)?condition on W,所有后門路徑也沒 block了,T 和 Y 之間也只有沿著有向路徑的關(guān)聯(lián)流。在這兩種情況中,關(guān)聯(lián)流只沿著有向路徑流動(dòng),因此對(duì)應(yīng)著相同的條件概率分布。 
        因?yàn)闆]有指向 T 的邊,T 沒法對(duì) W 造成影響,所以 ,因此上式可以繼續(xù)寫成:
        圖片
        這就是后門調(diào)整公式。
        圖片
        圖片

        4.4.3 Relation to Potential Outcomes


        還記得第二章介紹過的調(diào)整公式嗎:
        圖片


        既然都叫調(diào)整公式,后門調(diào)整和 Eq(3) 有什么聯(lián)系嗎?對(duì)干預(yù)后的 Y 求期望:
        圖片
        把 T=1 和 T=0 代入得:
        圖片
        可以看到 eq(4) 和 eq(3) 是相等的, 是 potential outcome  的另一種表示形式。當(dāng)然,eq(3) 成立也有個(gè)前提是 conditional exchangeability:
        圖片


        4.5 結(jié)構(gòu)因果模型


        本節(jié)我們將從因果圖模型轉(zhuǎn)到結(jié)構(gòu)因果模型。相比于比較直觀的圖模型,結(jié)構(gòu)因果模型可以更詳細(xì)清晰的解釋什么是干預(yù)和因果機(jī)制。

        4.5.1 結(jié)構(gòu)等式


        Judea Pearls 說過,數(shù)學(xué)中的“=”不包含任何因果信息, 和  表示的都是同一個(gè)意思,“=”是對(duì)稱的。但是為了表達(dá)因果,需要有一個(gè)非對(duì)稱的符號(hào)。如果 A 是 B 的原因,那么改變 A 一定會(huì)改變 B,但是反之不成立,我們可以用結(jié)構(gòu)等式 structural equation 來表示:

             

        圖片
        這里將“=”替換成”:=“。但是,B 和 A 之間的映射是確定性的。理想情況下,我們希望它是概率性的,為一些未知因素留出空間。因此可以寫成下面這樣:
        圖片
        其中,U 是為觀察到的隨機(jī)變量,在圖中用虛線表示,未觀察到的 U 類似于我們通過抽樣個(gè)體看到的隨機(jī)性;它表示確定 B 的所有相關(guān)(嘈雜)背景條件。f 的函數(shù)形式不需要指定,當(dāng)不指定時(shí),我們處于非參數(shù)狀態(tài),因?yàn)槲覀儧]有對(duì)參數(shù)形式做出任何假設(shè)。雖然映射是確定性的,但由于它以隨機(jī)變量 U(“噪聲”或“背景條件”變量)作為輸入,它可以表示任何隨機(jī)映射,因此結(jié)構(gòu)方程是  的推廣形式。因此,當(dāng)我們引入結(jié)構(gòu)方程后,截?cái)喾纸夂秃箝T調(diào)整仍然成立。


        圖片

        有了結(jié)構(gòu)等式后,我們可以更詳細(xì)的定義原因和因果機(jī)制。生成變量的因果機(jī)制是與該變量相對(duì)應(yīng)的結(jié)構(gòu)方程。例如,生成 B 的因果機(jī)制是 Eq(5)。類似的,如果 X 出現(xiàn)在結(jié)構(gòu)等式的右邊,則 X 是 Y 的直接原因。
        圖片
        圖 4.8 更復(fù)雜的結(jié)構(gòu)等式如下:
        圖片
        在因果圖中,噪聲變量通常是隱式的(虛線),而不是明確繪制的。我們寫結(jié)構(gòu)方程時(shí)已知的變量稱為內(nèi)生(endogenous)變量, 這些是我們正在建模因果機(jī)制的變量 - 在因果圖中具有父母的變量。相反,外生(exogenous)變量是因果圖中沒有任何父母的變量。這些變量是我們因果模型外部的,因?yàn)槲覀儧]有為其建模因果機(jī)制。例如,在圖 4.8 描述的因果模型中,內(nèi)生變量為 。外源變量為 
        結(jié)構(gòu)因果模型 SCM 定義如下,包含一組內(nèi)生變量,一組外生變量,一組生成內(nèi)生變量的函數(shù):
        圖片

        4.5.2 干預(yù)


        從 SCM 的角度來描述干預(yù)會(huì)非常簡(jiǎn)單。對(duì) T 進(jìn)行干預(yù)  相當(dāng)于將 T 的結(jié)構(gòu)等式替換成 。例如,圖 4.9 對(duì)應(yīng)的 SCM 為:


        圖片圖片
        如果對(duì) T 干預(yù),讓其等于 t,那么干預(yù)后的 SCM 則為:
        圖片圖片
        可以發(fā)現(xiàn),除了 T 本身的結(jié)構(gòu)等式,其他的等式都保持不變。這也是由模塊化假設(shè)決定的。
        圖片
        換句話說,干預(yù)操作是 localized。通過模塊化假設(shè),可以引出 Pearl 所說的反事實(shí)準(zhǔn)則。回顧下第二章潛在結(jié)果的概念, 指的是當(dāng) treatment=t 時(shí)個(gè)體 i 的潛在結(jié)果。這里我們換另一種記號(hào)表示,,其中 u 等價(jià)于 i。根據(jù)定義 4.3,反事實(shí)準(zhǔn)則指的就是干預(yù)之前 treatment=t 的潛在結(jié)果與干預(yù)之后  的潛在結(jié)果相等。
        圖片

        參考文獻(xiàn)


        [1] Brady Neal, Introduction to Causal Inference from a Machine Learning Perspective, 2020


        *博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀點(diǎn),如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。



        關(guān)鍵詞: AI

        相關(guān)推薦

        技術(shù)專區(qū)

        關(guān)閉
        主站蜘蛛池模板: 隆昌县| 屯昌县| 临朐县| 池州市| 肇庆市| 浦江县| 公主岭市| 潞城市| 东莞市| 潢川县| 巧家县| 卢湾区| 堆龙德庆县| 安岳县| 互助| 宜昌市| 琼海市| 连云港市| 阆中市| 呈贡县| 广南县| 皮山县| 肃南| 玉树县| 辽中县| 盐池县| 三原县| 开阳县| 惠水县| 湖口县| 黔南| 沐川县| 山东| 菏泽市| 甘谷县| 寿光市| 襄城县| 同仁县| 甘德县| 吴堡县| 静宁县|