直覺有害！Facbook最新研究：易于解釋的神經元會誤導DNN的學習

　　編譯|蔣寶尚

　　關于AI是什么，學界和業界已經給出了非常多的定義，但是對于AI理解，探討尚不足。換句話說，計算機科學家解釋深度神經網絡（DNNs）的能力大大落后于我們利用其取得有用結果的能力。

　　當前理解深度神經網絡的常見做法是在單個神經元特性上“折騰”。例如，激活識別貓圖像的神經元，而關閉其他神經元的“控制變量法”。這種方法的學術術語叫做“類選擇性”。

　　由于直觀和易理解，“類選擇性”在學界廣泛應用。誠然，在訓練過程中，這類可解釋的神經元確實會“選擇性地”出現在各種不同任務網絡中。例如，預測產品評論的神經網絡，選擇性地含有識別積極或消極情緒的神經元。

　　那么，問題來了！這些易于解釋的神經元是深度神經網絡發揮作用所必須的么？

　　答案是：否。

　　這就像研究汽車尾氣和理解汽車速度推動力一樣，畢竟汽車尾氣和速度有關，但并不是汽車的動力。顯然，在此例子中，“類選擇”應該是發動機還是尾氣？這是個疑問句。

　　因此，在最新一篇論文中“SELECTIVITY CONSIDERED HARMFUL:EVALUATING THE CAUSAL IMPACT OF CLASS SELECTIVITY IN DNNS”，Facebook AI的研究人員經過研究，用證據斷言：即使神經元沒有“類選擇性”，深度神經網絡也能發揮作用。事實上，易于解釋的神經元會損害深度神經網絡的功能，甚至使網絡更容易受到隨機失真輸入的影響。

　　FB AI論文：類選擇性的因果影響。地址：https://arxiv.org/pdf/2003.01262.pdf

　　具體而言，研究人員開發了一種新的技術，在能夠直接控制DNN神經元的類別選擇性的情況下，得出了上述結論。

　　這個結論有助于證明，如果這些方法沒有經過嚴格的測試和驗證的話，用過度依賴基于直覺的方法來理解深度神經網絡會被誤導。

　　因此，為了充分理解人工智能系統，必須努力尋找不僅是直觀的，而且是以經驗為基礎的方法。

　　發現了什么？

　　類選擇雖然作為一種工具已經廣泛應用于深度神經網絡的可解釋性，但是易于解釋的神經元對于深度神經網絡的重要性的研究尚少。近期，雖然也有相關研究，但不同的研究報告得出了相互矛盾的結果，例如上述論文。

　　Facebook AI的研究員用一種操縱“類選擇性”的新方法解決了這個問題：當訓練網絡對圖像進行分類時，我們不僅指示網絡提高其分類圖像的能力，還增加了減少(或增加)其神經元中類選擇性數量的約束。

　　如上圖所示，研究員展示了在深度神經網絡中操縱神經元的類選擇性如何影響DNN正確分類圖像的能力（特別是對于在小規模ImageNet上訓練的ResNet18）。上圖中的每個點代表一個DNN。圓點的顏色代表了阻止或者鼓勵DNN神經元中類選擇性的程度。X軸表示DNN中神經元的平均類別選擇性，y軸表示DNN對圖像分類的精確度。

　　灰色點意味著中性，代表此類型中DNN中自然出現的類選擇性水平，將其用作比較分類精度的基線。

　　研究發現，通過不鼓勵類選擇性(藍點)，可以將測試準確率提高2%以上。相反，鼓勵類選擇性(紅點)會對DNN的圖像分類能力產生迅速的負面影響。此外，研究員還放大了數據的一個子集，更好地說明了減少和增加類選擇性的效果。

　　綜上，研究員使用一個單一參數控制研究類選擇性對網絡的重要性。改變這個參數可以改變鼓勵激活還是阻止激活容易解釋的神經元，以及改變到什么程度。這提供了一個單一的旋鈕（single knob），可以用它來操縱網絡中所有神經元的類選擇性。用這個旋鈕做了實驗，發現：

　　1、當阻止激活DNNs的類選擇性時，對性能的影響很小，在某些情況下甚至提高了性能。這些結果表明，盡管DNN在任務和模型中無處不在，但類選擇性并不是DNN功能的重要組成部分，有時甚至會對DNN功能產生負面影響。

　　2、當我們增加DNNs中的類選擇性時，我們發現對網絡性能有顯著的負面影響。這表明，類選擇性的存在并不能保證DNN將正常工作。

　　3、與研究環境相比，部署在現實世界中的DNN通常處理更多噪聲和更多失真的數據。例如，DNN在訓練過程中，可能會從維基百科上看到非常清晰的貓的圖像，而在現實世界中，DNN需要處理一張黑暗的、模糊的貓逃跑的圖像。此外，類選擇性的降低使得DNN對諸如模糊和噪聲之類的自然扭曲具有更強的魯棒性。有趣的是，降低類選擇性也使DNN更容易受到有針對性的攻擊，在這些攻擊中，圖像被有目的地篡改從而欺騙DNN。

　　這些結論之所以出人意料，有兩個原因：一是類選擇性已被廣泛用于理解DNN的功能，二是類選擇性在大多數DNN中是自然存在的。

　　研究人員的發現還表明，在沒有類選擇性操作的情況下，DNN自然會學習盡可能多的類選擇性，而不會對性能產生負面影響。

　　這引出了一個更深層次的問題，研究人員希望在未來的工作中回答這個問題：如果對于良好的性能不是必需的，為什么網絡要學習類選擇性？