神經網絡是怎樣理解圖片的？谷歌大腦研究員詳解特征可視化

　　我們總是聽說人工智能在圖像識別上超越了人類，刷臉也逐漸成了生活中司空見慣的事兒。這些圖像識別技術背后，通常是深度神經網絡。

　　不過，神經網絡究竟是怎樣認識圖像的?

　　△特征可視化能夠告訴我們神經網絡在圖片中尋找的是什么

　　特征可視化這個強大的工具，就能幫我們理解神經網絡內部的世界，知道它們的工作原理。

　　谷歌研究員Christopher Olah、Alexander Mordvintsev和Ludwig Schubert今天在distill博客上發文深度探索了特征可視化這個問題，并順便介紹了一些新trick。

　　distill.pub是Olah等人今年3月推出的機器學習網站，會不定期發表文章，以可視化、可交互的方式來展示機器學習研究成果。

　　原文地址：https://distill.pub/2017/feature-visualization/。其中包含大量可交互的示例圖片。

　　下面，量子位對這篇文章做個簡要的介紹：

　　在2015年谷歌推出的DeepDream基礎上，經過AI研究界后來的共同努力，現在，計算機視覺模型中每一層所檢測的東西都可以可視化出來。經過在一層層神經網絡中的傳遞，會逐漸對圖片進行抽象：先探測邊緣，然后用這些邊緣來檢測紋理，再用紋理檢測模式，用模式檢測物體的部分……

　　上面是ImageNet訓練的GoogLeNet的特征可視化圖，我們可以從中看出它的每一層是如何對圖片進行抽象的。

　　在神經網絡處理圖像的過程中，單個的神經元是不能理解任何東西的，它們需要協作。所以，我們也需要理解它們彼此之間如何交互。

　　通過在神經元之間插值，我們可以更好地理解他們是如何彼此交互的。下圖就展示了兩個神經元是如何共同表示圖像的。

　　Distill原文中的這個例子，能夠動手探索不同神經元組合在一起會得到什么結果。

　　當然，這篇文章還介紹了一些特征可視化的trick。

　　在進行特征可視化時，得到的結果通常會布滿噪點和無意義的高頻圖案。這些高頻圖案似乎和strided convolution或者池化關系密切。

　　△反向傳播時，每次strided convolution或池化都會在梯度幅值上創建棋盤格圖案

　　我們想更好地理解神經網絡模型是如何工作的，就要避開這些高頻圖案。這時所用的方法是進行預先規則化，或者說約束。改變梯度也是一種方法，這種優化方法稱為預處理(preconditioning)。

　　當然，了解神經網絡內部的工作原理，也是增強人工智能可解釋性的一種途徑，而特征可視化正是其中一個很有潛力的研究方向，谷歌的幾位研究員將其視為幫人類理解神經網絡的一個基礎模塊，可以與其他工具結合使用。