為什么交叉熵和KL散度在作為損失函數(shù)時是近似相等的

來源：DeepHub IMBA

在這里我們將要驗證為什么最小化交叉熵而不是使用 KL 散度會得到相同的輸出。所以我們首先從正態(tài)分布中抽取兩個概率分布 p 和 q。如圖 1 所示，兩種分布都不同，但是它們共享一個事實，即兩者都是從正態(tài)分布中采樣的。

熵是系統(tǒng)不確定性的度量。直觀地說它是從系統(tǒng)中消除不確定性所需的信息量。系統(tǒng)各種狀態(tài)的概率分布 p 的熵可以計算如下：

交叉熵是指存在于兩個概率分布之間的信息量。在這種情況下，分布 p 和 q 的交叉熵可以表述如下：

兩個概率分布之間的散度是它們之間存在的距離的度量。概率分布 p 和 q 的KL散度（ KL-Divergence ）可以通過以下等式測量：

其中方程右側的第一項是分布 p 的熵，第二項是分布 q 對 p 的期望。在大多數(shù)實際應用中，p 是實際數(shù)據(jù)/測量值，而 q 是假設分布。對于 GAN，p 是真實圖像的概率分布，而 q 是生成的假圖像的概率分布。

現(xiàn)在讓我們驗證 KL 散度確實與使用交叉熵分布 p 和 q 相同。我們分別在 python 中計算熵、交叉熵和 KL 散度。

右側的第二項，即分布 p 的熵可以被認為是一個常數(shù)，常數(shù)的導數(shù)是0，對反向傳播不會有影響。因此我們可以得出結論，最小化交叉熵代替 KL 散度會出現(xiàn)相同的輸出，因此可以近似相等。

在本文中，我們了解了熵、交叉熵和 kl-散度的概念。然后我們回答了為什么這兩個術語在深度學習應用程序中經常互換使用。我們還在 python 中實現(xiàn)并驗證了這些概念。完整代碼參考這個地址： https://github.com/azad-academy/kl_cross_entropy.git
引用:[1] Goodfellow, I. et al., Generative adversarial nets. In Advances in  neural information processing systems. pp. 2672–2680, 2014[2]https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence
作者：J. Rafid S., PhD