為什么交叉熵和KL散度在作為損失函數(shù)時是近似相等的

來源：DeepHub IMBA

在這里我們將要驗證為什么最小化交叉熵而不是使用 KL 散度會得到相同的輸出。所以我們首先從正態(tài)分布中抽取兩個概率分布 p 和 q。如圖 1 所示，兩種分布都不同，但是它們共享一個事實，即兩者都是從正態(tài)分布中采樣的。

熵是系統(tǒng)不確定性的度量。直觀地說它是從系統(tǒng)中消除不確定性所需的信息量。系統(tǒng)各種狀態(tài)的概率分布 p 的熵可以計算如下：

交叉熵是指存在于兩個概率分布之間的信息量。在這種情況下，分布 p 和 q 的交叉熵可以表述如下：

兩個概率分布之間的散度是它們之間存在的距離的度量。概率分布 p 和 q 的KL散度（ KL-Divergence ）可以通過以下等式測量：

其中方程右側(cè)的第一項是分布 p 的熵，第二項是分布 q 對 p 的期望。在大多數(shù)實際應用中，p 是實際數(shù)據(jù)/測量值，而 q 是假設分布。對于 GAN，p 是真實圖像的概率分布，而 q 是生成的假圖像的概率分布。

現(xiàn)在讓我們驗證 KL 散度確實與使用交叉熵分布 p 和 q 相同。我們分別在 python 中計算熵、交叉熵和 KL 散度。

右側(cè)的第二項，即分布 p 的熵可以被認為是一個常數(shù)，常數(shù)的導數(shù)是0，對反向傳播不會有影響。因此我們可以得出結論，最小化交叉熵代替 KL 散度會出現(xiàn)相同的輸出，因此可以近似相等。

在本文中，我們了解了熵、交叉熵和 kl-散度的概念。然后我們回答了為什么這兩個術語在深度學習應用程序中經(jīng)常互換使用。我們還在 python 中實現(xiàn)并驗證了這些概念。完整代碼參考這個地址： https://github.com/azad-academy/kl_cross_entropy.git
引用:[1] Goodfellow, I. et al., Generative adversarial nets. In Advances in  neural information processing systems. pp. 2672–2680, 2014[2]https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence
作者：J. Rafid S., PhD