NeurIPS 2022 | 一窺人工智能大一統與理論研究的最新進展（2）

人工智能理論

Theory

05

組合多臂老虎機在隨機觸發臂或獨立臂場景下與最大觸發臂數量無關的損失分析

論文鏈接：

https://www.microsoft.com/en-us/research/publication/batch-size-independent-regret-bounds-for-combinatorial-semi-bandits-with-probabilistically-triggered-arms-or-independent-arms/

組合多臂老虎機（combinatorial multi-armed bandit）將傳統的組合優化和在線學習相結合，通過在線反饋機制不斷改進模型的優化效果。其應用涵蓋推薦系統、在線廣告、社交網絡、無線網絡等多個領域。在本文中，研究員們通過方差分析的方法降低了每個時刻可能被激活的臂數 K 對算法所承受損失的影響。

值得注意的是，研究員們找到了一種全新的光滑條件，稱為概率激活方差調節（TPVM）條件。首先，TPVM 被證明和既有的光滑條件在多數實際應用場景下（如在線廣告、社交網絡等）同樣成立。其次，通過 TPVM 條件，研究員們得以對帶概率和無概率激活臂的模型分別設計基于方差分析的新型算法，即 BCUCB-T 和 SESCB。在帶概率激活臂的模型下，BCUCB-T 算法可以將 K 對損失的影響從此前的 O(K) 降低為 O(log^2 K)或 O(log K)。而在無概率激活臂的模型下，SESCB 則將損失上界由此前的 O(log K)降低至 O(1)。最后，仿真實驗結果表明，研究員們所提出的算法在很多實際應用場景中都能超越現有算法的效果。

圖5：帶概率激活臂的 CMAB 模型下本文結果與此前結果對比圖

06

動量會改變優化器在可分數據上的隱式正則嗎？ 

論文鏈接：

https://www.microsoft.com/en-us/research/publication/does-momentum-change-the-implicit-regularization-on-separable-data/

為提升訓練速度，深度學習中的優化器廣泛采用動量加速技術。然而，目前學界仍未能厘清動量是如何影響深度學習模型的泛化能力的。本文從動量加速技術的隱式正則效應切入，探究了其對泛化能力的影響。尤其是，本文證明了在對線性可分數據上，帶動量的梯度下降法收斂到的點是 L^2 最大間隔問題的解 (L^2 max-margin solution)，與不使用動量的梯度下降法相同。這意味著帶動量的梯度下降法將收斂到一個低復雜度的模型，從而保證了模型的泛化性質。

本文更進一步分析了動量梯度下降法帶隨機性和帶自適應學習率的變種(即隨機動量梯度下降法和確定性 Adam 算法)，證明了它們也會收斂到 L^2 最大間隔問題的解。這首次證明了隨機動量梯度下降法在仿射噪聲假設下，將收斂到駐點。這一假設相比現有研究中有界方差噪聲的假設，適用范圍更為廣泛。與此同時，多個場景的數值實驗驗證了該理論結果，請查看論文原文了解更多細節。

圖6：論文《動量會改變優化器在可分數據上的隱式正則嗎？》的結果展示圖

07

穩定的神經元響應會提升模型泛化性能

論文鏈接：

https://www.microsoft.com/en-us/research/publication/neuron-with-steady-response-leads-to-better-generalization/

如何提高模型的泛化性能，一直是機器學習和深度學習的核心問題之一。隨著深度學習的不斷發展，各種各樣的網絡結構被應用在多種不同的任務中。能否探尋到統攝不同任務和網格結構的本質共性來提高多種網絡的泛化性能，是本文的研究切入點。

研究員們從神經元級別的細粒度出發，仔細分析了單個神經元在神經網絡訓練和測試中的響應特性，發現提升神經元對同類輸入樣本響應的穩定性能夠有效地提高神經網絡的泛化性能。據此，研究員們設計出了一種通用的正則項，用于控制神經元在激活狀態下響應的類內方差，并進一步分析了將此正則項應用在不同層神經元所帶來的效果差異。該正則項簡單高效，能在不同領域的多個數據集（ImageNet, CIFAR10, PubMed, WikiCS)以及多種網絡結構 (MLP, CNN, GNN)上普遍地提升模型的泛化性能。

圖7：MLP 模型在 MNIST 數據集上的訓練過程圖。其中，紅線表示原始模型的訓練曲線，藍線是加入全新正則化技術后的新模型訓練曲線。最右的圖片顯示，在原始模型中，神經元對同類樣本響應的方差會隨著訓練不斷增大，而研究員們所提出的正則化技術能夠大幅降低神經元響應的類內方差。相應地，原始模型的訓練損失雖然比新模型要低（見第二幅圖），但新模型在測試集上的識別準確率卻比原始模型有顯著提高（見第一幅圖），因此研究員們所提出的正則化技術有效地提高了模型的泛化性能。

08

等級強化學習：悲觀面對不確定性與“常數regret”

論文鏈接：

https://www.microsoft.com/en-us/research/publication/tiered-reinforcement-learning-pessimism-in-the-face-of-uncertainty-and-constant-regret/

強化學習（RL）在許多用戶交互型應用中都取得了成功，比如醫療領域、推薦系統等。其中，病人/客戶扮演的是環境的角色，治療方案/推薦算法則是強化學習中的決策，其具體做法就是部署決策、收集數據、并用強化學習算法提升直到接近最優。

由于訓練過程中算法不可避免地會給用戶提供錯誤的決策，但不同的用戶對于承擔或接收決策錯誤所造成的損失的能力也不同，故需具體情況具體分析。然而，現有框架忽略了決策錯誤對個體用戶影響的特殊性。因此，研究員們提出了“等級強化學習（Tiered RL）”的新框架，其根據風險的承受能力對用戶進行等級區分，承受能力越弱等級越高。

在對 gap 不做假設的情況下，研究員們證明了與 online setting 相同的 O(√(SAH^3 K)) 的極小化極大下界（minimax-lower bound），揭示了一般情形下這個問題的困難度。在引入最小 gap 假設的 gap-dependent setting 中，研究員們設計了新的算法，在保證低等級用戶的“regret”仍然是最優的前提下，高等級用戶承擔的“regret 與交互次數 K 無關，打破了普通 online learning 的 O(log K) 下界，從而證明了新框架和算法的優越性。

圖8：等級強化學習（Tiered RL）框架圖