DeepMind與Waymo合作提高AI精度 加速模型訓練

據美國科技媒體Venturebeat報道，谷歌的兩家兄弟公司——Waymo與DeepMind正在合作。他們最近在一篇博客文章中透露，雙方共同開發受進化生物啟發的技術。

Waymo解釋說，AI算法通過反復試驗和試錯來自我改進。模型被賦予一個任務，需要通過根據其收到的反饋，持續嘗試和調整，來學習如何完成任務。任務的完成情況很大程度上取決于訓練的方案，而尋找最合適的訓練方案經常是經驗豐富的研究人員和工程師的工作。他們精心挑選接受培訓的AI模型，剔除表現最差的模型并釋放資源，從零開始訓練新算法。

DeepMind在PBT（基于人口的訓練）中設計了一種勞動密集度較低的方法，該方法從隨機變量（超參數）生成的多個機器學習模型開始。模型定期進行評估，并以進化的方式互相競爭，從而表現不佳的模型會被“后代”取代（具有微量變異變量的表現更好的模型的副本）。PBT不需要從零開始重新訓練，因為每個后代都會繼承父網絡的狀態，并且整個訓練過程中會積極更新超參數。最終結果是，PBT可以將其大量資源用于訓練“好的”超參數值。

PBT并不完美——它傾向于優化當前，但并不考慮長期結果，這就不利于后期發展的AI模型。為了緩解這種情況，DeepMind的研究人員培訓了大量模型（“人口”）并創建稱為“利基”的子人口，其中算法只會跟他們自己子群中的模型競爭。

在最近數項研究中，DeepMind和Waymo已嘗試將PBT應用于行人、自行車和摩托車的識別任務，目的是調查算法是否進一步提升。最終，兩家公司希望訓練處一個AI模型，可以保持99%以上的總體障礙物識別率，并減少誤報。

Waymo表示，這些實驗為評估真實世界模型的穩健性提供了一個“現實的”框架，這反過來又為PBT的算法選擇競爭提供了依據。他們還稱，實驗還反應了用快速評估支持進化競爭的需求；PBT模型可以每15分鐘評估一次。

結果令人印象深刻。Waymo表示，PBT算法可以實現更好的精度，與手工調整的等效物相比，誤報率可以減少24%，而識別率仍舊維持在較高水平。此外，PBT算法還可以節省時間和資源。

Waymo稱，其已經將PBT直接納入Waymo的技術基礎架構，使得公司的研究人員都可以通過點擊按鈕來應用該算法。公司在博客中寫道：“PBT可以讓我們超越用于訓練神經網絡的更新規則，并向著能夠優化我們需要之功能的復雜指標。”