給GNN一堆數據，它自己發現了萬有引力定律

如果牛頓沒被蘋果砸中，GNN 和符號回歸也能發現萬有引力定律？

機器學習 (ML) 推動了科學的巨大進步，從粒子物理學到結構生物學再到宇宙學，機器學習能夠在大型數據集中學習特征，對不同的對象進行分類，并執行參數推斷，以及更具開創性的應用，例如自回歸語言模型、預測蛋白質結構，以及蛋白質功能預測。
機器學習強大的學習能力，我們不禁會問，機器學習能否僅僅通過觀察我們的太陽系來重新發現萬有引力定律？
牛頓的萬有引力定律指出，兩個質點彼此之間相互吸引的作用力，是與它們的質量乘積成正比，并與它們之間的距離成平方反比。它是經典力學的一部分，是在 1687 年于《自然哲學的數學原理》中首次發表的，并于 1687 年 7 月 5 日首次出版。

近日來自薩塞克斯大學、倫敦大學學院等機構的研究者在論文《 Rediscovering orbital mechanics with machine learning 》中對上述問題進行的解答，他們的回答是：可以。

論文作者之一 Miles Cranmer 推特截圖
具體而言，該研究提出了一種采用機器學習方法，通過觀察自動發現實際物理系統的控制方程和隱藏屬性。研究者訓練了一個圖神經網絡，通過 30 年的軌跡數據來模擬太陽系的太陽、行星和大型衛星的動力學。然后，他們使用符號回歸來發現神經網絡隱式學習的力學定律解析表達式，結果表明表達式等效于牛頓萬有引力定律。

論文地址：https://arxiv.org/pdf/2202.02306.pdf
該研究分為兩個階段：第一階段的學習模擬器基于圖網絡 (GN)，圖網絡是一種深度神經網絡，可以通過訓練來逼近圖上的復雜函數。在這里，太陽系的太陽、行星和衛星的（相對）位置和速度被表示為輸入圖的節點，而天體之間可能的物理交互（例如力）被表示為圖的邊。該研究將基于 GN 的模擬器與 30 年來觀測到的太陽系軌跡進行了擬合。
在第二階段，該研究分離邊函數（edge function），并應用符號回歸擬合邊函數的解析公式，其最好的擬合是對牛頓萬有引力定律的擬合。然后，該研究使用已發現的方程重新擬合未觀察到的（相對）天體質量，并找到了與天體真實質量幾乎完美的擬合。之后研究者可以使用發現的方程和重新學習的質量來模擬太陽系動力學，并獲得與真實觀察到的軌跡非常接近的對應關系。
下圖為太陽、水星、金星、地球和火星的示意圖，以及學習模擬器使用的相應圖結構。圖的節點代表天體，邊的亮度與它們之間的引力相互作用的強度成正比。 

數據與模型
數據：符號回歸研究歷來都專注于玩具（toy）模擬，但是現實世界的數據充滿了混亂，包括噪音、信息丟失、未知的物理常數等。因此該研究直接從對太陽系的觀察中重新發現軌道力學。
該研究基于 NASA Horizons 的星歷表 （Ephemeris）數據開發了一個訓練數據集，數據集包括太陽系中質量超過 10^18 kg 的 31 個天體：太陽、行星、冥王星和一系列衛星。訓練數據來自 1980 年到 2010 年的 30 年期間的數據，驗證集來自 2010-2013 年的數據。
模型：模型是基于 Battaglia 等人在 2018 年提出的交互網絡（Interaction Network）的圖神經網絡 (GNN)。GNN 非常適合物理數據集：它們通過消息傳遞顯式地處理對象（節點）之間的交互，并允許研究者輕松地將對稱（如置換、平移和旋轉等）嵌入到網絡中。
GNN 的唯一輸入是天體在給定時刻的位置和速度，以及學習參數。通過訓練 GNN 來預測每個天體的加速度，模擬系統的動力學，以及天體的質量。

蒸餾符號規則
接下來，研究者希望找出 GNN 實際學會了哪些規則來預測這些動態。將模型壓縮為一組符號規則也可以提高泛化能力。
為此，該研究使用符號回歸擬合 GNN 消息傳遞模塊的輸入和輸出。符號回歸是一種機器學習算法，可搜索數百萬個符號表達式以擬合數據。該研究使用 PySR 算法 (Cranmer, 2022) 來完成這項任務，其中用到了一種進化算法。
下圖是從已經過學習的模擬器中發現的符號表達式，從中可以發現所有情況下輸出變量都是 F_x，

更復雜的表達式能更準確地逼近 GNN 的內部函數。然而，人們總是可以在一個簡單的表達式中添加其他項來提高它的準確性，所以簡單性和準確性是可以權衡的。該研究使用與 Cranmer 等人 (2020) 相同的分數，成功地模擬了牛頓的萬有引力定律（如上圖藍綠色所示）。
然后研究者把這個已模擬的規律，放回 GNN 的消息傳遞模塊中，得到的模擬效果如下：

顯然，性能變好了一些，但仍然不完美，為什么？
為了解決這個問題，研究者首先比較了每個天體的算法估計質量與真實質量（歸一化到太陽的質量范圍內）：

與每個天體的真實質量相比，模型估計的質量偏差很大，有時甚至相差幾個數量級。
雖然 GNN 中的消息傳遞函數能夠很好地近似牛頓萬有引力定律，但并不能完全精準地擬合。神經網絡可以高度學習非線性函數，但這些質量參數可能對 GNN 來說是良好輸入，卻不是 GNN 符號版本的最佳輸入。
因此，該研究決定通過固定的符號表達式重新擬合質量參數，這種改進確實產生了更好的效果：

此時，模型重新估計的天體質量和真實質量的比較結果如下圖所示：

改進之后，模型估計的天體質量幾乎完全匹配真實質量。為了解釋這一點，研究者認為需要做的是證明該算法的有效性。
我們知道，天體的質量只影響它對其他天體的引力，例如如果地球變成兩倍大，月球軌道會受到很大影響，但地球環繞太陽的軌道會保持不變。對于像 Phoebe、Hyperion 和 Nereid 這樣的天體，由于它們是非常小的衛星，對其他天體軌跡的影響可以忽略不計。因此，只要它們的質量很小就不會以任何方式影響系統。為了證實這一理論，研究者估計了每個天體對其他天體的引力影響，并聯合質量估計的誤差作圖。

從上圖可以發現，兩者之間存在明顯的負相關，這意味著一個天體對其他天體的引力影響越小，質量估計的效果就越差。這也就解釋了該算法如何一步步地成功學習了萬有引力定律和預估天體質量。
原文鏈接：https://astroautomata.com/paper/rediscovering-gravity/