用語言建模世界：UC伯克利多模態世界模型利用語言預測未來（3）

研究者還展示了 Dynalang 能夠處理逼真的視覺觀察，并在 Habitat 中執行指令跟隨。智能體必須遵循自然語言指令，在家庭逼真掃描中導航到目標位置。在 Dynalang 中，指令遵循可以統一在相同的預測框架中，將其視為未來獎勵預測。

基于 LangRoom 的語言生成
就像語言可以影響智能體對將要看到的事物的預測一樣，智能體觀察到的內容也會影響它對將要聽到的語言的期望（例如，關于它所看到的內容的真實陳述）。通過在 LangRoom 中將語言輸出到動作空間，研究者展示了 Dynalang 可以生成與環境相關聯的語言，從而進行具身問答。LangRoom 是一個簡單的視覺網格世界，具有部分可觀察性，智能體需要在其中產生運動動作和語言。

文本預訓練
由于使用語言進行世界建模與基于世界模型的行動學習解耦，Dynalang 可以使用離線數據進行預訓練，而無需行動或獎勵標簽。這種能力使得 Dynalang 能夠從大規模的離線數據集中受益，全部都在單一的模型架構內實現。研究者使用僅包含文本數據的數據對 Dynalang 進行預訓練，從零開始學習 token 嵌入。在通用文本數據（TinyStories，2M 個短故事）上預訓練模型，提高了模型在 Messenger 上的下游強化學習任務表現，超過了使用預訓練的 T5 嵌入的結果。

研究者表示，盡管他們的工作專注于用于在世界中行動的語言理解，但它也可以像一個僅文本語言模型一樣從世界模型中生成文本。研究者在潛在空間中對預訓練的 TinyStories 模型進行模擬的抽樣，然后在每個時間步驟從表示中解碼 token 觀察。盡管生成的文本質量仍然低于當前語言模型的水平，但模型生成的文本令人驚訝地連貫。他們認為將語言生成和行動統一在一個智能體架構中是未來研究的一個令人興奮的方向。