李飛飛「具身智能」新成果！機(jī)器人接入大模型直接聽懂人話，0預(yù)訓(xùn)練就能完成復(fù)雜指令（2）

以下分別是VoxPoser在真實(shí)和模擬環(huán)境中的表現(xiàn)（衡量指標(biāo)為平均成功率）：

可以看到，無論是哪種環(huán)境哪種情況（有無干擾、指令是否可見），它都顯著高于基于原語的基線任務(wù)。

最后，作者還驚喜地發(fā)現(xiàn)，VoxPoser產(chǎn)生了4個(gè)“涌現(xiàn)能力”：

（1）評(píng)估物理特性，比如給定兩個(gè)質(zhì)量未知的方塊，讓機(jī)器人使用工具進(jìn)行物理實(shí)驗(yàn)，確定哪個(gè)塊更重；

（2）行為常識(shí)推理，比如在擺餐具的任務(wù)中，告訴機(jī)器人“我是左撇子”，它就能通過上下文理解其含義；

（3）細(xì)粒度校正，比如執(zhí)行“給茶壺蓋上蓋子”這種精度要求較高的任務(wù)時(shí)，我們可以向機(jī)器人發(fā)出“你偏離了1厘米”等精確指令來校正它的操作；

（4）基于視覺的多步操作，比如叫機(jī)器人將抽屜精準(zhǔn)地打開成一半，由于沒有對(duì)象模型導(dǎo)致的信息不足可能讓機(jī)器人無法執(zhí)行這樣的任務(wù)，但VoxPoser可以根據(jù)視覺反饋提出多步操作策略，即首先完全打開抽屜同時(shí)記錄手柄位移，然后將其推回至中點(diǎn)就可以滿足要求了。

大約一年前，李飛飛在美國文理學(xué)會(huì)會(huì)刊上撰文，指出計(jì)算機(jī)視覺發(fā)展的三個(gè)方向：

• 具身智能（Embodied AI）

• 視覺推理（Visual Reasoning）

• 場景理解（Scene Understanding）

李飛飛認(rèn)為，具身智能不單指人形機(jī)器人，任何能在空間中移動(dòng)的有形智能機(jī)器都是人工智能的一種形式。

正如ImageNet旨在表示廣泛且多樣化的現(xiàn)實(shí)世界圖像一樣，具身智能研究也需要解決復(fù)雜多樣的人類任務(wù)，從疊衣服到探索新城市。

遵循指令執(zhí)行這些任務(wù)需要視覺，但需要的不僅僅是視覺，也需要視覺推理理解場景中的三維關(guān)系。

最后機(jī)器還要做到理解場景中的人，包括人類意圖和社會(huì)關(guān)系。比如看到一個(gè)人打開冰箱能判斷出他餓了，或者看到一個(gè)小孩坐在大人腿上能判斷出他們是親子關(guān)系。

機(jī)器人結(jié)合大模型可能正是解決這些問題的一個(gè)途徑。

除李飛飛外，參與本次研究的還有清華姚班校友吳佳俊，博士畢業(yè)于MIT，現(xiàn)為斯坦福大學(xué)助理教授。

論文一作Wenlong Huang現(xiàn)為斯坦福博士生，在谷歌實(shí)習(xí)期間參與了PaLM-E研究。

論文地址：
https://voxposer.github.io/voxposer.pdf
項(xiàng)目主頁：
https://voxposer.github.io/
參考鏈接：
[1]https://twitter.com/wenlong_huang/status/1677375515811016704
[1]https://www.amacad.org/publication/searching-computer-vision-north-stars