如何幫助機器人集中注意力并為應用有效助力

該系統幫助機器人專注于重要的事情，使用聲音和圖像來猜測人類的目標，并快速安全地提供正確的幫助。

使用麻省理工學院開發的新型相關性框架，該機器人可以識別場景中的物體并確定其優先級，以無縫、智能和安全的方式自主協助人類。鳴謝：鳴謝：由研究人員提供

機器人發現現實世界很難理解。麻省理工學院制作了一個名為“相關性”的系統，以幫助機器人專注于重要的事情。它使用聲音和圖像來猜測一個人想要什么并迅速提供幫助。

該團隊用自助早餐對其進行了測試。該機器人使用攝像頭和麥克風，通過觀察和傾聽來向人們遞咖啡。它猜對了 90% 的目標，96% 的時間選擇了正確的對象，事故減少了 60%。

尋找焦點

該團隊構建了一個機器人，其工作方式類似于大腦的 RAS，幫助它專注于重要的事情而忽略其余的事情。首先，機器人使用攝像頭和麥克風進行觀察和傾聽，將所見所聞發送給 AI，后者會找到人、物體、動作和關鍵詞。其次，它檢查是否有任何重要的事情發生，例如一個人進入房間。如果它看到一個人，第三步就開始了：機器人弄清楚這個人想要什么，并找到合適的物品來提供幫助，比如挑選杯子和奶精，而不是水果和零食。

幫助程序模式

研究人員通過模擬會議自助早餐的實驗測試了他們的新系統。他們之所以選擇這種設置，是因為 Breakfast Actions 數據集已公開發布，其中包含顯示常見早餐活動（如煮咖啡、煮煎餅、制作麥片和煎蛋）的視頻和圖像。每個視頻和圖像都標有具體的作和總體目標，例如 “煮咖啡” 或 “煎蛋”。

利用這個數據集，該團隊在其 AI 工具包中訓練和測試了不同的算法，以識別人類行為，找出人的目標，并確定需要幫助的對象。在他們的實驗中，他們設置了一個機械臂和夾持器，然后要求機器人在人們接近一張裝滿飲料、小吃和餐具的桌子時協助他們。當周圍沒有人時，機器人的 AI 會在后臺悄悄地工作，對桌子上的物體進行標記和分類。但是，當檢測到人類時，機器人會立即切換到其相關性階段，根據 AI 預測的目標快速找到對人類最有幫助的對象。