人形機器人技術的進展、實踐與挑戰

2024 年4 月，由中國機器人網、智能谷產業園主辦的“2024 中國人形機器人生態大會”在上海舉行。會上，褚君浩院士^[1]和孫立寧院士^[2]對人形機器人的傳感和控制技術做了介紹，隨后，浙江大學的熊蓉教授分享了其觀察和實踐。

本文主要介紹了熊蓉教授多年來的科研成果，包括三部分：①人形機器人的發展背景與意義，②核心關鍵技術研究進展，③發展趨勢與挑戰。

熊蓉教授是浙江大學控制科學與工程學院教授、博士生導師，浙江大學智能系統與控制研究所機器人實驗室主任。

1   人形機器人的發展背景與意義

人形機器人原來有很多的稱呼，過去習慣于稱為“仿人機器人”，但是這兩年明確定義為是“人形機器人”。

1.1 人形機器人的特點

常規的機器人是模仿人的部分或全部功能和智能；但是人形機器人更強調類人的形態，這種類人的形態使它能夠適應人類為自己建造的環境，使用人類為自己設計制作的工具，并且能夠有更好的人機交互。所以它具有更強的通用性。這種通用性使它能夠無縫地轉換人類現在所從事的一些工作，所以它是一個未來的重大的產業。

人形機器人屬于專用型的機器人，能力是超越人類的：會有更強的負載，更快的工作的節拍，更高的精度，更強的一致性。

但是現在這種專用的人形機器人還是無法實現的——還需要給它們布置專屬的環境，但是未來有望融入到人類生活的方方面面。這種類人的形態可以直接實現與人的無縫替換，所以具有更加廣闊的市場。

1.2 市場預測與布局

國內外做了非常樂觀的市場預測，例如高盛近期的市場預測樂觀度進一步提高了，認為如果能夠克服產品設計、用例、技術、成本及廣泛公眾接受度等障礙，到2035年人形機器人市場規模將達1,520億美元，與電動汽車市場旗鼓相當。馬斯克預測智能人形機器人將超越人類數量，市場規模將達萬億級。

這兩年一些國內外的產業界巨頭開始布局人形機器人的賽道，從整機到核心零部件，從里面的智能控制器到智能計算等。

總體來看，人形機器人已進入了一個新的突破窗口期：從實驗室的樣機研發，進入到了產品的樣機以及未來產業化發展的早期階段。

我國也非常重視人形機器人的發展，已經上升為國家戰略性新興技術和產業方向。我國從2022 年就開始了相關的發展論證，2023 年工信部先后出臺了揭榜掛帥的項目^[3]，以及《人形機器人創新發展指導意見》。在今年1 月，工信部等7 部門發布了《關于推動未來產業創新發展的實施意見》里，“創新標志性產品”的第一個就是人形機器人。

2   浙大的研發實踐

2.1   人形機器人的關鍵技術

人形機器人并不是今天才有的系統，早在上個世紀六十年代就推出了第一臺雙足行走機器人。

人形機器人一直以來都被認為是機器人領域中的一個技術競爭制高點，是國與國之間競爭的科技的顯示點。其主要難點在于三方面（如表1）。

表1 人形機器人的主要挑戰

首先，它幾乎是機器人和人工智能（AI）技術的集大成者，涉及了機器人技術的方方面面，并且整個系統的復雜性也導致了整機系統的研制是一個具有很高挑戰性的問題。

除了整機，還需要融合各個部件的功能、性能、材料等，同時也對這些部件提出了高要求，例如關節要求力矩大、速度快、體積小、重量輕、高功率密度等。

第二，這個系統是本質不穩定的系統。例如人有時單腳支撐，如果跑步可能雙腳騰空，可見人的足和地面接觸的空間和時間有時候非常少，人的穩定控制會發生在這樣的一個小空間和時間段里，但對于人形機器人來說，這種穩定控制很難。因此，盡管現在很多機器人實現了穩定的行走，但是不能到一個真實的環境里去適應各種環境的擾動，例如去適應在作業過程中，由于手臂的用力而帶來的擾動，同時能夠去保證它的穩定性以及作業的準確性。

第三，作為一種通用的形態，它必須能在各種環境里去執行各種任務，這就對它的智能性提出了高要求，這也是AI 領域中的一個重要的發展目標——能夠向通用AI 發展。

在工信部的《人形機器人創新發展指導意見》里明確的一個思想是以應用來牽引，然后通過整機來帶動整個生態的發展。其中有幾個核心，一是包括整機和部件，還有小腦、大腦，以及要去支持其開發的供應鏈和工具鏈，由此來形成整個的行業應用和生態建設（如圖1）。

圖1 對《人形機器人創新發展指導意見》的部分解讀圖

2.2 研發歷程

熊蓉教授團隊是從2000年開始進行機器人研究的，關注的是機器人的智能性，包括智能移動和操作。2006年時看到了人形機器人是技術的集大成者和其挑戰性，開始了對人形機器人的研發。

2006 年后主要以參加RoboCup 比賽的機器人為平臺進行技術積累，包括了機器人的設計制作，涵蓋運動控制、平衡控制以及集成了單目視覺來進行實時的定位、規劃、各種運動的實時生成。該平臺在國際比賽上獲得了4 次亞軍，在國內獲得了多次冠軍。

1）打兵乓球機器人

2008—2011 年，熊蓉教授團隊在國家863 項目的支持下，研制了兩個能夠跟人或者是雙機器人進行乒乓球對打的人形機器人（圖2）。這里除了選擇合適的形態及部件集成，更主要的還解決了智能的視圖控制。這堪稱國際上第一個能夠在線動態視圖控制快速飛行的球并擊打的人形機器人，包括能夠基于視覺對球進行準確的檢測、定位以及對整條軌跡的預測。其用5 幀的數據來實現小于4 ms 的時間誤差和小于1 cm 位置誤差的整條軌跡的預測，然后在線做全身的運動規劃——這是一個冗余自由度的在線規劃，并且去解決在手臂擊球的加速度下會造成身體的不穩定，如何進行平衡控制來保持穩定，以及它的準確擊球。

圖2 打乒乓球的人形機器人

2011 年10 月成果發布后，它得到了國內外的廣泛關注。但是該系統還有一些問題尚待解決，例如行走速度和穩定性還有問題——它只能實現1.2 km/h 的行走，并且只能在平整地面上行走；在打球時，因為行走的速度跟不上，主要是站立打球，用下肢來做平衡控制。

2）快速穩定行走的人形機器人

所以從2012 年起，熊蓉教授團隊主要研究在室內外能夠快速穩定行走的人形機器人，包括能夠立位混合控制的關節、腿，以及全身協調的立位混合控制。2022年時，新的人形機器人能夠實現在室內外快速穩定地行走，包括適應各種地形。

●   部件/ 關節的研制。涵蓋高功率密度的電機，更大減速比的行星減速器，以及做成高集成性的一體化關節。

●   運動建模和控制。目前國際上對人形機器人行走的運動控制有三條技術路線（圖3）。一種是從機理出發的，對整機進行運動學和動力學的建模，然后設計其穩定規則，來進行它的規劃控制。第二種是像特斯拉所展示的，把人的運動如何直接映射到機器人上面，使它能夠產生更加擬人化的動作。第三種是針對機理模型控制，這需要大量的挑戰，非常依賴于模型的準確性，對于復雜環境的適應性需要人工的介入——如何去提高它的魯棒性，而研究強化學習的方法。

熊蓉教授團隊在這三個方面都開展了一些工作。

例如，在“強化學習”方面，2020 年時，他們在四足機器人上首先做了一項工作，通過強化學習去生成各種動作，例如生成各種基本步態，然后再把基本步態融合，形成對于陌生環境的適應性，能夠自動選擇步態的組合。今年年初，他們又把這種方法延伸到了人形機器人上，以實現對不同地面的適應。

圖3 行走運動控制的技術路線

在模型學習“人機映射”學習方面，如何把人的復雜動作快速映射到機器人上？最初是把人的手與上肢的動作映射到一臺機器人上。

這里主要解決了兩點。傳統的最優化的映射比較依賴初值（需要人工給較好的初值），而且只能實現一些簡單的動作，需要的優化時間較長。他們把最優化和目前火熱的深度學習結合后，提出了圖形神經網絡下的最優化的學習方法，其優勢是：①大幅提升了動作的相似性，而且可以保證可執行性和安全性；②最主要的是實現了時間上的大幅提升，能夠快速地把人的各種運動映射到機器人上。

3）語義保持

在利用最新AI技術方面，他們利用語言和視覺大模型去進一步提升動作的語義保持。例如讓它指胸口，不能映射以后指到脖子或腹部；讓它指鼻尖，就必須是鼻尖。所以通過這種跟新的AI 技術的結合，可以實現語義保持，并且能夠快速遷移到新的架構上。

4）關節壞了仍能行走

另外，足式機器人不可避免地會有一些關節出現故障。能否讓它有一定的自適應性，依然保持一定的作業能力？熊蓉教授團隊的成果是：假定在四足機器人上面任意一個關節壞了，給它一個鎖定，四足機器人依然能保持直線行走。

5）機器人智能

熊蓉教授團隊的工作更多地還是放在了機器人智能上，從2000年開始在這方面去做了大量的工作。

6）總體設計思想

總體思想是：如何從傳統的封閉、靜態的環境里，走向具有一定未知性和動態開放的環境里，讓它能夠長期自主魯棒地工作；以及從依賴人工離線編寫的程序，到具有自適應、自學習、自進化、自發育的能力，以逐步適應更加豐富的環境和更加多樣化的作業（圖4）。

圖4 機器人的技術發展目標

在這些方面，熊蓉教授團隊也發表了一系列的論文。

7）智能移動技術。

對機器人的長期準確的定位和導航方面做了一些工作，也得到了專家院士的認可，現在一些技術已經在多個領域里有應用驗證，例如變電站的巡檢機器人，制造業里的新型AMR（自主移動機器人），四足機器人在復雜地形下對人的跟隨等。熊蓉教授團隊的成果也實現了產業的轉化落地，孵化了“迦智科技”去做新型的物流機器人，目前已經在制造業里大規模應用。

8）智能操作技術

開放場景高效行為的決策

* 有參照人的裝配工作

自從2012 年完成了打乒乓球的機器人之后，熊蓉教授團隊又面向如何能夠去操作更多的對象研究。其中一項工作是對于序列性的作業，能否讓人能夠去展示，然后直接來生成機器人的程序。

即機器人首先對人的動作進行理解，解析出用什么樣的動作，操作了什么樣的物體，達到了什么樣的效果，并且要去解決從感知誤差到執行精度要求之間的差距。人類的感知誤差往往是毫米級的；而熊蓉教授團隊的機器人的執行精度在0.1 毫米級量級。這需要能夠實現準確的對未知的推理，然后實現程序的自動生成。熊蓉教授團隊實現了不同的動作，例如手電筒的開關，包括機器人關節對人的行為學習以后，用幾分鐘的時間來生成動作。

* 在開放性的環境里

實際上很難有人的這種參照，需要機器人能夠去自主決策。

在這里，當有一個長序列的行為，例如要抓藍色的木塊，但是它有堆疊時抓不到，需要通過推、挪等動作快速地抓到。

再例如很多時候對目標位置是有放置要求的，但是來料往往是隨機的，怎樣去調整它的中間狀態？原來我們都是要依靠人來編程序，把它做一個指定的位置調整，來保證它最后的實現。但在開放場景里，如何讓機器人能夠自動地生成中間的行為和中間的狀態？

從學習的角度來看，最終目標是明確的，但是中間的目標不明確，因此它也很難來得到數據的正確反饋，即正確的數據是稀疏的。熊蓉教授團隊在這方面解決了中間的評價器，以及能夠去快速學習的問題。進一步地，對于一些開放混雜的場景，需要更多地去適應各種各樣的物體，為此，熊蓉教授團隊也引入了語言大模型和視覺大模型。

但是大模型是通過大量數據訓練形成的，雖然包含了各種各樣的物體，但是還有可能檢測不了一些物體，也會存在當物體堆疊在一起的時候，檢測和定位的準確性可能較低，導致機器人執行的失敗。

在此情況下，怎樣讓機器人通過它的行為逐步收斂到一個正確的結果里？熊蓉教授團隊就提出了把語言大模型、視覺大模型和機器人操作的模型去融合學習，實現了在這種混合場景下的操作，最后來完成工作。

通過這樣一系列的從強化學習，從語言視覺大模型以及與模仿學習的結合，可以讓機器人來完成桌面的整理。初始它可能是非常混雜的，告訴機器人目標要求后，機器人會進行長序列的規劃生成，最后來達到指定的要求。

9）伺服控制

與此同時，熊蓉教授團隊在機器人的伺服控制里也做了一系列工作。因為傳統的方式是先人為編好一個最優化的目標約束，然后去進行伺服的求解控制。但是這種傳統方法對于場景變化還是有一定的局限性。而熊蓉教授團隊采用學習的方法會發現，它其實也是非常依賴于數據的，如何去讓它真正地具有泛化性？為此，熊蓉教授團隊提出了一種無模型的方法，能夠實現它的端到端的伺服控制，包括能夠去適應姿態的變化、背景的變化，以及能夠去適應這種場景的傳感器（例如在應用的過程中不小心把傳感器碰動了——它的外參變化了，在這樣的擾動下，它是不是依然能夠去適應？），以及如何去讓它適應各種場景里的紋理。

●   力控插拔

熊蓉教授團隊也做了力控方面的工作，目前實現了一個軸孔配合容差小于0.1 mm 的高精度的插拔，用1 h的訓練、通過2 萬次測試后達到了99.99% 的成功率。相比之下，DeepMind 用8 h，成功率99.98%。而且它具有泛化性，能夠去適應不同的接口，包括光模塊、新能源車的充電口以及IT 設備的USB 口等。對于這些復雜的形狀，人的操作也要花很多時間，而這種機器人的執行速度能夠高于人的速度。

另外，熊蓉教授團隊對人形機器人的移動和操作的協作，以及人- 機的協作開展了一系列的研究。

●   手腿協調

今年3 月，在浙江省寧波市政府的支持下，“浙江人形機器人創新中心”正式啟動了，也推出了首代產品——領航者1 號，這是在他們前面的基礎上進一步做了一些優化改進。同時也更強調賦予它“類人學習”和“操作”能力。

目前行走已完成了在室內平整地面的測試，也會進一步去驗證之前在“悟空4”上面所實現的對各種地形的適應。但是這一代會更去強調動作的擬人性，例如能否讓它站起來一點兒，不要老是彎著腿。另外，因為設計時沒有考慮手會和腿碰觸，所以在走路的時候還是把兩個手舉在那里，來保證它不會產生干擾。所以這些都是下一代產品需要去進一步優化改進的地方。

在前面的基礎上，正在思考把熊蓉教授團隊的這種機理模型和模仿學習怎么去結合起來，能夠快速地實現。他們過去還是做的仿真，現在打通了仿真到實物的這條通路，實現了從人到仿真到實物的回路，以期實現把人的動作快速映射到機器人上面。

另外，現在也正在結合強化學習，讓它適應各種場景——在執行各種動作的過程中，依然能夠保持平衡控制——這還是屬于概念性的，是正在做的研發。

10）倒水添茶和插插頭

熊蓉教授團隊在前面對于環境物體的檢測識別以及行為決策規劃基礎上，做了一個集成的demo（圖5），它能夠去倒水添茶，包括人喝完以后它能夠自動地檢測到，然后完成添茶的工作。人放回去的茶杯也是可以任意放置的，機器人會有算法對物體進行檢測以后進行一個精確的定位，然后來進行它的行為的決策和規劃控制。

圖5 端到端的自動加水

熊蓉教授團隊也把前述的對各種動態的適應性做了一個演示，例如機器人可以去抓插頭，并插到插座上。

插座可以任意地放置，機器人會實現動態的跟蹤。

關于速度，考慮到定位的精確性，整個速度還是比較慢的。下一步將會提高它的節拍，以滿足生產上的高節拍要求。

同時，也把作業的能力通過跟持續進化結合起來，從原來的0.1 mm 的精準對接，現在能夠實現0.03 mm的對接（USB 的定位精度在0.1 mm 左右）。這也是通過自主學習的方式來實現的。

熊蓉教授團隊也研發了一個“靈巧手”，能夠實現更快速度的操作，下一步希望能夠去提升其魯棒性。

3   發展趨勢與挑戰

真正的人形機器人要用到實際的場景里，形成一個產品，還有很多挑戰。

作為一個產品，要實現高可靠、高性能、低成本。

1）亟需高性能、高可靠、低成本的核心零部件

整機的可靠性需要進一步提升，成本要降低，這依賴于核心零部件。核心零部件雖然現在很多，但是還有發展空間。例如動力部件的功率密度與人形機器人真正實現靈巧運動還有一定差距。也許力矩、速度足夠了，但是體積、重量太大，使人形機器人比較笨重、有一定的威脅感。傳感器也一樣，如何在小體積下做到高精度和高動態響應，也是面臨的問題。

除了產業界在做，學術界也在探索一些新的驅動機理方法，有可能會形成下一代變革性的方法。

2）運動控制

人形機器人要實現各種靈巧的運動作業，運動控制是一個非常重要的基礎。

現在已經有了很好的基礎，各種技術路線也有突破，能夠去展示一定的能力。但是它對作業對象的適應性、環境的適應性還是非常有限的。如何去把機器人、環境、任務融合起來，如何把現在的三條技術路線真正地去打通和推動，也依然是需要探索的。

3）人工智能

目前大模型非常熱，但是如果真正把大模型部署到機器人/ 某一環境里，會發現還有很多局限性。例如端茶倒水的，熊蓉教授團隊也想到用大模型去做，結果發現放一套茶具上去，有可能檢測不出來，哪怕把茶具分開了，也檢測不出來。

可見，現在的大模型依然依靠“見過”的數據，有一定的泛化能力，但是距離真正的泛化能力還是有一定的距離。

大模型是人的多元智能里的“基礎知識”的一部分，它賦予了語言智能、空間智能、邏輯推理的智能。但是機器人是在一定環境里去工作的，也是現在AI 提的具身智能（圖6）。

圖6 人的多元智能

實際上，機器人專家一直在做具身智能的研究，讓機器人能夠去適應各種環境條件，自我監測，人- 機自然友好地交互協作。

之前沒有大模型時，機器人專家往往也在把一些AI技術結合進來，人為定義一些知識庫、規則等。現在有了大模型，相當于給機器人的專家提供了一個更好的基礎模型支持。但是這個模型里還有很多不足，甚至有錯誤，如何融合到機器人里，實現它真正能夠作業的具身智能，也是現在要去研究探索的。

同時，相信具身智能的研究也會反過來去推動大模型，使其更加準確。

參考文獻：

[1] 迎九.褚君浩院士:人形機器人的感知發展與探索.EEPW,2024(6):1-5.

[2] “人形機器人”的智能感知與控制技術.EEPW,2024(7):22-25.

[3] 工信部.關于組織開展2023年未來產業創新任務揭榜掛帥申報工作的通知.(2023-9-13).

（本文來源于《EEPW》202408）