“3D 空間計算”助力機器人“慧眼識界”

3D空間計算是機器人的基本要素，是智能識別、自主決策、精確控制的基礎。

3D空間計算的關鍵技術是“3D 視覺+AI”。只有依靠AI 的3D 視覺和強大的算力，才可以支撐開發更智能、性價比更高的新一代機器人應用。

2024 年4 月，芯明副總裁周凡博士在上海“2024中國人形機器人生態大會”上，介紹了該公司在3D 空間計算方面的技術及解決方案。

1   3D空間技術——人機交互的新起點

隨著各種芯片、AI 技術的成熟和落地，人機交互的方式也在發生變革，從過去PC 時代到現在的移動時代，操控方式從鍵盤鼠標，到觸摸屏、語音、手勢識別等，這些看似小小的改變已為我們的生活方式帶來了翻天覆地的變化。

現在我們正處于空間智能的時代——是對我們生活方式的又一場大變革的起點。因為3D 空間計算能夠實現真實物理世界和虛擬世界的融合，包括智能設備與真實世界之間的互動。

空間計算概念大概15~20 年前就已經有了，專注人和機器的交互，通過機器操縱真實世界的標的物。為了達到這個目的，芯明深耕3D 空間計算技術。

3D 空間計算技術可用于很多行業，包括人形機器人/自主移動機器人在內的泛機器人、自動駕駛、智能制造以及人們的娛樂社交等，在未來幾年會帶來翻天覆地的變化。

2   3D空間計算的痛點及解決方案

3D空間計算的基礎是機器視覺。因為機器人/ 人形機器人要能去理解真實的物理世界，就需要機器視覺。機器視覺技術已越來越成熟，但還有三個痛點：首先，2D視覺已經無法滿足越來越復雜的終端需求，很多行業需要從2D升級到3D。其次，升級到3D 以后，傳統的做法是用性能較強的通用芯片或FPGA 去運行軟件化的3D 算法。這種方法的優點是靈活性高，但也存在一些缺板：①延時、功耗、系統成本較大。②對于一些較高的性能需求，諸如低延時、高分辨率/ 高幀率，用常規的軟件算法或FPGA 很難實現。③隨著很多應用對真實世界的感知越來越復雜，這些設備加在一起的價格比較昂貴。第三個痛點是適用于復雜場景的3D 感知設備價格昂貴，傳統的多傳感器融合會大幅增加系統成本及復雜度。

因此行業的共識是：必須要完成2D到3D的技術升級，最好的方法是3D算法芯片化，因為只有從最底層的芯片去關注需求和進行創新，才能更好地去服務于應用和提高產品力。而且芯片的集成度要高，最好做成單芯片方案，把系統/ 機器人的需求全部在設計芯片時就開始進行考量，這樣整體的解決方案才能有競爭力。

3   人形機器人的解決方案

對于人形機器人，芯明的3D 空間計算單芯片解決方案主要是從兩個維度來賦能： ①幫助實現具身智能；②幫助實現更多的精細操作。

●   具身智能

對于具身智能，芯明的解決方案主要從兩個方面來幫助人形機器人去更好地實現。

首先，芯明專注空間智能技術的創新和研發，能夠提供高精度實時的空間計算，幫助機器人更好地去感知周圍的真實世界。

在傳統的語音、文本和圖像等基本模態基礎之上，芯明可以幫助加入3D 點云的模態，從而用增強多模態的關鍵技術，幫助人形機器人提高智能水平和邏輯自洽，以提高機器人對物理世界的理解和判斷，實現更好的認知和互動。

現在國內外研究表明，3D 空間多模態大模型實現的難點是需要海量數據用作訓練，對算力和訓練數據要求非常高。例如，很多機器人，包括訓練疊衣服、做飯、倒咖啡等，最缺乏的是一個可以用作訓練的數據庫。芯明擁有三維空間多模態大模型數據庫，借助三維空間數據，大幅降低多模態大模型對訓練數據的海量要求，大幅提高訓練結果的準確度，幫助大模型的發展擺脫對算力和數據量的過度依賴，幫助機器人針對特定應用來提高訓練效果和準確度。

芯明能夠提供不同的視覺子系統解決方案，例如有的安裝在頭部，可做前視和環視，其芯片和模組有很強的邊緣計算能力，幀速率、分辨率很高，以幫助機器人在頭部對周圍的物理世界做3D 感知和理解。

●   更精細的操作

為了幫助機器人做更精細的操作，芯明在機器人的手腕、指尖也有相應的解決方案。例如在指尖，可以提供一個定制化的超短基線的模組。芯明的空間計算技術已應用于牙科的口掃儀（牙醫用來掃牙、做牙模等）。把該技術經過優化后，可應用到機器人的指尖，在幫助機器人做精細操作的同時，還能做很精確的物理距離識別和判斷。

總之，針對機器人的頭、手、腰和手腕，芯明有全套的視覺解決方案，幫助機器人實現更精確的操作。

（本文來源于《EEPW》202412）