MIT：模仿螃蟹的眼睛，創造出世界首個兩棲人工視覺系統，水下陸地都能用！

來源：大數據文摘

人工視覺系統，一直是自動駕駛領域的核心技術之一。

目前，所有的人工視覺系統都是單獨基于陸地或者單獨基于水下開發的，視野一般也只有180度。

對于普通人來說，這也許夠用，但是對于需要同時在陸地和水下作業的機器人來說，一雙可以切換陸地和水下模式的兩棲計算機視覺系統，就顯得非常重要了。

MIT人工智能實驗室(CSAIL)、光州科學技術研究所(GIST)和韓國首爾國立大學(Seoul National University)開發了一種新型的人工視覺系統，靈感來自招潮蟹，可以在水陸兩棲通用的同時，還能擁有360度的環形事業，非常炫酷。

這一研究被發表于Nature Electronics，論文題目就叫《具有全景視野的兩棲人工視覺系統》（An amphibious artificial vision system with a panoramic visual field）。

無視外部環境折射率變化，始終保持焦距穩定

這個人工視覺系統的靈感來自于招潮蟹復眼的功能和解剖結構。

一對火柴棒般突出的眼睛是招潮蟹的特點之一，眼柄細長。在覓食時，兩只眼睛高高豎起，觀察周圍動靜。一旦發現情況，就迅速撤離。

招潮蟹的活動隨潮水的漲落有一定的規律，高潮時則停于洞底，退潮后則到海灘上活動、取食、修補洞穴，所以招潮蟹的眼睛能夠適應水下和陸地兩種環境。

招潮蟹的角膜是扁平的，折射率可以變化，可以抵消由于外部環境變化而產生的散焦效應——這對其他復眼動物來說是一個極大的限制。 

模仿招潮蟹的眼睛，研究人員將微透鏡陣列與漸變折射率和柔性梳狀硅光電二極管陣列結合在一個球形結構上。

微透鏡表面平坦，無論空氣和水之間的外部折射率如何變化，都能保持焦距，球形基板上的梳狀圖像傳感器陣列顯示出極其廣闊的視野，幾乎覆蓋了整個360方向。

通過對5個不同距離和方向的物體進行成像，在空中和水中實驗中測試了兩棲和全景成像能力，研究人員發現該人工視覺系統在陸地和水生環境中提供了一致的圖像質量和近360度視場，這意味著該系統可以同時看到水下和陸地的世界！

“我們的系統可以用于非常規應用的開發，如全景運動檢測和在不斷變化的環境中進行避障，以及增強現實和虛擬現實。目前，通常用于智能手機、汽車和監視/監控攝像頭的半導體光學單元的尺寸在實驗室層面受到限制。”GIST 電氣工程和計算機科學教授 Young Min Song表示。 

“不過，三星電子、SK海力士等影像傳感器制造企業的技術，還可以克服技術上的局限性，開發出比現有產品更小、成像性能更好的相機。” 期待通過該新型概念影像傳感器的生產，提高國內（韓國）系統半導體技術水平。” 

五個不同方向的物體被成功捕獲

招潮蟹的眼睛已經進化到能同時看到幾乎所有方向的東西，以避免攻擊開闊的潮汐平原，并與配偶進行交流和互動。

這也是MIT和韓國科學家合作開發的視覺系統的目標。

仿生視覺系統其實并不新鮮——2013年，《自然》雜志報道了一種模仿昆蟲復眼的寬視場(FoV)攝像機；2020年，一種模仿魚眼的寬視場攝像機問世。

雖然這些相機可以同時捕捉到大面積的畫面，但是在結構上很難超過180度。

最近，360度視野的商業產品已經開始發揮作用，然而，這些設備可能很笨重，因為它們必須合并來自兩個或更多攝像機的圖像，并且為了擴大視野，你需要一個配置復雜的光學系統，這也會導致畸變。

當周圍環境發生變化時，比如在空中和水下，保持聚焦能力就更難了——因此，這項研究才去的如此關注。

在測試過程中，五個不同距離的物體（海豚、飛機、潛水艇、魚和船）從不同角度被人工視覺系統成功捕獲。

研究小組進行了多激光斑點成像實驗，人造圖像與模擬結果成功匹配。為了進一步深入，他們將設備浸入容器中的水中，結果也很成功。

這項工作未來的發展包括更多研究受生物啟發的光適應方案，以尋求更高的分辨率和優越的圖像處理技術。

“這是一個壯觀的光學工程和非平面成像項目，結合了仿生設計和先進的柔性電子技術，實現了傳統相機無法實現的獨特功能。可能的應用范圍從人口監測到環境監測。”西北大學教授約翰 · 羅杰斯說。

這項研究得到了基礎科學研究所、韓國國家研究基金會(NRF)以及2022年由GIST資助的GIST-MIT研究合作基金的支持。

相關報道：https://www.csail.mit.edu/news/researchers-create-first-artificial-vision-system-both-land-and-waterhttps://www.engadget.com/crab-inspired-artificial-vision-system-land-water-123907481.htmlhttps://www.nature.com/articles/s41928-022-00789-9