感受洪荒之力！深度傳感器搭配機器學習，這個AR應用能制造閃電，還能與現實交互

年輕人，你渴望力量嗎？

就是那種能在指尖召喚閃電，隨手一扔就能造成大量傷害的力量。

現在，你只需要動動你的手指，就能在指尖形成一股能量，這股能量也能和現實世界產生互動，這個閃電還會消散形成細小的電流，在物體邊緣上下流動，留下粉色的光芒。

就像這樣：

這款名叫Let's All Be Wizards!的應用已經上線了App Store，售價2.99美元。不過由于需要利用到LiDAR，因此目前也只有iPhone 12 Pro和iPhone 13 Pro用戶能夠得到這股力量。

沒想到吧，如此神奇的力量竟然也隱藏在你的手機中。

相關視頻在Reddit和LinkedIn上都引起了十分熱烈的討論和圍觀，比如有網友就贊嘆到，“和房間的聯動也太厲害了吧”。

還有人表示，“這肯定是一個很棒的NFT”。

接下來就和文摘菌一起來看看這股力量的源泉吧~

深度傳感器+機器學習，LiDAR也是關鍵之一

首先，除了一臺支持LiDAR的蘋果手機外，還需要準備到Unity 2020.3LTS和ARFoundation。

既然力量要從手中展現，那就必然要對手部進行捕捉，這就需要60FPS手部檢測（60 FPS hand detection）

以及3D骨骼世界檢測（3D Bones world detection）。

也正是基于此，LiDAR就顯得尤為必要，因為位置允許手上的準確照明（次表面散射）或邊緣檢測（用于最后返回的火花）以真正將原生世界和虛擬世界融合在一起。如果沒有實時深度估計，這些功能都不可能實現。

空間網格上的照明也是通過5個渲染器通道來實現的：

• 每個像素（屏幕空間）的法線和距離  

• 背景相機和手部遮擋

• 手部次表面散射照明 

• 光暈和游戲空間fx（實際上，每個能量球一次通過）

• 透明和不透明對象

正如項目作者Olivier Goguel總結的那樣，“由于深度傳感器和基于視覺的機器學習，我們可以實時創建手及其周圍環境的數字版本，以生成虛擬和真實物體無縫交互的3D環境”。

該項目也已經在GitHub上開源了，詳細過程大家也可以自行前往查看：

項目鏈接：

https://github.com/ogoguel/realtimehand

混合現實和物體識別打破游戲和數據的束縛

翻開Olivier Goguel的LinkedIn主頁，文摘菌也被這滿滿的履歷“閃瞎了眼”。

作為一名電子游戲愛好者，Goguel先后在Argonaut、Lagardere Active、Mimesis Republic、Namco、Microsoft和Asobo Studio等大型電子游戲公司工作了超過25年。也正是這些經歷，讓他有機會將一些技術和思維應用于許多娛樂項目上，其中就包括AR/VR體驗。

目前他在HoloForge Interactive擔任CTO一職。

在HoloForge Interactive的官網上，他們就表示，他們要在個人、地點和數據融合的體驗中，打破束縛，充分發揮其潛力。

比如在2016年，他們就與Microsoft合作，開發了通過混合現實和物體識別進行體驗的游戲Young Conker。

在游戲中，場景都將直接在房間里構建，比如敵人會出現在咖啡桌周圍，你的沙發里可能藏著要收集的物品，你需要蹦床去看電視等等。關卡也會隨著環境而適應并隨之變化。

在這個項目中，開發者們需要攻克以下幾點難關：

• 環境識別：游戲檢測環境的拓撲結構，然后找出其組成部分。系統需要檢測房間中的地板、墻壁和天花板以及各種不同類型的家具，并與游戲中的角色創造獨特的互動。

• 交互：玩家可以用目光移動主角，無需操縱桿即可實時精確控制游戲操作。

• Room Solver AI：游戲使用空間映射工具，并采用人工智能自動生成關卡和角色定位。 

• 與角色真正聯結：由于游戲知道玩家的位置和正在尋找的位置，因此每個角色都可以以不同且令人驚訝的方式對玩家的存在做出反應。

Local Lenses如何改變對城市的觀看方式

說到AR，文摘菌印象最深刻的還要屬前年Snapchat推出的一個戶外AR項目Local Lenses。

這個AR項目與專注于地圖的競爭對手不同，Snap計劃讓用戶使用數字內容來改變社區的外觀，用戶可以“用彩色油漆裝飾附近的建筑物”，效果將對朋友可見。

從官方安利視頻上看，Snapchat的這個AR簡直是手殘黨福音了，你能隨意對城市進行填涂，操作起來也很簡單，只需要在Snapchat上調用攝像頭，City Painter就能讓你在街道上方噴灑紅色和藍色的“噴泉”，然后用預先設計的涂鴉對墻面磚塊進行裝飾。

看著爽快，開發Local Lens的過程可沒有那么簡單，首先就在于重要公共地標的3D數據太少，其次還需要選擇一個用戶無需擔心交通問題的街道。 同時，雖然用戶平時不會在每個角度上都對街道照留念，但空間的絕對大小對于開發者來說也是一個不小的難題。在這個意義上，附屬于Local Lens的City Painter獨辟蹊徑，用3D繪制了整個卡納比街，方便用戶從任意角度進行繪制，這也改變了人們對城市的觀看方法。 Snapchat從多個來源提取出了街道的視覺數據，包括用戶共享的公開照片。“對于Local Lens反射出的景象，我們利用360度的相機圖像，”Pan表示，“人們走在街上就能繪制地圖，還可以把它與我們可能擁有的、任何關于該地區的公共新聞照片結合起來”。
City Painter還支持經驗共享。正如Pan所說，“當你對外部環境做某事時，其他人幾乎可以同步看到結果。就算后來你離開了，第二天出現了新的參觀者，這些變化也將會持續存在，也就是說，這些新人能看到自己和他人所改變的空間”。
如今隨著元宇宙概念逐漸被理解和研究，相信未來會有更多有趣的VR和AR項目被開發出來吧！