佐治亞理工大學、萊斯大學、Meta開發全新眼動追蹤系統

在不犧牲追蹤算法準確性的情況下，以更小的尺寸、更高的效率進行眼動追蹤

基于攝像頭的眼動追蹤是AR/VR系統的重要組成，但目前的系統存在一定的局限性，包括體積尺寸，吞吐量，以及攝像頭和后端系統之間的高通信成本。

在一項研究中，美國佐治亞理工大學、萊斯大學和Meta的團隊開發了一種全新的眼動追蹤系統，他們希望通過結合無透鏡攝像頭、專有算法和加速處理器設計來克服相關限制。

研究人員表示：“目前的VR頭顯太重，游戲可能存在滯后，而使用控制器會很麻煩。綜合起來，這會讓用戶無法獲得真正的沉浸式體驗。”

所以，團隊研發了名為EyeCoD的新系統。通過用編碼的二進制掩模代替對焦透鏡，FlatCam可以比基于透鏡的攝像頭薄5倍～10倍。掩模對入射光進行編碼，而不是直接聚焦。可以對FlatCam傳感測量的編碼信息進行計算解碼，以重建在掩模制造和測量過程中可能引入偽影和噪電的捕獲圖像。

另外，減小的形狀參數為將后端眼動追蹤處理器連接到更靠近前端攝像頭留出了空間，從而大大減小了攝像頭和處理器之間的距離，并相應地降低了眼動追蹤的整個系統延遲的通信成本。

EyeCoD系統的另一個特點是，它只將用戶眼睛注視的屏幕位置設置為高分辨率。它通過預測用戶的注視點可能落在哪里，然后以高分辨率即時渲染這些區域來實現這一點。這可以計算節省，加上專用加速器，鞏固了EyeCoD提高處理速度和效率的能力。

通過結合FlatCam，團隊提出的系統能夠在不犧牲追蹤算法準確性的情況下，以更小的尺寸、更高的效率進行眼動追蹤。系統同時可以通過不包括基于透鏡的攝像頭來增強用戶隱私。 

值得一提的是，團隊在2023年獲得了斯坦福技術授權辦公室的25000美元撥款，以幫助項目實現商業化。他們希望利用這筆資金將當前的演示集成到一個緊湊的眼動追蹤系統中，并用于商業VR/AR頭顯。