VPS 和GPS 、SLAM 之間的愛恨情仇

以下文章來源于3DCV ，作者李城

首先簡單的闡述一下三者的定義：
   VPS全稱為Visual Positioning System，即視覺定位系統。手機端(移動時代）的VPS首次出現時間節點為2019年，這一年Google 發布了其產品“Google Maps AR（測試版）”，該產品使用 VPS（視覺定位服務）技術通過相機圖像在戶外可以實現任意視角的定位與定向，如下圖所示：

提到GPS(global positioning system)則是大家耳熟眾詳的全局定位系統，GPS是一種用于確定地理位置和導航的技術，它由一組衛星、地面控制站和接收設備組成。GPS最初由美國國防部開發，于1978年正式投入使用。該技術的目的是提供一種全球性的導航系統，為軍事和民用用戶提供高精度的定位服務。

關于SLAM(Simultaneous Localization and Mapping)，即實時定位與構圖技術。SLAM技術出現的時間節點很早，其歷史可以追溯到20世紀80年代。早期的SLAM方法主要基于濾波器，后來隨著技術不斷發展和改進，在算法框架方面，出現了基于因子圖的優化方法，如圖優化（Graph Optimization）和基于最大似然估計的非線性優化等。而國內SLAM技術大火 的時間節點大概為2016年左右，自動駕駛行業的興起把SLAM推向了一個新的高度。

而三者的聯系與區別如下：

(1)三個技術 都可以實現定位的功能

(2) VPS 和SLAM 是提供6DOF 信息，而GPS 只能提供3DOF信息

(3) VPS 相對于SLAM 和GPS而言是離散數值，VPS因為計算的復雜度無法實現實時的輸出

對于SLAM和VPS，在我看來這兩種技術往往是相互糾纏、相互成就的關系。首先SLAM依然是一種相對定位技術，如果長時間的跟蹤，則難免會出現drift問題。而VPS 這種offline+online 形式一方面可以提供準確的地理位置和姿態信息，另一方面可以當作“錨點”與SLAM系統耦合起來（離散的軌跡+連續的軌跡）得到更魯棒的任意視角的位姿信息。

除此之外，盡管 SLAM 算法到目前為止已經是非常流行的技術，特別是與慣性單元的融合，但其不能獲得手機的地理定位，地理位置是指設備相對于地面參考標記（例如緯度、經度、高度、四元數……）的位置和方向。換句話說，SLAM技術雖然回答了“where am I？”的問題，但是其不能回答我是在“哪個地方的哪”，聽起來是有點繞口，舉個簡單的例子：SLAM技術告訴我當前位置處于一個車庫下面，但是并不能提供是北京的車庫還是上海的車庫，而VPS 解決了這一個問題。

VPS 作為AR 領域或者空間計算中最為核心的技術，其工作原理分為兩個部分-offline + online ,即是離線建圖和在線定位，VPS 與SLAM結合的技術-AR pipeline 如下所示：

?????注：該圖來自于商湯openxrlab

（1） 離線建圖

計算機視覺中三維重建問題的兩種主要方法是SfM（運動結構）和SLAM。這兩種方法在算法上相似，但它們的應用領域通常有所不同。SLAM最初是為了實時操作并使用攝像機的視頻流而設計的。相反，SfM類型的算法使用在不同距離和視角下獲取的圖像，然后進行后處理進行重建。所以在建圖層面不同參與者不一定需要相同的流程來構建他們的地圖，他們需要根據自己的傳感器類型、拍攝方式等來選擇不同的算法方案。

例如，Google在其服務器上的Google Street View產品中已經有了來自數據庫的360度照片，他們的設備如下圖。這些照片具有兩個特點：

（i）它們是由放置在汽車車頂上的攝像頭獲取的

（ii）它們使用GNSS進行了地理定位。這就是為什么Google可能使用了SfM類型的算法來構建其點云的原因。使用SLAM方法會得到糟糕的結果，因為這些圖像在距離和角度上存在明顯差異。

???????????谷歌地圖采集設備

除此之外，還有被自動駕駛公司Lyft收購的 Blue Vision Labs ,他們的地圖也是通過SfM技術實現，他們是使用開源的三維重建框架-openMVG得到大場景地圖(當然你也可以選擇使用COLMAP去構建離地圖），關于開源的SfM框架可以參考之前寫過的簡文：

https://www.zhihu.com/question/29885222/answer/1987558319

相反的是，在游戲開發公司Niantic，盡管與Google有密切的聯系，但是玩家直接使用智能手機進行獲取視頻圖像，所以在這種情況下，用于重建點云的算法更傾向于SLAM類型的算法。

（2）  在線定位

首先，用戶使用智能手機攝像頭瀏覽周圍的環境，從視頻中提取出一張（或多張）圖像，然后將圖像發送到云端，與離線構建的地圖中的圖像進行檢索、特征提取、特征匹配后得到當前圖像與3D地圖中三維點的關聯關系，最后通過PnP算法恢復當前的位置與姿態信息，整個pipeline 如下：

VPS/AR 有諸多商業應用，如營銷和廣告、零售和電子商務、實時導航和位置服務、培訓和教育、工業和制造、游戲和娛樂等等，這里我們選擇最基礎也是最實用的應用-導航來簡單闡述，提到導航我們都知道高德地圖、百度地圖等都具備很智能的GPS導航功能。但是當我們使用這些APP時，有多少次問自己：“我是否朝著正確的方向前進？”，此外對于不少人而言，其實他們根本看不懂地圖，更不要說去辨別二維地圖上光標箭頭的朝向信息是否正確，而使用視覺定位系統（VPS），可以在地圖上疊加箭頭，使導航變得輕而易舉。

VPS 技術目前位置仍然存在很多問題與挑戰，從兩個方面進行闡述：

(1) 建圖層面：地圖的更新、 地圖的存儲等

(2) 定位層面：重復結構、低紋理如下圖所示

空間即入口，入口即計算。談到AR，我們往往會想起slam技術，而會忽略里面最重要的VPS技術，我堅信在未來VPS將會成為通用的定位系統，借用最近WWDC 2023 Apple Vision Pro 發布會上的一句話“The era of spatial computing is here”。