CVPR2021提出的一些新數據集匯總

作者：Shwetank Panwar

編譯：CV技術指南

一些新發布的數據集可以提供一個窗口，通過這些數據集可以了解試圖解決的問題的復雜程度。公共領域中新發布的數據集可以很好地代表理解計算機視覺的發展以及有待解決的問題的新途徑。

本文簡要總結了一些CVPR 2021 上發表的數據集論文，并通讀了論文以提取一些重要的細節。

1. The Multi-Temporal Urban Development SpaceNet Dataset

數據集論文：https://paperswithcode.com/paper/the-multi-temporal-urban-development-spacenet

下載地址：https://registry.opendata.aws/spacenet/

新的 SpaceNet 數據集包含每個月拍攝的建筑區域的衛星圖像。目標是在空間時間序列的幫助下在全球范圍內跟蹤這種建筑活動。

由于其解決非常困難的全局問題的方法，這是 CVPR 中最有趣的數據集論文。該數據集試圖使用衛星圖像分析解決量化一個地區城市化的問題，這對于沒有基礎設施和財政資源來建立有效的民事登記系統的國家來說是一個巨大的幫助。

該數據集主要是關于使用在 18 到 26 個月的時間跨度內捕獲的衛星圖像跟蹤世界各地大約 101 個地點的建筑。隨著時間的推移，有超過 1100 萬條注釋帶有單個建筑物和施工現場的獨特像素級標簽。

A.) 與 COCO 數據集對象相比，帶注釋的對象的大小非常小 B.) 在此數據集中，每張圖像的標簽數量太高。C.) 像云這樣的遮擋（這里）會使跟蹤探測變得困難。D.) Spacenet 數據集中單個圖像中的帶注釋對象。

所有這些可能使它聽起來像是一個更具挑戰性的對象分割和跟蹤問題。為了清楚起見，每幀大約有 30 多個對象。此外，與普通視頻數據不同，由于天氣、光照和地面季節性影響等原因，幀之間幾乎沒有一致性。這使得它比視頻分類數據集（如 MOT17 和斯坦福無人機數據集）更加困難。

雖然這可能是一個難題，但解決它對于全球福利來說是值得的。

2. Towards Semantic Segmentation of Urban-Scale 3D Point Clouds: A Dataset, Benchmarks and Challenges

數據集論文：https://arxiv.org/abs/2009.03137

下載地址：

https://github.com/QingyongHu/SensatUrban

Sensat Urban 數據集的整體圖，包括英國約克市的連續區域，擴展到 3 平方公里。

今年的會議重點討論了 3D 圖像處理及其相應的方法。因此，這個名為 Sensat Urban 的數據集也不足為奇，只是這個攝影測量 3D 點云數據集比迄今為止可用的任何開源數據集都要大。它覆蓋超過7.6公里。涵蓋約克、劍橋和伯明翰的城市景觀廣場。每個點云都被標記為 13 個語義類之一。

該數據集有可能推動許多有前途的領域的研究，如自動化區域測量、智慧城市和大型基礎設施規劃和管理。

圖片

Sensat Urban 數據集中的不同分割類別。

在論文中，他們還對點云中的顏色信息進行了實驗，并證明了在色彩豐富的點云上訓練的神經網絡能夠在測試集上更好地泛化。這實際上為該領域未來應用的發展提供了重要方向。

3.Spoken Moments: Learning Joint Audio-Visual Representations from Video Descriptions

數據集論文：https://arxiv.org/abs/2105.04489

來自 MIT 音頻字幕數據集的一些樣本 [左] 在數據集中結合視聽信息的提議架構 [右]

這是今年另一個最受歡迎的數據集，因為它對圖像字幕和視頻摘要問題采用了略有不同的方法。通常，對于此類任務，我們有像 COCO 這樣的數據集，其中包含圖像及其隨附的文本標題。雖然這種方法已被證明是有前途的，但我們經常忘記，在口語方面對我們的視覺體驗進行了很多豐富的總結。

該數據集構建了一個包含 50 萬個描述各種不同事件的短視頻音頻描述的語料庫。然而，他們并沒有止步于展示一個很棒的數據集，他們還提供了一個優雅的解決方案來使用自適應平均邊距（AMM）方法來解決視頻/字幕檢索問題。

4.Conceptual 12M : Pushing Web-Scale Image-Text Pre-training to recognise Long-Tail visual concepts

數據集論文：https://arxiv.org/abs/2102.08981

圖片

來自Conceptual  12M 數據集的一些圖像標題對。雖然 alt-text 本身的信息量并不大，但它對于學習視覺概念的更廣義的文本表示非常有幫助。

最近，由于預訓練transformer和 CNN 架構的性能提升，模型預訓練獲得了極大的歡迎。通常，我們希望在一個類似的數據集上訓練模型。然后使用遷移學習在下游任務上利用模型。

到目前為止，唯一可用的用于預訓練的大規模數據集是用于視覺+語言任務的 CC-3M 數據集，有 300 萬個字幕?，F在，谷歌研究團隊通過放寬數據抓取的限制，將該數據集擴展到 1200 萬個圖像字幕對--Conceptual 12M。

更有趣的是生成數據集的方法。在數據集管理期間使用 Google Cloud Natural Language API 和 Google Cloud Vision API 過濾任務對于任何未來的數據集管理任務來說都是一個很好的教訓。

使用 12M 數據集，圖像字幕模型能夠學習長尾概念，即數據集中非常具體且罕見的概念。訓練方法的結果令人印象深刻，并在下面進行了可視化。

在概念 12M 數據集上預訓練的神經圖像標題模型的預測示例很少。

5. Euro-PVI：密集城市中心的行人車輛交互

數據集論文：

https://openaccess.thecvf.com/content/CVPR2021/supplemental/Bhattacharyya_Euro-PVI_Pedestrian_Vehicle_CVPR_2021_supplemental.pdf

實時車輛-行人行為示例。預測行人將采取什么樣的軌跡來響應接近的車輛對于構建全自動自動駕駛汽車至關重要。

雖然有很多關于完全自主的自動駕駛系統的討論，但事實仍然是，它是一個非常困難的問題，需要同時實時解決多個問題。關鍵部分之一是使這些自主系統了解行人對其存在的反應，在密集環境中預測行人軌跡是一項具有挑戰性的任務。

因此，Euro-PVI 數據集旨在通過在行人和騎自行車者軌跡的標記數據集上訓練模型來解決這個問題。早些時候，斯坦福無人機、nuScenes 和 Lyft L5 等數據集專注于附近車輛的軌跡，但這只是自主系統完整畫面的一部分。

Euro-PVI通過交互時的視覺場景、交互過程中的速度和加速度以及整個交互過程中的整體坐標軌跡等信息，提供了一個全面的交互圖。

Euro-PVI 數據集包含有關行人車輛交互的豐富信息，例如場景中所有參與者的視覺場景、速度和加速度。

所有這些信息都必須由經過訓練的模型映射到相關的潛在空間。為了解決潛在空間中軌跡和視覺信息的聯合表示問題，同一篇論文還提出了 Joint-B-VAE 的生成架構，這是一種經過訓練的變分自動編碼器，用于對參與者的軌跡進行編碼并將其解碼為未來的合成軌跡。

ground truth，Trajectron++ 預測的軌跡和聯合 B-VAE 的預測軌跡（在同一數據集論文中提出）

原文鏈接：

https://medium.com/@shwetank.ml/datasets-cvpr-2021-problems-that-shouldnt-be-missed-6128d07c59c3