OpenAI開源Point-E，可在Nvidia V100 GPU上1-2分鐘生成3D模型

OpenAI的Point-E是3D模型的DALL-E，這個速度極快的系統可以從文本中生成3D點云。

在推出針對文本和圖像的生成人工智能模型之后，OpenAI現在展示了下一步可能出現的東西：一個從文本到三維模型的生成器。通過文本描述，Point-E生成了3D點云，可以作為虛擬環境中的模型。除OpenAI之外，已經有其他用于3D生成的工智能模型，如谷歌的Dreamfusion或Nvidia的Magic3D。

Point-E生成展示

然而，據說OpenAI的開源Point-E速度明顯更快，在一個Nvidia V100 GPU上可以在一到兩分鐘內生成3D模型。

OpenAI的Point-E生成點云

實際上，Point-E并不生成傳統意義上的3D模型，而是代表3D形狀的點云。相比之下，谷歌的Dreamfusion生成NeRFs（Neural Radiance Fields）——需要更多的時間，但與點云相比，NeRFs可以呈現出更多明顯的細節。很顯然，Point-E的質量相對較低，因而使得該系統的效率很高。

Point-E從文本描述中生成的點云的一些例子

當Point-E生成點云后，再由另一個作為三維建模和設計標準的模型將其轉化為網格。根據OpenAI的說法，這個過程還不能完全避免出錯：在某些情況下，云的某些部分會被錯誤地處理，導致生成錯誤的網格。

Point-E中的兩個生成模型

具體來看，Point-E本身由兩個模型組成：一個GLIDE模型和一個image-to-3D模型。前者類似于DALL-E或Stable Diffusion等系統，可以從文本描述中生成圖像。第二個模型由OpenAI對圖像和相關3D目標物體進行訓練，學習從圖像中生成相應點云。為了更好地訓練，OpenAI使用了數百萬個3D目標和相關的元數據。

通過GLIDE模型在 A corgi 中創建一個圖像，然后通過點云擴散模型創建一個3D corgi

該團隊報告說，“這兩步過程可能會失敗”。但它是如此之快，以至于生成目標的速度比Dreamfusion快近600倍。"這可能讓它在某些應用上更加實用，或者發現更高質量的3D對象，"該團隊表示。

“我們已經推出了Point-E，一個用于文本條件合成3D點云的系統。它首先生成合成視圖，然后根據這些視圖生成彩色點云。我們發現Point-E能夠有效地產生以文本提示為條件的多樣化和復雜的3D形狀。”

據OpenAI稱，Point-E是公司未來展開文本到三維合成業務的起點，目前已在Github上開放了源代碼。Point-E 2可能最早在明年撼動3D市場。

參考鏈接：https://the-decoder.com/point-e-openai-shows-dall-e-for-3d-models/