今日凌晨，由李飛飛聯(lián)合創(chuàng)立的空間智能公司W(wǎng)orld Labs推出了他們的最新生成式世界模型——“實(shí)時(shí)幀模型”（Real-Time Frame Model，RTFM）。

該模型能夠在與你交互的過程中實(shí)時(shí)生成持續(xù)的、3D 一致的視頻幀，且只需一塊 H100 GPU 即可運(yùn)行！

(資料圖片僅供參考)

這項(xiàng)研究探索了如何解決生成式世界模型的高計(jì)算資源需求難題，這是未來在渲染與空間智能領(lǐng)域中必須探索的關(guān)鍵研究方向。

要知道，世界模型的算力需求遠(yuǎn)超當(dāng)前的大語言模型（LLM），例如維持一小時(shí)的持久交互，需要處理超過1 億 token 的上下文。

RTFM 的關(guān)鍵貢獻(xiàn)在于，它提供了一個(gè)在當(dāng)今硬件上部署的未來世界模型的愿景，并確立了一種將世界模型視為從數(shù)據(jù)中端到端學(xué)習(xí)的渲染器的技術(shù)方法。

值得一提的是，你可以無限與 RTFM 互動(dòng)，由你構(gòu)建的世界永不消逝。未來，可擴(kuò)展的 RTFM 還將支持建模動(dòng)態(tài)世界，并允許用戶與生成的世界進(jìn)行交互。

1.效率（Efficiency）

RTFM 的核心目標(biāo)是：在單張 H100 GPU 上實(shí)現(xiàn)實(shí)時(shí)、可交互的世界生成。通過優(yōu)化模型架構(gòu)、推理?xiàng)：驼麴s技術(shù)，它在現(xiàn)有硬件上展現(xiàn)出“未來級(jí)”的生成性能，證明了高效世界模型的可行性。

2.可擴(kuò)展性（Scalability）

不同于傳統(tǒng)依賴顯式 3D 結(jié)構(gòu)的渲染管線，RTFM 并不會(huì)顯式地構(gòu)建世界的 3D 表征。相反，它以一張或多張 2D 圖像作為輸入，直接生成來自不同視角的同一場(chǎng)景的 2D 圖像。

RTFM 可以被視為一種“學(xué)習(xí)型渲染器”：它是一個(gè)自回歸擴(kuò)散 Transformer 模型，基于大規(guī)模視頻數(shù)據(jù)進(jìn)行端到端訓(xùn)練，通過觀察訓(xùn)練集中的場(chǎng)景，學(xué)會(huì)建模 3D 幾何、反射、陰影等特征，并在輸入視角稀缺時(shí)進(jìn)行外推生成。

視頻｜通過結(jié)合 RTFM 與 Marble 技術(shù)，可以從單張圖像中創(chuàng)建 3D 世界。RTFM 可渲染復(fù)雜效果，如光照與反射，這些效果均通過端到端學(xué)習(xí)從數(shù)據(jù)中習(xí)得。場(chǎng)景：RTFM 處理薄玻璃結(jié)構(gòu)。

視頻｜利用 RTFM 技術(shù)從短視頻中渲染真實(shí)世界場(chǎng)景。場(chǎng)景：RTFM 模型在電視屏幕中模擬復(fù)雜反射。

3.持續(xù)性（Persistence）

RTFM 通過為每幀引入 3D 姿態(tài)，使模型的“記憶”具備空間結(jié)構(gòu)，從而實(shí)現(xiàn)世界的長期一致性。它利用“空間記憶”與“上下文切換”機(jī)制，在不同區(qū)域動(dòng)態(tài)調(diào)用相關(guān)幀，實(shí)現(xiàn)長時(shí)交互下的大規(guī)模世界持久生成。

視頻｜RTFM 結(jié)合上下文切換技術(shù)，使其能夠在大場(chǎng)景中保持幾何體持久化，同時(shí)保持高效運(yùn)行。場(chǎng)景：采用 RTFM 渲染技術(shù)呈現(xiàn)的游廊，表面泛著光澤的反射效果

整理：喬治

如需轉(zhuǎn)載或投稿，請(qǐng)直接在公眾號(hào)內(nèi)留言