李飛飛的World Labs新發布的世界模型，是真的世界模型嗎？

9 月 1 日，李飛飛的 World Labs 發布了 Atlas。

發布頁上有一組畫面確實好看。幾台手機架在三腳架和夾具上，從三到五個角度對着同一個現場，然後時間停住，鏡頭開始移動，繞過人物，走到真實攝影機從未站過的位置。

子彈時間，這個手法這兩年不算稀奇。差別在 Atlas 同時交出來的另外三樣東西。

第一樣是 depth。給畫面裡每一個像素標上它離鏡頭有多遠，一張普通照片就變成一張按遠近上色的地形圖。

第二樣是 point cloud。在空間裡撒下幾百萬個點，每個點記住自己的三維坐標，湊到一起就是這間屋子的形狀。

第三樣是 3D Gaussian Splat。它不用三角面片搭模型，而是拿大量帶顏色、帶透明度、有朝向也有胖瘦的小光斑堆出整個場景，換任何一個角度都能重新渲染一遍。

這三樣東西的共同點是可測量。杯子的直徑、桌子到牆的距離，都能從裡面直接讀出數值。生成的結果不再只是給人看的畫面，可以送進遊戲引擎、設計軟體，或者一段機械臂的控製程式。

World Labs 幹脆把 Atlas 叫做世界模擬器。

模擬器這個詞他們用得不隨便。三個月前，他們自己寫過一篇文章，專門規定什麼樣的系統才配叫這個名字。

看得見和碰得到

那篇文章發在今年 6 月，討論的是什麼才算世界模型，結論是把市面上的系統分成三級，渲染器、模擬器、規劃器。

這種分類方法的源頭很老。1943 年，英國心理學家 Kenneth Craik 說過一個觀點，人能提前想明白一件事會怎麼發展，是因為腦子裡有一個縮小版的現實世界。這個說法後來被控制論、神經網路和強化學習一路接過去，變成三個詞，state、observation、action。

用一間廚房來說。

杯子擺在桌上的哪個位置、離桌邊幾公分、桌子離牆多遠、門開著還是關著，這些加起來是這間廚房此刻的 state。

人站在門口，只看得到狀態裡的一部分。被冰箱擋住的那塊地面他看不見，杯子裡還剩多少水他也不知道。他眼睛收進來的這一份資訊叫 observation。

他走過去把杯子推開，這是 action。

state、observation、action，一個系統能管幾樣，就決定了它屬於哪一級。

渲染器管畫面。人往前走一步，它算出這一步該看見什麼，畫得像、和上一幀接得上，事情就辦完了。杯子有多高、桌子離牆多遠，它不需要知道，因為它交出來的只是一張圖。

模擬器管狀態。杯子的位置、桌子的尺寸、門開到多大會撞上牆，這些數字它得一直存著，隨時能被調出來。也正因為存著這些數字，別的程序才接得進來，一隻機械臂才能在這間廚房裡伸手。

規劃器管動作。它不光知道杯子在桌上、碰倒了會怎麼樣，還要判斷現在該不該伸手、先拿哪一個、從哪個角度下手最穩。

按這套標準，Google DeepMind 的 Genie 3 被歸進最低一級，只是個渲染器。一起歸進去的，還有 World Labs 自己在 2025 年 10 月發布的 RTFM。

在這之前，「世界模型」這個詞幾乎什麼都能裝。輸入一句話，生成一段能走進去的畫面，是世界模型。把官網口號改成用 AI 模擬世界，也是世界模型。這篇文章第一次給它劃了條線，畫面歸畫面，世界歸世界。

過去一年那些演示大多停在第一級。比起純文字生成視頻，它們確實前進了一大截，按一下方向鍵，畫面會跟著變。

但是渲染器交出來的東西，人看著夠用，機器用不了。

Atlas 要夠的是模擬器那一級。按他們自己的定義，模擬器得維護這個世界的全部狀態，物理也算在裡面。

目前公佈的測試集中在相機條件生成和三維重建，複雜材料、流體、布料這類多物理相互作用還沒解決，整個行業都沒有解決。

Atlas 的技術上的名字是 multimodal autoregressive diffusion transformer，四個詞拆開來都不新鮮。

transformer 和 autoregressive 是大語言模型那一套，看著已經生成的內容一個接一個往下續。diffusion 是圖像和視頻生成那一套，畫面由它畫出來。multimodal 指的是它同時接收好幾種輸入。

新的地方在 multimodal 具體包括了文字、圖片、相機位姿和深度圖四類。

相機位姿說的是拍這張照片的時候，相機站在三維空間的哪個位置、朝著哪個方向，六個數字就寫得清楚。配上深度圖，每一張照片都不再是孤零零的一張圖，而是一張標好了拍攝位置的圖。

所有照片標在同一套坐標上，這套坐標就是 Atlas 的 shared spatial context，共享空間上下文。

舉例來說，站在客廳門口拍一張沙發，再走到窗邊拍一張。兩張照片裡的沙發大小不同、角度不同，還有一半被茶幾擋着。普通模型看到的是兩張不一樣的圖。人看到的是同一個沙發，因為人知道自己走了幾步、轉了多少度。

Atlas 拿到的，正是「走了幾步、轉了多少度」這份數據。

這份數據還有另一個用處，World Labs 上一代產品 RTFM 已經試過。它的目標是在單張 H100 上實時生成一個能一直逛下去的世界。往前走它往前生成，轉彎視角跟着變。麻煩出在記憶上。

假設有人在這棟虛擬房子裡逛了半小時。如果把這半小時生成的畫面全部塞進上下文，模型確實什麼都不會忘，但上下文越堆越長，算力會先撐不住。如果只留最近幾十幀，算力省下來了，可從臥室繞一圈走回廚房，模型已經不記得二十分鐘前桌子擺在哪兒，同一間廚房會被生成成兩個樣子。

World Labs 給 RTFM 的做法叫 posed frames as spatial memory。每一幀除了畫面，還存下拍它的時候相機在空間裡的位置和朝向。模型走到某個位置，系統不必把全部記憶翻一遍，只按位置就近取回幾幀，拼出這一次生成需要的上下文。

位置在這裡當的是索引。想知道廚房長什麼樣，把在廚房附近拍下的幀找出來就夠了，它們是什麼時候拍的不重要。

人用記憶其實也是這條路子。讓你回想上週三下午做了什麼，多半想不起來，但走進那間會議室，誰坐在對面、白板上寫了什麼，很快就能對上。按時間檢索要從頭數一遍，按地點檢索一步到位。

重建與生成

Atlas 的發布頁上還有一個實驗。先只給一張花園的照片，讓模型生成從高空往下看的畫面。照片裡只有花園，周圍什麼樣沒拍到，於是花園的部分照實還原，旁邊的建築靠它在訓練數據裡見過的常識補出來。

第二張照片拍到了旁邊的小屋，這一塊不用補了。第三張屋子露出來了，要補的地方又少一塊。

World Labs 的總結是，the more it sees, the less it imagines。按他們給出的數據，兩三張照片通常夠把場景還原到能用，一次最多可以放進一百多張。

這個實驗把兩件本來分得很開的事做進了同一個模型。

想在電腦裡得到一個三維場景，過去有兩條路。一條叫重建，拿現場拍回來的照片，把一個真實存在的地方按原樣還原出來，哪個角落沒拍到就空著，寧可留一個洞。另一條叫生成，模型憑訓練時見過的房子和草坪，造一個從來不存在的地方。

Atlas 兩頭都佔。沒拍到的地方先按常識補上，等新照片補進來，再把編的那部分換成真的。照片少就多編，照片多就少編。

我一直很喜歡一個叫 Funes World 的項目。他們帶著相機滿世界拍建築，龐貝、特洛伊、科隆大教堂、天壇祈年殿，也拍那些不出名的房子，就是某天改造完就再沒人記得原來長什麼樣的那種。他們會繞著建築走，從各個方向拍，照片之間留夠重疊，再用攝影測量、NeRF、Gaussian Splatting 拼回三維模型。公開檔案現在有 2100 多個模型，覆蓋 19 個以上的國家。

他們說自己在給真實世界做備份，做一個物理世界的 GitHub。

Funes 走的是純粹重建那條路。他們搶在推土機前面按快門，要的是那棟房子確實長成那樣。哪怕缺一塊，也不能讓模型替它補。

Atlas 面對的是另一種用戶。一間廚房裡的牆，只要位置和尺寸對得上，機械臂伸手撞上去的結果就一樣，牆上的花紋是拍來的還是編的機械臂不關心。

於是問題落到了另一個地方。一個有一部分靠編的世界，能不能拿來訓練一台要在現實裡幹活的機器。至於編出來的房子像不像真的，這裡可以先不管。

7 月，World Labs 買下了機器人公司 SceniX。收購之後公佈的第一批結果，回答的正是這個問題。

幾組機器人完全在模擬器裡訓練，沒有用一條真實世界的數據，然後直接裝到真實機械臂上，做裝箱、繞線、搬試管。其中幾台連續自主運行了 1 小時，中途沒有人干預。

更值得看的是他們怎麼判斷這個模擬器算不算合格。

有一條聽上去很自然的標準，模擬器裡成功率八成，真機上也該是八成。這條他們沒用。模擬器裡的牆和真牆的摩擦不一樣，零件的重量分佈也對不上，成功率必然差一截。

他們改成這樣做。先在模擬器裡把幾種方案各跑 2000 次，按表現排出高下，再把這幾種方案搬到真機上各跑 100 次，然後只對兩件事。模擬器裡 A 方案比 B 方案好，真機上是不是也這樣；模擬器說某個動作在哪一步最容易失手，真機是不是也在那一步失手。

在公佈的任務裡，這兩項都對上了。至於兩邊的成功率差多少反倒不用管，按 World Labs 自己的說法，有用的模擬器不需要和現實的成功率一致，只需要支持和現實一樣的決策。

這個方式一百多年前就有人用過。

1901 年秋天，萊特兄弟照著 Lilienthal 發表的機翼數據造出滑翔機，實際揚力只有預測值的三分之一。前人的數據有問題，可要重新測就得一次次把人送上天。於是他們用木頭做了一個六英尺長的風洞，一個下午能試好幾副機翼，一個冬天試了 100 多種。

風洞裡那點風和北卡羅來納的海風不是一回事，但哪副機翼更好是能比較出來的。

世界模型不必複製整個宇宙。它只需要留住和決策有關的那部分結構。

失敗的經驗

到這一步，World Labs 的生意輪廓就出來了。他們 2025 年推出的產品 Marble，已經能從文字、圖片和視頻生成可探索的三維世界，World API 開放之後開發者可以直接調用，Atlas 是這些產品底下的那層模型。

今年 2 月那輪 10 億美元融資，出錢的公司分佈得很雜。NVIDIA 要 Physical AI，Autodesk 要建築、工業設計和數字孿生，此外還有 AMD、Fidelity 和 Sea。同一個三維世界，導演在意機位和光線，建築師在意結構和尺度，機器人要的是一個能實驗的環境。

一個世界只要足夠通用，就能橫跨今天彼此分開的好幾套軟體產業。

至於把那些說自己在做世界模型的公司塞進同一張 benchmark 表已經沒什麼意義了。

Genie 3 在生成畫面，Meta 的 V-JEPA 2 幹脆不畫畫面，直接從視頻裡學規律，NVIDIA 的 Cosmos 把視覺推理、世界生成和動作預測裝進同一個模型，Runway 從視頻生成轉身去做模擬。用的是同一個詞，解的不是同一道題。

分歧只有一條。一派相信把世界預測得足夠好，三維結構自己會從數據裡長出來，視頻裡本來就藏著這些規律。另一派把相機位置、幾何和物理約束直接塞進模型，讓世界從第一天就帶著結構。Atlas 把相機位姿和深度做成原生輸入，就是這麼做的。

這條路上有一件事繞不開，訓練數據從哪來。

大語言模型拿到過一份餽贈。幾十年裡，人類寫網頁、寫代碼、在論壇上吵架，無意之間攢出一個巨大的語料庫。

三維世界沒有這份東西。空間關係很少被系統地記錄下來，一塊地板的摩擦系數不會自己寫進網頁。更難的是互動。機器人把線插歪了，現實裡那根線是真的歪了，下一次嘗試之前，得有人走過去把它扶正。文本可以無限複製，現實裡的經驗每一次都要重新發生一遍。

所以過去機器人最缺的其實是失敗。在現實裡犯錯太貴，模擬器一旦好用，機器人就可以在裡面跑幾千次幾萬次，快速積累經驗。

李飛飛和這個問題打了快 20 年交道。

2009 年，她和團隊做了 ImageNet，把互聯網上散落的圖片按 WordNet 的概念體系重新整理了一遍。完整索引裡有 1419 萬張圖片、21841 個 synset，後來引爆深度學習的 ILSVRC 只用了其中 1000 類。那一代計算機視覺的題目很簡單，給機器一張照片，讓它說出裡面有什麼、屬於哪一類、在畫面的什麼位置。

十七年過去，這道題早就不算問題。前面那間廚房裡的杯子，今天的模型不但認得出來，還能憑空生成 100 只從來沒有存在過的杯子。

難的變成了這隻杯子在屋裡的什麼位置，繞到桌子背後再去觀測它還是不是同一隻，有人把它推走之後，下一次看過去它應該在哪裡、是什麼狀態。認得出一樣東西，和知道這樣東西在世界裡怎麼待著，是兩件事。

從 ImageNet 到 Atlas，中間有一條出人意料的連續線：人到底要往機器裡塞多少關於世界的資訊，它才長成自己的世界。

1940 年，阿根廷作家阿道夫·比奧伊·卡薩雷斯寫過一本小說，《莫雷爾的發明》。

主角逃到一座荒島，遇見一群奇怪的人。這些人每天散步、聊天、跳舞，一切看起來都正常，但沒有人能看見他。更古怪的是，同一段談話過幾天會原樣再發生一次，連停頓的位置都不差。

後來他才知道，島上的科學家莫雷爾造了一台機器，把一群人在島上的一周完整錄了下來。聲音錄下來了，形象錄下來了，莫雷爾相信連觸覺、氣味和溫度也一並保住。機器由潮汐驅動，那一周在島上循環播放。

莫雷爾相信，當所有感官同步時，靈魂便出現了。

八十多年前寫下的這台機器，已經很像一個誇張到荒唐的 multimodal model。它保存了現實的全部感官證據，做出一份任何觀察者都分不出真假的複製品。

主角愛上了投影裡的女人 Faustine。他每天站到她面前跟她說話，想讓她看見自己。她一次也沒有回應，因為她所在的那一周早就錄完了。機器能把那一周重放一萬遍，卻放不出一件當時沒有發生過的事。

按 World Labs 自己那張表，莫雷爾造的是一台完美的渲染器。

今天的模型已經能把一個地方還原到挑不出毛病。難的是那件從來沒有被誰拍下來過的事，有人走進去，伸手，把桌上那隻杯子碰倒。

莫雷爾的島上什麼都有，只差這一下。

-****END-

原文連結

發佈者對本文章的內容承擔全部責任
在投資加密貨幣前，請務必深入研究，理解相關風險，並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。