7 月 10 日，由 Google DeepMind 主導、集結 MIT、牛津、UCL、多倫多大學與隆德大學等機構研究者的團隊，在 arXiv 公開論文《Video Generation Models are General-Purpose Vision Learners》，並已獲 ECCV 2026 接受。論文在 7 月 13 日登上 Hugging Face Daily Papers。核心訊息可以濃縮成一句話：文字轉影片的生成模型，不只是做影片的工具，更是通往通用視覺智慧的基礎預訓練路線。
核心主張：生成就是預訓練
論文的類比很直接：下一詞元預測讓 NLP 從一個個任務特定模型，走向通用的基礎模型；那麼對視覺而言，等價的預訓練範式是什麼？團隊的答案是大規模文字轉影片生成。理由有三：它提供時空先驗、視覺與語言的對齊，以及隨資料和算力同步成長的擴展性。換句話說，學會「生成影片」這件事本身，就迫使模型理解深度、幾何、動態與物理一致性——而這些正是各種感知任務真正需要的表徵。生成與理解，在表徵層次上是同一門功課。
這個論點的系譜不難辨認。遮罩式自編碼器與對比式預訓練，曾經給了視覺領域屬於自己的基礎骨幹；近年 V-JEPA 等自監督影片模型則在不使用生成目標的前提下追求同一目標。這篇論文押注的是生成路線更能擴展：一個能合成出連貫影片的模型，按定義就對場景結構握有可用的內在模型。
GenCeption 怎麼運作
為了驗證主張，團隊推出 GenCeption：一個以預訓練文字轉影片擴散模型為骨幹的前饋感知模型。它不為每個任務設計專屬架構，而是用文字指令驅動，一次前向傳播即可輸出深度圖、表面法向量、相機姿態、按文字指代的分割，以及三維關鍵點等結果。微調主要使用合成資料，把一個「會拍片」的模型改造成「會看片」的通用感知器。這條路線若成立，視覺研究的重心將從設計任務專用網路，轉向如何在強大的生成骨幹上問對問題。
打贏專家模型，還省下最多 500 倍數據
實驗覆蓋深度估計、表面法向量、相機姿態、指代分割與三維關鍵點預測等任務，GenCeption 都達到當時的 SOTA，與 DepthAnything3、SAM3、D4RT、VGGT-Omega、Sapiens、Lotus-2 等任務專用模型持平或更強；在相同設定下，也勝過 V-JEPA、VideoMAE V2 這類自監督預訓練路線。更搶眼的是數據效率：論文報告 GenCeption 達到與 D4RT、VGGT-Omega 相當的表現時，只用了 7 到 500 倍更少的訓練資料。論文還附上初步的模型與資料擴展實驗，顯示這條路線還沒有觸頂。
湧現的泛化：從合成人類到真實機器人
最能支撐「基礎模型」這個稱號的，是泛化表現。微調只看過合成的人類影片，模型卻能直接遷移到真實世界拍攝的影片，對訓練時從未見過的類別——動物、機器人——給出合理的感知輸出，還能處理畫面中有多個實例的場景。這種零樣本的模擬到真實遷移，通常需要針對域差距精心設計，在這裡卻像是生成式預訓練自然長出的能力。對於要打造必須離開實驗室還能活下來的感知系統的人來說，這個性質比排行榜上的一兩名更值錢。
對視覺基礎模型路線的意義
團隊把程式碼與權重開源在 google-deepmind/representations4d 儲存庫（Apache 2.0 授權），提供 14B 與 1.3B 兩種規格的 GenCeption 檢查點、VAE 與示範 notebook，骨幹採用 WAN 2.1。對研究者來說，門檻大幅降低：做深度估計不再等於從頭設計一個深度模型。儲存庫還一併收錄 Scaling 4D Representations、MooG、RVM、Omnivorous DINO 四個相關研究，顯示 DeepMind 把生成式 4D 表徵當成一個長期計畫在經營，而非單篇論文。對應用端則要冷靜看待兩件事：擴散骨幹的推理成本不低，即時場景需要權衡；論文自己也把擴展結論標註為初步證據。但方向已經很清楚——影片生成模型累積的知識，正在成為整個電腦視覺領域可以繼承的資產。
參考來源
- Video Generation Models are General-Purpose Vision Learners — arXiv
- GenCeption 專案頁
- representations4d 開源儲存庫 — GitHub
本文由 AI 協助自上述來源整理，經人工審核後發布。