V-JEPA 2模型參數(shù)規(guī)模達(dá)12億，它基于聯(lián)合嵌入預(yù)測架構(gòu)（JEPA）搭建而成。此前，Meta已經(jīng)通過相關(guān)實(shí)踐驗(yàn)證，JEPA架構(gòu)在處理圖像、3D點(diǎn)云等多種模態(tài)的數(shù)據(jù)時，展現(xiàn)出了卓越的性能。

此次全新發(fā)布的V-JEPA 2，是在去年推出的首個基于視頻訓(xùn)練的模型VJEPA基礎(chǔ)上進(jìn)行升級的。升級后的V-JEPA 2在動作預(yù)測以及世界建模能力方面得到了進(jìn)一步提升，這使得機(jī)器人借助與陌生物體和環(huán)境的交互，能夠更順利地完成各項(xiàng)任務(wù)。

V-JEPA 2 技術(shù)解析

此次發(fā)布的V-JEPA 2模型，是在去年首個基于視頻訓(xùn)練的V-JEPA模型基礎(chǔ)上升級而來。它進(jìn)一步增強(qiáng)了動作預(yù)測和世界建模能力，讓機(jī)器人能夠通過與陌生物體及環(huán)境交互來完成任務(wù)。V-JEPA 2與語言建模相結(jié)合，可提供出色的運(yùn)動理解能力和領(lǐng)先的視覺推理能力，還能預(yù)測世界的發(fā)展態(tài)勢。

在訓(xùn)練方式上，Meta采用基于視頻的自監(jiān)督學(xué)習(xí)方法訓(xùn)練V-JEPA 2，無需額外人工注釋即可在視頻上開展訓(xùn)練。該模型擁有12億參數(shù)，主要基于視頻進(jìn)行訓(xùn)練，運(yùn)用自監(jiān)督學(xué)習(xí)策略。它包含編碼器和預(yù)測器兩個核心組件：編碼器接收原始視頻并輸出嵌入，以捕捉觀察世界狀態(tài)的有用語義信息；預(yù)測器則接收視頻嵌入和關(guān)于預(yù)測內(nèi)容的額外上下文，輸出預(yù)測的嵌入。

V-JEPA 2的訓(xùn)練過程分為兩個階段。在第一個預(yù)訓(xùn)練階段，研究團(tuán)隊使用了超過100萬小時的視頻和100萬張圖像。這些豐富的視覺數(shù)據(jù)助力模型學(xué)習(xí)了大量關(guān)于世界運(yùn)行的知識，包括人們與物體的互動方式、物體在環(huán)境中的運(yùn)動規(guī)律，以及物體間的相互作用。僅在預(yù)訓(xùn)練階段后，模型就展現(xiàn)出了與理解和預(yù)測相關(guān)的關(guān)鍵能力。例如，在凍結(jié)編碼器和預(yù)測器特征的基礎(chǔ)上訓(xùn)練注意力讀出模型后，V-JEPA 2在Epic-Kitchens-100動作預(yù)測任務(wù)中創(chuàng)造了新的最高紀(jì)錄。該任務(wù)要求根據(jù)以自我為中心的視頻預(yù)測未來1秒將執(zhí)行的動作（由名詞和動詞組成）。

在訓(xùn)練的第二階段，Meta專注于利用機(jī)器人數(shù)據(jù)提升模型的規(guī)劃能力。他們向預(yù)測器提供動作信息，將這些數(shù)據(jù)整合到JEPA訓(xùn)練流程中。使用額外數(shù)據(jù)訓(xùn)練后，預(yù)測器學(xué)會了在預(yù)測時考慮具體動作，并可用于控制。令人驚喜的是，這一階段并不需要大量機(jī)器人數(shù)據(jù)。Meta的技術(shù)報告顯示，僅使用62小時的機(jī)器人數(shù)據(jù)進(jìn)行訓(xùn)練，就足以生成一個可用于規(guī)劃和控制的模型。

除了發(fā)布模型，Meta同時推出了三個全新基準(zhǔn)測試，為物理推理能力評估設(shè)立新標(biāo)準(zhǔn)：

1、IntPhys 2：用于測試模型在復(fù)雜合成環(huán)境中的直觀物理理解能力（Benchmarking Intuitive Physics Understanding In Complex Synthetic Environments）。

2、一種基于最小視頻對的、感知捷徑的物理理解視頻問答基準(zhǔn)測試（A Shortcut-aware Video-QA Benchmark for Physical Understanding via Minimal Video Pairs）。

3、CausalVQA：面向視頻模型的物理基礎(chǔ)因果推理基準(zhǔn)測試（A Physically Grounded Causal Reasoning Benchmark for Video Models）。

2

預(yù)測革命

通往AGI的岔路口

V-JEPA的發(fā)布遠(yuǎn)不止技術(shù)迭代，它代表著智能進(jìn)化的分水嶺：

• 拋棄強(qiáng)監(jiān)督依賴：長久以來，“標(biāo)注為王”的認(rèn)知框架在機(jī)器學(xué)習(xí)領(lǐng)域占據(jù)主導(dǎo)地位，但這一模式正面臨挑戰(zhàn)。研究者開始重新思考，機(jī)器是否可以不依賴大量的標(biāo)注數(shù)據(jù)，僅通過觀察世界來習(xí)得智能規(guī)律。這種轉(zhuǎn)變意味著，機(jī)器學(xué)習(xí)將不再局限于從預(yù)先標(biāo)注好的數(shù)據(jù)中提取模式，而是嘗試像人類嬰兒一樣，通過與環(huán)境的自然交互來構(gòu)建對世界的認(rèn)知。

• 超越模式識別：當(dāng)前，AI在模式識別任務(wù)上取得了顯著進(jìn)展，但僅僅依賴“數(shù)據(jù)相似性匹配”來理解世界是遠(yuǎn)遠(yuǎn)不夠的。高階智能的核心在于學(xué)會“預(yù)測未知”，即基于已有的知識和經(jīng)驗(yàn)，對未來可能發(fā)生的情況進(jìn)行合理的推測。為了實(shí)現(xiàn)這一目標(biāo)，構(gòu)建物理常識模型成為關(guān)鍵挑戰(zhàn)。這要求AI系統(tǒng)不僅要能夠識別數(shù)據(jù)中的模式，還要能夠理解這些模式背后的物理規(guī)律和因果關(guān)系，從而實(shí)現(xiàn)對世界的更深入理解。

• 效率的重新定義：在數(shù)據(jù)需求方面，V-JEPA模型的出現(xiàn)為機(jī)器學(xué)習(xí)領(lǐng)域帶來了新的希望。相較于依賴監(jiān)督學(xué)習(xí)的技術(shù)路線，V-JEPA模型在數(shù)據(jù)需求上實(shí)現(xiàn)了巨大的壓縮。據(jù)稱，其訓(xùn)練所用數(shù)據(jù)可比對標(biāo)模型少16倍。這一突破對于解決大模型的高能耗問題具有深遠(yuǎn)意義，因?yàn)樗档土藬?shù)據(jù)收集和處理的成本，同時提高了模型的訓(xùn)練效率。

• 具身智能的基石：要使機(jī)器人能夠真正與現(xiàn)實(shí)世界進(jìn)行交互并做出判斷，其腦中必然需要一套對物理規(guī)律的內(nèi)部認(rèn)知模型。LeCun認(rèn)為，JEPA模型正是為未來具身智能體的核心能力鋪路。具身智能強(qiáng)調(diào)AI系統(tǒng)通過物理或虛擬身體與環(huán)境交互，通過感知、行動和反饋來學(xué)習(xí)和執(zhí)行任務(wù)的能力。JEPA模型通過其獨(dú)特的架構(gòu)和訓(xùn)練方法，為機(jī)器人構(gòu)建了一套對物理世界的內(nèi)部認(rèn)知模型，使其能夠更好地理解和適應(yīng)現(xiàn)實(shí)世界中的復(fù)雜情況。

由此可見：

Meta路線：以預(yù)測驅(qū)動的自監(jiān)督世界模型為核心，通過物理常識理解實(shí)現(xiàn)類人推理

OpenAI/英偉達(dá)路線：依賴海量標(biāo)注數(shù)據(jù)的生成式模型，強(qiáng)調(diào)統(tǒng)計匹配而非因果建模

這一分歧觸及AI哲學(xué)的本源問題：智能究竟是模式的復(fù)制，還是知識的創(chuàng)建？當(dāng)生成模型追求像素級的逼真復(fù)刻時，預(yù)測模型已在建構(gòu)抽象層面的物理規(guī)律認(rèn)知。LeCun斷言：“五年內(nèi)將無人使用純LLM路線?！彪S著多模態(tài)JEPA架構(gòu)擴(kuò)展和分層預(yù)測框架落地，從靜態(tài)數(shù)據(jù)擬合走向動態(tài)世界理解的認(rèn)知革命已然啟動。

AGI的終極形態(tài)，正在從“回答已知”轉(zhuǎn)向“預(yù)測未知”，而這正是人類智能的本質(zhì)內(nèi)核。預(yù)測學(xué)習(xí)開啟的不僅是技術(shù)突破，更是對智能本身的重構(gòu)——機(jī)器終將在對世界的想象與推演中，走向真正的理解。

戰(zhàn)略布局，Meta的AI生態(tài)野心

此次發(fā)布恰逢Meta在AI領(lǐng)域的密集布局。昨日有消息曝出，Meta豪擲148億美元收購Scale AI 49%股份，同時成立新AI實(shí)驗(yàn)室并招攬28歲華裔天才少年。

這一系列動作明確指向構(gòu)建完整AI生態(tài)的戰(zhàn)略目標(biāo)。LeCun親自站臺講解技術(shù)愿景，頗有為Meta招兵買馬“打廣告”的意味。

Meta的開源策略也在此次發(fā)布中延續(xù)。從Llama系列大語言模型到如今的V-JEPA 2，Meta堅持通過開源擴(kuò)大影響力，同時吸引全球開發(fā)者共建生態(tài)。

扎克伯格的超級智能助手愿景正通過這些技術(shù)逐步落地。在印度農(nóng)村的試驗(yàn)中，農(nóng)民已能通過智能眼鏡識別作物病害、查詢天氣并判斷收割時機(jī)，使用本地語言與AI交互。

結(jié)語：

關(guān)于世界模型，Meta后續(xù)將開展多方向的深度探索。

當(dāng)前，V-JEPA 2僅具備在單一時間尺度上進(jìn)行學(xué)習(xí)和預(yù)測的能力，然而在現(xiàn)實(shí)場景中，眾多任務(wù)都要求跨越多個時間尺度進(jìn)行規(guī)劃。Meta后續(xù)會把研究重點(diǎn)放在分層JEPA模型上，力求讓該模型能夠在不同的時間和空間尺度下開展學(xué)習(xí)、推理以及規(guī)劃工作。

另外，開發(fā)多模態(tài)JEPA模型也是Meta的一個重要研究方向。多模態(tài)JEPA模型不僅能借助視覺進(jìn)行預(yù)測，還能整合聽覺、觸覺等多種感知能力，從而實(shí)現(xiàn)對世界更全面、深入的理解。

lixiangjing

算力豹主編