Ein Weltmodell rechnet in Zuständen, nicht in Token
Vom Themen KI · Modelle · Hardware · Homelab
„Weltmodell“ klingt nach demselben wie bisher, nur größer. Es ist etwas anderes, und der Unterschied steht schon in dem, was so ein Modell vorhersagt: nicht das nächste Wort, sondern wie ein Stück Welt im nächsten Moment aussieht.
LLM und LWM stehen oft im selben Satz, und genau daher kommt die Verwechslung. Der Teil über die Sprachmodelle steht in der Notiz über Token. Hier steht der andere Teil, und er endet an einer Zahl, die genau andersherum überrascht als dort.
Was ein Weltmodell können soll
Meta nennt in seiner Ankündigung zu V-JEPA 2 drei Fähigkeiten, und diese drei sind die ganze Liste:
- Verstehen. Beobachtungen einordnen, also Objekte, Handlungen und Bewegungen in einem Video erkennen
- Vorhersagen. Wie entwickelt sich die Lage weiter, und was ändert sich, wenn der Handelnde etwas tut
- Planen. Auf der Vorhersage aufbauend eine Folge von Handlungen finden, die zu einem Ziel führt
Der Zweck ist nicht Text und nicht Bild, sondern der Schritt davor: vor dem Handeln durchspielen, was das Handeln auslöst. Meta beschreibt es als inneren Simulator, mit dem sich der Ausgang einer gedachten Handlung vorhersagen lässt, bevor man sie ausführt.
Zwei Familien, die kaum etwas miteinander zu tun haben
Das ist der Punkt, an dem die meisten Erklärungen unscharf werden, denn unter demselben Wort laufen zwei sehr verschiedene Sorten Modell. World Labs hat im Juni 2026 sogar einen eigenen Text nur über diese Einteilung veröffentlicht, angekündigt als Taxonomie aus Renderern, Simulatoren und Planern.
Für die praktische Frage reichen zwei Sorten:
| Sorte | Was sie tut | Beispiel |
|---|---|---|
| Die verstehende | sieht Video an, sagt den nächsten Zustand voraus, plant daraus | V-JEPA 2 |
| Die erzeugende | rechnet sichtbare Welt aus, Bild für Bild | Cosmos, Genie 3 |
Und der Unterschied ist keine Nuance, sondern zwei Größenordnungen im Speicherbedarf. Dazu unten die Zahlen.
Die verstehende Sorte ist klein
V-JEPA 2 ist nach Metas Angabe ein Modell mit 1,2 Milliarden Parametern, gebaut aus zwei Teilen: einem Encoder, der rohes Video in Merkmalsvektoren übersetzt, und einem Predictor, der daraus den vorhergesagten nächsten Zustand macht. Beide arbeiten nicht auf Pixeln, sondern auf diesen Vektoren, und genau das macht die Sache billig.
Das Training lief in zwei Stufen, und die zweite ist die überraschende:
- Ohne Handlungen: mehr als 1 Million Stunden Video und 1 Million Bilder, selbstüberwacht, also ohne dass jemand etwas von Hand beschriftet
- Mit Handlungen: Robotermaterial, bei dem zu jedem Bild die ausgeführte Steuerung dazusteht. Meta schreibt, im technischen Bericht zeige sich, dass bereits 62 Stunden davon reichen, um damit zu planen und zu steuern
Dann der Teil, der es für dich interessant macht: Die vortrainierten Prüfpunkte sind klein. Das Repository führt acht davon auf:
| Familie | Modell | Parameter | Auflösung |
|---|---|---|---|
| V-JEPA 2 | ViT-L/16 | 300M | 256 |
| V-JEPA 2 | ViT-H/16 | 600M | 256 |
| V-JEPA 2 | ViT-g/16 | 1B | 256 |
| V-JEPA 2 | ViT-g/16 | 1B | 384 |
| V-JEPA 2.1 | ViT-B/16 | 80M | 384 |
| V-JEPA 2.1 | ViT-L/16 | 300M | 384 |
| V-JEPA 2.1 | ViT-g/16 | 1B | 384 |
| V-JEPA 2.1 | ViT-G/16 | 2B | 384 |
Achtzig Millionen Parameter am unteren Ende. Das ist kleiner als alles, was in
der Notiz über die Dateiliste vorkam. Geladen wird über PyTorch Hub oder über
transformers, das Repository weist zwei Lizenzen aus, MIT und Apache-2.0.
V-JEPA 2.1 ist dort auf den 16.03.2026 datiert.
Diese acht sind aber alle vortrainiert, also handlungsfrei, und damit fehlt genau die dritte Fähigkeit von oben. Zum Planen gehört ein eigener Prüfpunkt, V-JEPA 2-AC, den das Repository als handlungsbedingtes Weltmodell beschreibt, nachtrainiert aus V-JEPA 2. Es steht dort nur in einer Größe, aus dem ViT-g-Encoder, also der 1B-Fassung. Wer den ViT-B mit 80M lädt, um das Beschriebene nachzubauen, hat das falsche Modell. Daneben liegen noch sechs Prüfpunkte für die Auswertungssonden.
Zwei Voraussetzungen nennt dasselbe Repository, und beide kosten sonst einen Abend: PyTorch mit CUDA wird ausdrücklich empfohlen, und auf macOS läuft es nicht ohne Eingriff, weil der benutzte Videoleser decord macOS nicht unterstützt und laut dieser Anmerkung auch nicht mehr weiterentwickelt wird. Wer dort arbeiten will, braucht eine andere Umsetzung davon.
Was dabei herauskommt, misst Meta an fünf Vergleichsläufen, und die Tabelle im Repository hat genau diese fünf Zeilen:
| Vergleichslauf | V-JEPA 2 | vorher bester |
|---|---|---|
| EK100 | 39,7 % | 27,6 % (PlausiVL) |
| SSv2 (Probe) | 77,3 % | 69,7 % (InternVideo2-1B) |
| Diving48 (Probe) | 90,2 % | 86,4 % (InternVideo2-1B) |
| MVP (Video QA) | 44,5 % | 39,9 % (InternVL-2.5) |
| TempCompass (Video QA) | 76,9 % | 75,3 % (Tarsier 2) |
Am Roboter zeigt Meta es an einem Franka-Arm mit einer einzelnen Farbkamera. Die Modelle wurden auf dem offenen DROID-Datensatz trainiert und dann direkt im eigenen Labor eingesetzt, ohne Material aus genau dieser Umgebung. Für Aufheben und Ablegen unbekannter Gegenstände in unbekannter Umgebung nennt der Blogbeitrag 65 bis 80 Prozent Erfolg. Die Bedingung dazu steht im selben Satz und gehört mitgelesen: Das gilt mit von Hand gesetzten Zwischenzielen in Bildform. Die Tabelle im Repository ist konkreter und nüchterner, dort steht für Aufheben und Ablegen 80 Prozent beim Becher und 50 Prozent bei der Schachtel.
Die erzeugende Sorte ist groß, und hier kippt die Rechnung
Cosmos von NVIDIA ist die andere Sorte: Diffusionsmodelle, die aus Text, einem Bild oder einem Video die kommenden Einzelbilder ausrechnen. Die Modellkarte zu Cosmos-Predict2.5-2B nennt sieben Varianten, alle mit 2B im Namen. Fünf davon liefern 720p mit 16 Bildern je Sekunde. Die Variante, die aus einem Bild und einer Handlungsfolge des Roboters weiterrechnet, liefert 256p mit 4 Bildern je Sekunde, und für die siebte, die Handlungen und künftige Zustände zugleich ausgibt, nennt die Karte keine Auflösung.
Und dann steht dort die Zahl, um die es hier geht:
Video2World mit 720p und 16 Bildern je Sekunde braucht nach Angabe der Modellkarte 32,54 GB Grafikspeicher.
Zwei Milliarden Parameter, 32,54 GB. Zum Vergleich die Zahlen aus der Notiz über die Dateiliste: Dort brauchte ein Sprachmodell mit 30,5 Milliarden Parametern in einer brauchbaren Fassung 11,0 GB. Die beiden Zahlenpaare nebeneinandergelegt, und das ist meine Rechnung und keine Angabe der Hersteller: Das Sprachmodell trägt rund das Fünfzehnfache an Parametern und kommt mit rund einem Drittel des Speichers aus.
Der Grund ist derselbe wie bei der Kachelrechnung im Bild: Es zählt nicht, wie viele Gewichte dastehen, sondern wie viel Zwischenergebnis beim Rechnen entsteht. Ein Sprachmodell hält einen Text im Kontext. Ein Diffusionsmodell hält mehrere Sekunden Video in voller Auflösung, über viele Rechenschritte hinweg.
Wie lange ein einzelner Durchlauf dauert, führt dieselbe Modellkarte für acht Karten auf, und das ist die vollständige Tabelle:
| Karte | Laufzeit |
|---|---|
| B200 | 123,9 s |
| H200 SXM | 221,7 s |
| H100 SXM | 228,8 s |
| H200 NVL | 267,2 s |
| H100 NVL | 355,7 s |
| H100 PCIe | 378,5 s |
| RTX PRO 6000 Blackwell | 452,2 s |
| L40S | 2567,1 s |
Wofür diese Zeiten gelten, gehört unbedingt dazu: für einen Ausschnitt von fünf Sekunden. Die Modellkarte sagt es zweimal, einmal zur erzeugten Datei und einmal zur Beschreibung, die man mitgibt. Damit werden die 2567,1 Sekunden auf einer L40S erst lesbar, nämlich als rund dreiundvierzig Minuten Rechnen für fünf Sekunden Bild. Der Abstand zwischen der schnellsten und der langsamsten Karte in dieser Liste ist damit größer als das Zwanzigfache, und das ist meine Division der beiden Werte, keine Angabe der Modellkarte.
Drei weitere Voraussetzungen stehen daneben: Getestet ist nur die Genauigkeit BF16, als Betriebssystem nennt die Karte nur Linux, und als verträgliche Architekturen NVIDIA Ampere, Blackwell und Hopper. Auch die Eingabe ist festgelegt und nicht beliebig: Für das 720p-Modell soll das Bild 1280 mal 704 messen, für das 480p-Modell 832 mal 480, und ein eingegebenes Video soll aus fünf Einzelbildern bestehen. Auch der Text hat eine Grenze: Die Beschreibung soll nach derselben Karte weniger als 300 Wörter haben.
Genie 3: dieselbe Sorte, aber in Echtzeit
Google DeepMind hat Genie 3 am 05.08.2025 vorgestellt. Aus einer Textbeschreibung entsteht eine Umgebung, in der man sich in Echtzeit mit 24 Bildern je Sekunde bei 720p bewegen kann. Die Umgebung bleibt nach Angabe von DeepMind über einige Minuten stimmig, und das Bildgedächtnis reicht etwa eine Minute zurück.
Technisch ist das schwerer als ein Video zu erzeugen, und der Blogbeitrag sagt auch warum: Jedes Bild entsteht mit Blick auf den bisherigen Verlauf, und dieser Verlauf wächst. Wer nach einer Minute an einen Ort zurückkehrt, verlangt vom Modell, dass es sich an den Zustand von vor einer Minute erinnert, und das mehrmals je Sekunde.
Fünf Grenzen nennt DeepMind selbst, und das ist die ganze Liste:
- Der Handlungsraum ist begrenzt. Textbefehle können die Umgebung ändern, aber das sind nicht Handlungen des Handelnden selbst
- Mehrere Handelnde in einer geteilten Umgebung sind offene Forschung
- Echte Orte lassen sich nicht geografisch genau nachbilden
- Lesbarer Text entsteht meist nur dort, wo er in der Beschreibung stand
- Die Dauer liegt bei einigen Minuten, nicht bei Stunden
Was davon zu haben ist, und was nicht
Hier trennt sich die Sache noch einmal, und zwar schärfer als bei Sprachmodellen. Die fünf Zeilen unten sind aus den sieben Quellen zusammengetragen und stehen so in keiner einzelnen davon:
| Modell | Zugang |
|---|---|
| V-JEPA 2 und 2.1 | Prüfpunkte offen herunterladbar, Code dazu |
| Cosmos-Predict2.5 | Gewichte unter der NVIDIA Open Model License, auf der Modellseite erst nach Zustimmung und Angabe von Kontaktdaten. Der Code liegt unter Apache-2.0 |
| Cosmos 3 | nach der Herstellerseite offen verfügbar, unter OpenMDW1.1 der Linux Foundation, dazu ein gehosteter Katalog zum Ausprobieren |
| Genie 3 | begrenzte Forschungsvorschau für einen kleinen Kreis aus Wissenschaft und Kreativarbeit |
| Marble von World Labs | nach der Ankündigung vom 12.11.2025 für alle verfügbar. Dieselbe Beitragsliste führt darüber Atlas vom 01.09.2026 als neueres Modell und seit dem 21.01.2026 eine öffentliche Programmierschnittstelle |
Ein Hinweis, der einen Abend sparen kann: Das Repository zu
Cosmos-Predict2.5 trägt oben eine Ankündigung, dass Cosmos 3 da ist und
dieses Repository nicht mehr aktiv weiterentwickelt wird, sondern nur noch
eingeschränkt gepflegt. Es verweist für neue Modelle, Berichte und Anleitungen
auf github.com/NVIDIA/Cosmos. Die 32,54 GB und die Laufzeittabelle oben
gehören also zu einer Reihe, die NVIDIA selbst als überholt bezeichnet.
Was auf der Cosmos-Seite bei NVIDIA über die neue Reihe steht, ändert die Zugangsfrage gleich zweimal:
- Die Lizenz ist eine andere. Auf die Frage nach dem Lizenzmodell antwortet die Seite, die Cosmos-Weltmodelle seien unter der Lizenz OpenMDW1.1 der Linux Foundation verfügbar. Das ist nicht die NVIDIA Open Model License, unter der die 2.5er-Gewichte stehen
- Es gibt einen Weg ohne eigene Karte. Die Seite bietet neben dem Herunterladen ausdrücklich an, die Modelle in einem gehosteten Katalog auszuprobieren, für den Fall, dass man noch nicht baut
Zu Cosmos 3 selbst sagt dieselbe Seite, es sei ein Omni-Modell, das über Text, Bild, Video, Ton und Handlung hinweg erzeugt, während Cosmos 2.5 und Cosmos 2 Wahrnehmung und Erzeugung noch als getrennte Modelle führten und auf Text, Bild und Video beschränkt waren. Gebaut ist es nach derselben Quelle auf einer Mixture-of-Transformers-Architektur und offen verfügbar, mit Skripten fürs Nachtrainieren je Modalität. Eine Speicherzahl wie die 32,54 GB nennt sie für Cosmos 3 nicht, und unter der Überschrift, worauf es am besten laufe, stehen Blackwell-Server.
Was sie noch nicht können, gemessen von denen, die sie gebaut haben
Meta hat zusammen mit V-JEPA 2 drei Vergleichsläufe veröffentlicht, um genau das zu messen, und das Ergebnis ist deutlicher als jede Einschätzung von außen. Menschen erreichen auf allen dreien 85 bis 95 Prozent, und zwischen ihnen und den besten Modellen einschließlich V-JEPA 2 klafft nach Metas eigener Beschreibung eine erhebliche Lücke.
- IntPhys 2 prüft, ob ein Modell physikalisch mögliche von unmöglichen Abläufen unterscheiden kann. Zwei sonst identische Videos, in einem passiert etwas, das die Physik bricht. Menschen liegen hier nahe an der vollen Punktzahl, aktuelle Videomodelle nach Metas Messung auf oder nahe dem Zufall
- MVPBench stellt Fragen im Paar: dasselbe Frage zu einem sehr ähnlichen Video, aber mit der entgegengesetzten Antwort. Nur wer beide trifft, bekommt den Punkt. Das schließt die üblichen Abkürzungen aus
- CausalVQA fragt nach Ursache und Wirkung, also was wäre gewesen, wenn, was passiert als Nächstes, und welche Handlung führt zum Ziel. Metas Befund: Große multimodale Modelle beantworten zunehmend gut, was passiert ist, und tun sich weiter schwer damit, was hätte passieren können
Dazu Metas eigene Liste der nächsten Schritte: Vorhersagen über mehrere Zeitskalen hinweg statt nur einer, und Modelle, die neben dem Sehen auch Hören und Tasten einbeziehen.
Auch die erzeugende Sorte trägt ihre Grenzen selbst ein. Die Cosmos-Modellkarte nennt zeitliche Sprünge, unruhige Kamera- und Objektbewegung, ungenaue Berührungen zwischen Dingen und Objekte, die verschwinden oder sich umformen.
Was ich davon mitnehme
Erstens: Die Parameterzahl sagt hier noch weniger als bei Sprachmodellen, und sie täuscht in die andere Richtung. Bei Mixture of Experts war der Name zu groß für den Speicherbedarf. Hier ist er zu klein: 2B im Namen, 32,54 GB auf der Karte. Die Zahl, die zählt, steht auch diesmal nicht im Namen, sondern in den Systemvoraussetzungen der Modellkarte.
Zweitens: Von den zwei Familien ist genau eine für eine einzelne Karte gebaut. Die verstehende Sorte fängt bei 80 Millionen Parametern an und ist offen herunterladbar; zum Planen gehört allerdings der handlungsbedingte Prüfpunkt, und den gibt es nur in 1B. Die erzeugende Sorte ist der Teil, der beeindruckt, und der Teil, für den die Laufzeittabelle oben acht Rechenzentrumskarten auflistet und keine, die man sich zum Spielen kauft. Wer sie trotzdem ansehen will, muss dafür keine Karte kaufen: Sowohl NVIDIA als auch World Labs bieten den Weg über fremde Rechner an, der eine über einen gehosteten Katalog, der andere über eine Programmierschnittstelle.
Drittens: Das Gebiet ist ehrlicher, als man erwarten würde. Der Hersteller, der das Modell gebaut hat, veröffentlicht im selben Atemzug die Prüfung, an der es scheitert, und schreibt dazu, dass Videomodelle beim Erkennen gebrochener Physik auf dem Niveau von Raten liegen. Das ist eine seltene Sorte Ankündigung, und sie ist der Grund, warum sich die Zahlen hier überhaupt zitieren lassen.
Gegenstand sind sieben Quellen, alle am 04.09.2026 abgerufen und alle primär: Meta zu V-JEPA 2, das V-JEPA-2-Repository, Google DeepMind zu Genie 3, die Modellkarte zu Cosmos-Predict2.5-2B, das Cosmos-Repository, die Cosmos-Seite bei NVIDIA und die Beitragsliste von World Labs. Sämtliche Messwerte stammen von den Herstellern selbst und sind hier nicht nachgemessen. Die Angaben zu Cosmos 3 stammen von der Cosmos-Seite bei NVIDIA, bis auf die Ankündigung selbst, die im Repository steht; Speicher- und Laufzeitzahlen nennt die Seite für Cosmos 3 nicht, die oben stehenden gehören zur Reihe 2.5.