H3-World affine le contrôle temporel de MiniMax-H3

Contexte

H3-World est un cadre de recherche destiné à transformer MiniMax-H3, un générateur vidéo de 33 milliards de paramètres, en modèle du monde interactif. Le point de départ est la capacité du modèle préentraîné à modifier sans adaptation le comportement d’un personnage et les mouvements de caméra à partir d’instructions en langage naturel.

Cette interface reste toutefois générale : une instruction textuelle ne détermine pas nécessairement avec précision le moment où une action doit commencer ou se terminer. H3-World cherche à rendre ce contrôle temporel plus précis sans ajouter de module d’action spécialisé.

Ce qui change

Le système représente chaque action comme une combinaison structurée d’instructions portant sur le personnage et la caméra. Ces instructions sont injectées dans le chemin textuel préentraîné de MiniMax-H3, puis alignées sur les intervalles correspondants des représentations vidéo latentes.

Les auteurs introduisent également un mécanisme de routage temporel de l’attention. Celui-ci limite chaque instruction à l’intervalle prévu afin de réduire la propagation d’un ordre vers les actions précédentes ou suivantes.

L’adaptation utilise 8 000 échantillons de gameplay et 10 000 étapes d’optimisation LoRA. Selon l’article, seuls 0,199 % des paramètres sont entraînables. Le système conserve les représentations sémantiques issues du préentraînement vidéo plutôt que d’apprendre une interface de contrôle entièrement séparée. Les auteurs rapportent aussi une généralisation à des compositions d’actions et à des situations visuelles non rencontrées pendant l’adaptation.

Pourquoi c'est important

H3-World illustre une approche où le langage sert directement d’interface entre génération vidéo et contrôle d’un environnement. L’intérêt technique tient surtout à la réutilisation des capacités du modèle de base et à la faible proportion de paramètres modifiés.

Cette méthode pourrait simplifier l’adaptation de grands générateurs vidéo à des séquences interactives combinant déplacements, comportements et mouvements de caméra. Les extraits disponibles ne donnent toutefois pas de métriques comparatives détaillées sur la précision du contrôle, la latence ou la robustesse face à des séquences longues. Les résultats annoncés doivent donc être appréciés à partir du papier et de ses évaluations complètes.