Pika H3 Flex : du croquis à la vidéo, avec des poids ouverts

Sur un blog qui s'appelle Croquis Otaku, je ne pouvais pas passer à côté : Pika H3 Flex sait partir d'un dessin. Pika a présenté le 29 octobre ce modèle de génération vidéo avec son synchronisé, et il arrive dans l'application grand public de Pika ce 2 novembre.

Des références plutôt qu'un long prompt

Flex est une version post-entraînée du modèle MiniMax H3. Sa grande idée, c'est d'accepter jusqu'à 12 fichiers de référence à la fois : images, vidéos et audio. On peut donner un personnage sur une image, un décor sur une autre, un mouvement filmé en vidéo, et préciser ce que chaque fichier doit apporter. Pika montre même un exemple où cinq keyframes dessinées au fusain guident la composition d'un petit film. Pour quiconque a déjà fait un storyboard, ça parle tout de suite.

Le modèle génère en six étapes au lieu de cinquante. Pika annonce un clip de 15 secondes en 768p avec son en sept secondes de calcul, en précisant que c'est une mesure de laboratoire et non le délai réel côté utilisateur. Via l'API, le son peut aussi être séparé en cinq pistes : dialogues, musique, effets, bruitages et ambiance.

Ce que l'on peut vraiment télécharger

Les poids sont ouverts, avec le code d'inférence sur Hugging Face et GitHub. On peut donc faire tourner localement la génération en 480p ou 768p, texte vers vidéo comme vidéo à partir de références. En revanche, l'agrandissement jusqu'en 4K, la séparation des pistes audio et l'amélioration des prompts restent des services hébergés par Pika.

Mon avis : l'outil séduit pour prévisualiser une idée, mais il ne remplace pas le travail d'un animateur. Je suis curieuse de voir ce que les dessinateurs amateurs vont en tirer. Les détails sont sur le blog de Pika.