Seedance 2.0 Fast Reference to Video

Seedance 2.0 Fast Reference to Video est le modèle vidéo de référence le plus avancé de ByteDance, livré dans une version rapide optimisée pour des résultats plus rapides sans sacrifier la liberté créative. Plutôt que de générer une vidéo à partir d'une simple invite textuelle, il vous permet de fournir au modèle vos propres références, puis de chorégraphier la façon dont ces éléments se combinent à l'écran. Vous pouvez combiner jusqu'à neuf images de référence, trois vidéos de référence et trois fichiers audio de référence dans une seule génération, et mélanger des sources visuelles et sonores pour guider le style, le mouvement et le son du clip final.

Ce qui distingue ce modèle, c'est la façon directe dont vous pouvez pointer vers vos références dans votre invite. Chaque image, vidéo et fichier audio que vous téléversez reçoit un identifiant simple, donc vous écrivez par exemple @Image1, @Video2 ou @Audio1 directement dans votre description pour indiquer au modèle exactement quelle source doit influencer quel moment ou quel sujet. Ça veut dire que vous ne comptez pas seulement sur le modèle pour capter une ambiance : vous nommez explicitement le personnage d'une image, le style de mouvement d'un clip, la voix ou l'ambiance d'un fichier audio, puis décrivez comment ils interagissent. C'est une façon de travailler conçue pour transformer et styliser du matériel existant, transférer des personnages et styles d’une séquence à l’autre, et synchroniser la parole avec l'audio fourni.

Le modèle génère une vidéo complète avec audio synchronisé. Quand la génération audio est activée, il produit des effets sonores, du bruit ambiant et de la parole synchronisée qui colle à l'action à l’écran, donc un personnage qui parle bouge la bouche en même temps que le dialogue. Si vous préférez ajouter votre propre bande sonore ou voix, vous pouvez fournir des fichiers audio de référence et les mentionner dans votre prompt. Notez que dès que vous incluez de l'audio de référence, vous devez aussi fournir au moins une image ou une vidéo pour que le modèle puisse lier le son à quelque chose de visuel.

Vous gardez une flexibilité totale sur le cadrage. Choisissez parmi toute une gamme de ratios d’image, incluant 16:9 pour le paysage, 9:16 pour vertical et le mobile, 1:1 carré pour les réseaux sociaux, 21:9 ultra large pour du cinéma, ainsi que les options 4:3 et 3:4, ou laissez le modèle décider automatiquement selon votre invite. La durée est aussi réglable : générez des clips entre 4 et 15 secondes, ou laissez-le s’ajuster automatiquement à l’histoire que vous décrivez. Cette flexibilité facilite la création autant de courtes boucles pour les réseaux sociaux que de séquences narratives un peu plus longues.

Pour la qualité, vous pouvez choisir entre 480p pour une génération rapide ou 720p pour un compromis entre qualité et rapidité. Il y a aussi un contrôle de qualité qui vous permet de demander une version de plus grande qualité et taille pour une image la plus nette possible, ou de rester avec la version standard pour des fichiers plus légers. Ces réglages vous permettent d’ajuster vitesse et taille de fichier selon que vous itérez rapidement ou exportez une version finale.

Les formats acceptés sont variés et pratiques. Les images doivent être en JPEG, PNG ou WebP. Les vidéos de référence peuvent être en MP4 ou MOV, chacune entre 480p et 720p environ, et la durée totale de vos vidéos doit varier entre 2 et 15 secondes. Les fichiers audio de référence peuvent être en MP3 ou WAV, la durée totale de l’ensemble audio ne dépassant pas 15 secondes. Au total, toutes catégories confondues, vous pouvez inclure jusqu'à douze fichiers de référence dans une seule génération, ce qui vous donne une palette riche tout en gardant la maîtrise.

Ce modèle est parfaitement adapté à une grande variété de créateurs et professionnels. Les cinéastes et monteurs vidéo peuvent l’utiliser pour styliser ou transformer de la séquence, allonger une scène ou regrouper plusieurs prises en un seul plan cohérent. Les créateurs de contenu et producteurs pour les réseaux sociaux bénéficieront des cadres verticaux et carrés, ainsi que des formats courts conçus pour les fils d’actualité. Les designers de personnages et animateurs peuvent s’appuyer sur le système de référence pour garder un sujet reconnaissable sur toute une séquence et synchroniser les lèvres à une voix fournie. Musiciens et conteurs audio peuvent jumeler une piste sonore à des visuels et synchroniser le mouvement à l’audio généré. Puisque vous pouvez citer chaque source par nom dans le prompt, le modèle récompense la direction précise et détaillée : plus vos instructions précisent quelles références faire quoi et comment la scène doit se dérouler, plus vous contrôlez le résultat.

Quelques points pratiques à garder en tête. L’audio de référence requiert toujours au moins une image ou une vidéo de référence à côté. Vos vidéos doivent respecter les formats et durées prises en charge, et la durée totale de l'audio ne doit jamais dépasser quinze secondes. Le nombre maximal de références — images, vidéos et sons combinés — est de douze fichiers, donc choisissez bien ceux qui comptent le plus pour votre séquence. Des résolutions et qualités supérieures donnent de meilleurs fichiers, mais prennent aussi plus de temps à rendre, alors que le 480p et la version standard sont parfaits pour itérer rapidement. Comme pour toute création basée sur des références, les résultats seront meilleurs si votre matériel source est clair, bien éclairé et cadré, et si votre prompt mentionne explicitement chaque source et décrit le mouvement, l’ambiance et le son souhaités. Utilisé ainsi, Seedance 2.0 Fast Reference to Video devient un outil flexible pour transformer vos images, clips et audio en courtes vidéos synchronisées à votre direction.