Seedance 2 Reference to Video

Seedance 2 Reference to Video est le modèle vidéo de référence le plus avancé de ByteDance, conçu pour les créateurs qui veulent guider la génération avec du matériel source réel plutôt que seulement du texte. Plutôt que de tout décrire à partir de zéro, vous fournissez au modèle un mélange de fichiers de référence, allant jusqu’à 9 images, 3 vidéos et 3 pistes audio (pour un total maximal de 12 fichiers tous types confondus), et vous les assemblez avec une consigne écrite. Vous identifiez chaque élément directement dans votre prompt avec des balises simples comme @Image1, @Video1 ou @Audio1, pour que le modèle sache exactement quel visage, environnement, mouvement ou son respecter. Le résultat est un seul clip cinématographique continu qui respecte vos références tout en complétant l’environnement autour d’elles.

L’atout principal est l’audio natif. D’un seul coup, le modèle produit du son synchronisé avec l’image : ambiances, effets sonores, musique, et même dialogues synchronisés sur les lèvres. Il n’y a pas de phase séparée pour ajouter du son par la suite. Cela signifie qu’une scène de foule animée peut être générée avec des cris qui se superposent, des déclics d’appareil photo, des sirènes au loin et un moteur au ralenti, tout déjà chronométré à l’action à l’écran. Vous pouvez activer la génération audio pour obtenir un clip entièrement fini, ou la désactiver si vous préférez gérer le son vous-même.

Le contrôle créatif est aussi un point fort. Vous dirigez la caméra à travers votre prompt avec le langage du cinéma, en demandant des travellings, zooms compensés, mouvements à l’épaule avec micro-tremblements naturels, changements de point de vue et perspectives à hauteur d’œil ou en plongée. Le modèle interprète ces instructions comme un vrai chef opérateur. Il gère également la physique réaliste, donc la gestion des fluides, le mouvement des tissus et des personnages est crédible. Une capacité particulièrement utile est le montage multi-plans : en une séquence de jusqu’à 15 secondes, le modèle peut produire des coupures naturelles, pour obtenir des enchaînements au lieu d’un seul plan figé.

Grâce à l’utilisation de références visuelles, le modèle excelle pour la constance. Donnez une image de référence d’un personnage et il peut garder le même visage et costume dans tout le plan, même en changeant le style visuel. Les exemples montrent une approche hybride où des personnages animés 3D stylisés sont intégrés de façon fluide dans un décor live-action photoréaliste, tout en gardant le visage parfaitement constant et la tenue exacte de l’image d’origine, interagissant en plus de façon crédible avec la lumière réelle, les reflets, les éclairages urbains et les ombres portées. Cela en fait un choix idéal pour toute personne ayant besoin d’un personnage récurrent, d’un produit spécifique ou d’un style stable tout au long d’une scène.

Côté sortie, vous pouvez générer en 480p pour des résultats rapides, 720p pour un équilibre vitesse/qualité, ou 1080p pour une qualité maximale. La durée est flexible de 4 à 15 secondes, ou laissée au choix du modèle selon votre prompt. Le format d’image s’adapte également : choisissez 16:9 pour le paysage, 9:16 pour le vertical et les réseaux sociaux, 1:1 pour le carré, 21:9 pour l’ultrawide cinéma, 4:3, 3:4 ou auto pour laisser le modèle choisir. Vous pouvez aussi demander un encodage haute qualité pour obtenir un fichier plus gros et plus net, et fixer une seed pour reproduire un résultat apprécié, bien que de petites variations puissent survenir.

Les limites des références sont importantes à connaître. Les images peuvent être JPEG, PNG ou WebP, jusqu’à 30 Mo chacune, avec un maximum de 9. Les vidéos peuvent être MP4 ou MOV, pour une durée combinée de 2 à 15 secondes, un total de moins de 50 Mo, et une résolution entre 480p et 720p, avec un maximum de 3 vidéos. L’audio accepté est MP3 ou WAV, maximum 3 pistes pour une durée totale de 15 secondes et 15 Mo chacune. Une règle clé : si vous ajoutez des références audio, il faut aussi au moins une image ou une vidéo de référence. Peu importe le mélange, le total de fichiers de référence ne doit jamais dépasser 12.

Qui en profite ? Réalisateurs et cinéastes peuvent prévisualiser ou produire des séquences courtes en langage cinéma avec image et son finalisés. Créateurs de contenu et producteurs de réseaux sociaux peuvent transformer une seule référence de personnage en clips verticaux cohérents. Les agences et marketeurs peuvent déposer leur produit en image dans un décor stylisé, éclairé, avec mouvement de caméra contrôlé. Les animateurs et artistes multimédia peuvent mélanger des personnages stylisés dans des mondes photoréalistes, la technique hybride mise en avant dans les exemples. Puisqu’il s’appuie sur vos images, vidéos et sons, il est parfait pour la constance de marque, l’identité d’un personnage ou un style fixe—chaque fois que cette fiabilité compte plus que de simples essais par texte.

Quelques bonnes pratiques découlent naturellement de la logique du modèle. Rédigez vos prompts comme un réalisateur : décrivez le style, l’éclairage et le décor, le sujet, la séquence d’action, et l’audio souhaité, en nommant explicitement vos références avec les balises @ pour que le modèle sache quoi préserver. Gardez vos vidéos dans les limites de durée et de résolution pour les rendre exploitables, et n’oubliez pas qu’ajouter du son impose de fournir au moins une référence visuelle. Pour un rendu poli, détaillez vos descriptions d’action et de caméra, car le modèle réagit très bien à ce niveau de précision, comme on le voit dans l’exemple de foule et convoi. Avec des références réfléchies et des instructions claires, Seedance 2 Reference to Video livre des clips cinématographiques finis, avec son complet, fidèles à vos matériaux d’origine.