Seedance 2.0 Fast Reference to Video

Seedance 2.0 Fast Reference to Video er ByteDance's mest avancerede reference-drevne videomodel, leveret i en hurtig version optimeret til hurtigere resultater uden at gå på kompromis med kreativiteten. I stedet for kun at lave video ud fra en tekstprompt, giver modellen dig mulighed for at give dine egne reference-materialer og derefter koreografere, hvordan elementerne sammensættes på skærmen. Du kan kombinere op til ni referencebilleder, op til tre referencevideoer og op til tre lydklip i én generering, så du kan mixe og matche visuelle og lydmæssige kilder for at styre udseende, bevægelse og lyd i den færdige video.

Det, der adskiller denne model, er hvor direkte du kan henvise til dine referencer i prompten. Hvert billede, video og lydfil du uploader får et simpelt navn, så du kan skrive f.eks. @Image1, @Video2 eller @Audio1 direkte i beskrivelsen og dermed præcisere, hvilken kilde skal påvirke hvilket øjeblik eller element. Det betyder, at du ikke bare håber på, at modellen fanger en stemning – du navngiver karakteren fra ét billede, bevægelsesstilen fra et videoklip, og stemmen eller stemningen fra et lydspor og beskriver, hvordan de skal samspille. Det er en arbejdsgang, der er skabt til at transformere og stilisere eksisterende materiale, lade karakterer og udtryk gå igen på tværs af klip og synkronisere mundbevægelser til indleveret lyd.

Modellen leverer færdige videoer med synkroniseret lyd. Når lydgenerering er slået til, bliver der skabt lydeffekter, baggrundslyde og synkroniseret tale, der matcher handlingen på skærmen – så en talende person bevæger munden i takt med ordene. Hvis du hellere vil bruge dit eget soundtrack eller stemme, kan du tilføje reference-lydklip og henvise til dem i din prompt. Bemærk, at når du inkluderer reference-lyd, skal du også have mindst ét referencebillede eller en referencevideo, så modellen har noget visuelt at koble lyden op på.

Du har fleksibel kontrol over indramning. Vælg frit mellem alle formater, fx bredformat 16:9 til landskab, 9:16 til vertikale og mobil-først indhold, 1:1 firkant til sociale feeds, ultrabred 21:9 til filmiske sekvenser, samt 4:3 og 3:4, eller lad modellen selv bestemme efter din prompt. Varighed er ligeså fleksibel: generér klip på mellem 4 og 15 sekunder, eller vælg automatisk længde, så klippet passer til din beskrivelse. Dette gør det nemt at skabe alt fra hurtige, loopende socialklip til længere, fortællende sekvenser.

Du kan vælge output-kvalitet mellem 480p for hurtigere generering og 720p for en afbalanceret kvalitet. Der er også en kvalitetskontrol, hvor du kan bede om en version i højere kvalitet og større filstørrelse til det reneste billede, eller holde dig til standardudgaven for mindre filer. Disse indstillinger gør det nemt at balancere hastighed og filstørrelse mod detaljegrad, alt efter om du hurtigt vil udvikle idéer eller eksportere det endelige resultat.

Inputmulighederne er brede og praktiske. Referencebilleder kan være JPEG, PNG eller WebP. Referencevideoer kan være MP4 eller MOV, og hver af dem bør være mellem ca. 480p og 720p i opløsning, med samlet længde af videoklippene mellem 2 og 15 sekunder. Reference-lyd kan være MP3 eller WAV, og samlet lyd må ikke overstige 15 sekunder på tværs af alle klip. På tværs af alle filtyper kan du inkludere op til tolv referenceelementer i én generering, hvilket giver dig en rig værktøjskasse uden at det bliver uoverskueligt for modellen.

Denne model er oplagt til en bred vifte af kreative fagfolk. Filmskabere og videoredigerende kan bruge den til at stilisere og transformere optagelser, forlænge en scene eller samle flere takes til én sammenhængende video. Indholdsskabere og sociale medie-producenter får fordel af de vertikale og kvadratiske formater samt de korte, punchy længder, der passer perfekt til feeds. Karakterdesignere og animatorer kan bruge referencesystemet til at gøre en figur genkendelig på tværs af et klip og styre lip-sync ud fra indleveret stemme. Musikere og lydfortællere kan matche et track med visuals og lade modellen synkronisere bevægelse med lyd. Fordi du kan referere direkte til dine kilder i prompten, belønnes tydelig og præcis instruktion: jo mere konkret du beskriver, hvilke referencer der gør hvad, og hvordan scenen skal udfolde sig, jo større kontrol får du over resultatet.

Der er nogle praktiske ting at være opmærksom på. Reference-lyd kræver altid mindst ét referencebillede eller -video ved siden af. Dine referencevideoer skal ligge inden for de understøttede opløsninger og længder, og samlet lyd må ikke overstige femten sekunder. Det samlede antal referencer på tværs af billeder, video og lyd er maksimalt tolv filer – så overvej hvilke kilder, der er vigtigst for dit shot. Højere opløsning og kvalitet giver flottere og større filer, men tager længere tid at generere, mens 480p og standardudgaven er bedst til hurtig iteration. Som ved al reference-baseret generering forbedres resultaterne, når dit kildemateriale er rent, velbelyst og tydeligt indrammet, og når din prompt navngiver hver reference eksplicit og beskriver den bevægelse, stemning og lyd, du ønsker. Brugt på denne måde bliver Seedance 2.0 Fast Reference to Video et fleksibelt værktøj til at forvandle dine egne billeder, videoer og lyd til korte, lydsynkroniserede videoer med det look, du bestemmer.