Seedance 2 Reference to Video

Seedance 2 Reference to Video je nejpokročilejší referenční video model od ByteDance, vytvořený pro tvůrce, kteří chtějí řídit generování s použitím skutečných zdrojových materiálů místo pouhého textu. Místo toho, abyste vše popisovali od začátku, jednoduše modelu předáte směs až 9 obrázků, 3 videí a 3 zvukových klipů (celkem 12 souborů různých typů) a spojíte je psaným upřesněním. Ke každému souboru přímo odkazujete ve svém promptu pomocí jednoduchých tagů jako @Image1, @Video1 nebo @Audio1, takže model přesně ví, jakou tvář, prostředí, pohyb nebo zvuk má respektovat. Výsledkem je jediný souvislý filmový klip, který zachovává vaše reference a zároveň dotváří okolní svět.

Výraznou funkcí je nativní zvuk. Model při jednom generování vytváří synchronizovaný zvuk spolu s obrazem: ambientní ruchy, zvukové efekty, hudbu i dabing sladěný na rty. Zvuk není nutné přidávat později v dalším kroku. To znamená, že například rušná scéna s davem obsahuje výkřiky, klikání závěrky, vzdálené sirény i motor běžící na pozadí – vše načasované přesně na dění ve videu. Zvukovou generaci můžete nechat zapnutou pro kompletní klip, nebo ji vypnout a zvuk si řešit sami.

Kreativní kontrola je velkou předností tohoto modelu. Ovládáte kameru psaným promptem ve filmovém stylu: požadujte dolly zoom, jízdy kamery, ručně držené záběry s přirozeným mikrochvěním, změny pohledu postavy, pohled v úrovni očí nebo z nadhledu. Model takové instrukce chápe jako skutečný kameraman. Zvládá také realističtější fyziku, takže například pohyby tekutin, látky nebo postavy působí věrohodně. Obzvlášť užitečná je možnost střihu: v rámci jednoho generování až do 15 sekund dokáže model vytvořit přirozené střihy, takže získáte sekvenci plynule přecházející mezi záběry, místo statického snímku.

Díky podpoře referenčních obrázků vyniká model v konzistenci. Pokud zadáte referenci postavy, dokáže vykreslit stejnou tvář i oblečení napříč záběrem, i když převede subjekt do jiného vizuálního stylu. Příklady ukazují hybridní vzhled, kde stylizované 3D animované postavy plynule zapadají do zcela fotorealistického živého prostředí. Referenční postava si udrží perfektně stejnou tvář i přesné oblečení z původního obrázku a přitom věrně reaguje na skutečné světlo, odrazy blesků, záři lamp nebo stíny. Je to ideální nástroj pro ty, kdo potřebují opakovanou postavu, konkrétní produkt nebo pevný vzhled pro jednotný vizuální styl v celé scéně.

Co se týče výstupů, můžete generovat v rozlišení 480p pro rychlý výsledek, 720p pro kompromis mezi rychlostí a kvalitou nebo 1080p pro vysokou kvalitu. Délka je flexibilní: od 4 do 15 sekund, případně ji model automaticky určí podle vašeho zadání. Poměr stran je také přizpůsobitelný: 16:9 pro klasický širokoúhlý formát, 9:16 pro vertikální a sociální sítě, 1:1 pro čtvercové video, 21:9 pro ultrawide film, 4:3, 3:4, nebo automaticky. Dále můžete požádat o kvalitnější enkódování pro větší a čistší soubor a nastavit seed pro reprodukci výsledku, který se vám líbí (menší odchylky se však mohou objevit).

Reference mají rozumné limity. Obrázky mohou být ve formátu JPEG, PNG nebo WebP, maximálně 30 MB každý a celkem až 9 kusů. Videa ve formátu MP4 nebo MOV, celkově v délce 2 až 15 sekund, do 50 MB pro všechny a s rozlišením mezi 480p a 720p, maximálně 3 videa. Zvuk ve formátu MP3 nebo WAV, až 3 soubory, celkově ne více než 15 sekund a maximálně 15 MB každý. Důležité pravidlo: pokud zadáváte zvukovou referenci, musíte mít i alespoň jeden obrázek nebo video. Celkový počet referenčních souborů všech typů nesmí přesáhnout 12.

Komu se model hodí? Filmaři a režiséři mohou snadno předvizualizovat nebo vytvořit krátké filmové sekvence s reálným kamerovým jazykem a hotovým zvukem. Tvořitelé obsahu a producenti pro sociální sítě vykouzlí jednotné klipy s jednou postavou. Inzerenti a marketéři vloží produktový obrázek do úžasného stylizovaného prostoru s přesným pohybem kamery. Animátoři a tvůrci kombinovaných médií propojí stylizované postavy s fotorealistickými světy přesně podle ukázkového hybridního workflow. Díky použití vašich vlastních obrázků, videí i zvuku je ideální pro situace, kdy je důležitější jednotná vizuální identita značky nebo postavy než čistě textové zadání.

Několik tipů pro nejlepší výsledky přímo vyplývá z principu modelu. Pište prompty jako režisér: popište styl, světlo a prostředí, subjekt, akci i požadovaný zvuk a na své referenční materiály odkazujte přes @ tagy, aby model věděl, co má zachovat. Dodržujte limity délky a rozlišení u video referencí, aby fungovaly bez komplikací, a nezapomeňte, že pro použití zvukových referencí potřebujete i vizuální podklad. Pro co nejprofesionálnější výsledek doporučujeme detailní popisy akce a pohybů kamery, protože toho model dokáže skvěle využít, jak je vidět na komplexním příkladu scény s davem a konvojem. S promyšlenými referencemi a jasným zadáním dodává Seedance 2 Reference to Video hotové, zvukově kompletní filmové klipy, které věrně respektují váš zdrojový materiál.