Seedance 2 Reference to Video

Seedance 2 Reference to Video は ByteDance の最も先進的な reference-to-video モデルで、クリエイティブな参照素材を、同期音声付きの完全に実現されたシネマティッククリップに変換することを目的としています。ゼロから始めるのではなく、このモデルを使えば、テキストプロンプトに最大 9 枚の画像、3 つの動画、3 つのオーディオクリップを組み合わせたリッチな参照素材で、すべての生成をガイドできます。結果として、ストーリーテラーにとって、キャラクター、スタイル、動き、雰囲気を、既存の参照素材に基づいて精密に制御できる強力なツールとなります。

このモデルの核心は、記述プロンプトから短形式の動画を作成することです。たとえば、海中でタコがサッカーボールを見つけ、興奮して友達を遊びに行かせ、水中サッカーの試合にカットするシーンを記述すると、モデルがそれを生き生きと実現します。このバージョンを際立たせるのは、参照メディアを直接活用する能力です。静止画像をドロップしてプロンプト内で @Image1、@Image2 などと参照したり、@Video1、@Video2 で動きやルックをガイドしたり、@Audio1、@Audio2 でサウンドスケープを形成したりできます。この参照システムにより、モデルに最終クリップでどの要素を尊重するかを自然で直感的に伝えられます。すべてのモダリティで最大 12 個の参照ファイルを組み合わせ、プロジェクトのニーズに合わせて画像、動画、オーディオをミックス可能です。

際立った機能の一つがネイティブオーディオ生成です。デフォルトで、ビジュアルに同期したサウンドを生成します。これには効果音、周囲ノイズ、リップシンクされたスピーチが含まれます。これにより、話すキャラクター、大気的なシーン、完全にスコアリングされた瞬間を、後からオーディオを重ねることなく作成できます。自分でサウンドを扱いたい場合は、オーディオ生成をオフにできます。独自の参照オーディオを提供する場合は、モデルがそれを結果をガイドするために使用し、少なくとも 1 つの参照画像または動画をオーディオと一緒に提供する必要があります。

このモデルは、映画製作者やデザイナーに最終的なルックに対する意味ある制御を提供します。ニーズに合わせた解像度を選択可能：クイックドラフト用の高速オプション、日常作業用のバランス設定、洗練された出力用の高品質設定、最も要求の厳しいプロジェクト用の超高品質オプションです。長さも柔軟で、4 〜 15 秒のクリップ長を指定するか、プロンプトに基づいてモデルに最適な長さを決めさせることができます。アスペクト比は、ワイドスクリーン風景、縦型ポートレート、正方形、クラシック、ウルトラワイドシネマティックフレームまでカバーし、モデルが最適な形状を選択する自動オプションもあります。よりシャープで高忠実度の結果が必要な場合は、より高品質な出力で、より大きくリッチなファイルを作成できます。

これらの機能の組み合わせにより、Seedance 2 Reference to Video は幅広いクリエイティブプロフェッショナルに適しています。映画製作者やビデオアーティストは、シネマティックカメラ駆動のシーケンス、スタイライズド変換、リップシンクキャラクターの瞬間を作成できます。デザイナーやコンテンツクリエイターは、ソーシャルプラットフォーム向け縦型クリップ、正方形投稿、ウルトラワイドシネマティックピースを同じく容易に制作できます。スタイライズド変換とリップシンクワークフローをサポートするため、アニメーションストーリーテリング、キャラクター駆動コンテンツ、音楽や対話シーン、現実の参照映像と生成画像をブレンドした想像力豊かなコンセプトに適しています。画像、クリップ、オーディオのライブラリを新しいものにリミックスしたい人にとって、参照システムは特に強力です。

実際のワークフローはシンプルでクリエイティブ優先です。アクション、設定、ムードを記述したプロンプトから始め、モデルに活用してほしい参照画像、動画、オーディオを添付し、プロンプト内で各ピースがどのように現れるか振る舞うかを直接指定します。次に解像度、長さ、アスペクト比、同期オーディオの有無を調整して生成します。モデルはレビュー可能な完成動画と、特定の結果を再訪・拡張するためのシード値を返します。

いくつかの実践的な考慮事項があります。参照画像は JPEG、PNG、WebP などの一般的な形式で最大 9 枚。参照動画は MP4 または MOV で最大 3 つ、標準〜バランス解像度で合計 2〜15 秒。参照オーディオは MP3 または WAV で最大 3 ファイル、合計長が 15 秒を超えない。すべてのタイプの参照ファイル合計は 12 以内、オーディオ参照には少なくとも 1 つの画像または動画が必要です。生成クリップ自体は 4〜15 秒で、インパクトのある短形式シーケンスに特化しています。

マルチ参照ガイド、ネイティブ同期オーディオ、シネマティックカメラ制御、柔軟な出力設定のブレンドにより、Seedance 2 Reference to Video はクリエイターに、アイデアと既存メディアを洗練されたサウンドリッチ動画に変換する表現力豊かで制御可能な方法を提供します。スタイライズドキャラクターシーン、ソーシャル向け縦型クリップ、ウルトラワイドシネマティック瞬間など、どんなものでも、動きとサウンドの重労働をモデルが担い、結果を形作るクリエイティブレバーを提供します。