Seedance 2.0 Fast Reference to Video

Seedance 2.0 Fast Reference to Video คือโมเดลวิดีโอที่ขับเคลื่อนด้วยการอ้างอิงขั้นสูงสุดของ ByteDance ส่งมอบในระดับเร็วที่ปรับแต่งสำหรับผลลัพธ์ที่เร็วกว่าโดยไม่ลดทอนช่วงการสร้างสรรค์ แทนที่จะสร้างวิดีโอจากพรอมต์ข้อความเพียงอย่างเดียว มันช่วยให้คุณป้อนวัสดุอ้างอิงของคุณเองให้โมเดล แล้วกำหนดการจัดวางองค์ประกอบเหล่านั้นบนหน้าจอ คุณสามารถรวมภาพอ้างอิงได้สูงสุดเก้ารูป วิดีโออ้างอิงสูงสุดสามไฟล์ และคลิปเสียงสูงสุดสามไฟล์ในกระบวนการสร้างครั้งเดียว โดยผสมผสานแหล่งภาพและเสียงเพื่อกำหนดรูปลักษณ์ การเคลื่อนไหว และเสียงของคลิปที่เสร็จสมบูรณ์

สิ่งที่ทำให้โมเดลนี้โดดเด่นคือการที่คุณสามารถอ้างอิงถึงวัสดุอ้างอิงของคุณโดยตรงในพรอมต์ ทุกไฟล์ภาพ วิดีโอ และเสียงที่อัปโหลดจะได้รับตัวจัดการง่ายๆ ดังนั้นคุณสามารถเขียนเช่น @Image1, @Video2 หรือ @Audio1 ตรงในคำอธิบายเพื่อบอกโมเดลว่าต้องการให้แหล่งใดมีอิทธิพลต่อช่วงเวลาใดหรือหัวข้อใด นั่นหมายความว่าคุณไม่ได้หวังเพียงว่าโมเดลจะรับรู้บรรยากาศ แต่คุณกำลังตั้งชื่อตัวละครจากภาพหนึ่ง สไตล์การเคลื่อนไหวจากคลิป และเสียงหรือบรรยากาศจากแทร็กเสียง จากนั้นอธิบายว่าพวกมันโต้ตอบกันอย่างไร เป็นเวิร์กโฟลว์ที่สร้างขึ้นสำหรับการแปลงและจัดสไตล์วัสดุที่มีอยู่ การนำตัวละครและรูปลักษณ์ข้ามช็อต และการซิงค์ริมฝีปากให้กับเสียงที่ให้มา

โมเดลจะสร้างวิดีโอที่เสร็จสมบูรณ์พร้อมเสียงที่ซิงโครไนซ์ เมื่อเปิดการสร้างเสียง มันจะผลิตเอฟเฟกต์เสียง เสียงบรรยากาศ และคำพูดที่ซิงค์ริมฝีปากให้ตรงกับการกระทำบนหน้าจอ ดังนั้นตัวละครที่พูดจะขยับปากให้ตรงกับคำพูด หากคุณต้องการใช้ซาวด์แทร็กหรือเสียงของคุณเอง คุณสามารถป้อนคลิปเสียงอ้างอิงและอ้างอิงถึงมันในพรอมต์ โปรดทราบว่าเมื่อรวมเสียงอ้างอิง คุณต้องมีอย่างน้อยหนึ่งภาพหรือวิดีโออ้างอิงเพื่อให้โมเดลมีภาพยึดเหนี่ยวเสียง

คุณควบคุมการจัดเฟรมได้ยืดหยุ่น เลือกจากอัตราส่วนภาพครบชุด รวมถึง 16:9 ไวด์สกรีนสำหรับแนวนอน 9:16 สำหรับแนวตั้งและเนื้อหาแบบมือถือก่อน 1:1 สี่เหลี่ยมจัตุรัสสำหรับฟีดโซเชียล อัลตร้าไวด์ 21:9 สำหรับลำดับภาพยนตร์ บวก 4:3 และ 3:4 หรือให้โมเดลตัดสินใจอัตโนมัติตามพรอมต์ ความยาวปรับได้เช่นกัน: สร้างคลิปตั้งแต่ 4 ถึง 15 วินาที หรือตั้งเป็นอัตโนมัติเพื่อให้ความยาวเหมาะกับเรื่องราวที่คุณอธิบาย ช่วงนี้ทำให้ง่ายต่อการผลิตตั้งแต่คลิปโซเชียลที่วนลูปเร็วไปจนถึงบีตเรื่องราวที่ยาวกว่า

สำหรับคุณภาพเอาต์พุต คุณสามารถเลือก 480p สำหรับการสร้างที่เร็วกว่า หรือ 720p สำหรับผลลัพธ์ที่สมดุล ยังมีตัวควบคุมคุณภาพที่ให้คุณขอเวอร์ชันคุณภาพสูง ไฟล์ใหญ่กว่าเมื่อต้องการฟุตเทจที่สะอาดที่สุด หรือยึดเวอร์ชันมาตรฐานสำหรับไฟล์ขนาดเล็กลง การตั้งค่านี้ช่วยให้คุณแลกเปลี่ยนความเร็วและขนาดไฟล์กับความเที่ยงธรรม ขึ้นอยู่กับว่าคุณกำลังทดลองไอเดียอย่างรวดเร็วหรือส่งออกชิ้นงานสุดท้าย

อินพุตที่รองรับกว้างขวางและใช้งานได้จริง ภาพอ้างอิงสามารถเป็น JPEG, PNG หรือ WebP วิดีโออ้างอิงเป็น MP4 หรือ MOV และแต่ละไฟล์ควรมีความละเอียดประมาณ 480p ถึง 720p โดยความยาวรวมของคลิปอยู่ระหว่าง 2 ถึง 15 วินาที เสียงอ้างอิงเป็น MP3 หรือ WAV โดยเสียงรวมไม่เกิน 15 วินาทีทั่วทุกคลิป รวมทุกประเภทไฟล์ คุณสามารถรวมไอเท็มอ้างอิงสูงสุดสิบสองรายการในกระบวนการสร้างครั้งเดียว ให้พาเล็ตต์ที่อุดมสมบูรณ์ในการดึงมาใช้โดยยังคงจัดการได้สำหรับโมเดล

โมเดลนี้เหมาะสำหรับมืออาชีพสร้างสรรค์หลากหลาย ผู้กำกับภาพยนตร์และบรรณาธิการวิดีโอสามารถใช้ในการจัดสไตล์และแปลงฟุตเทจ ขยายฉาก หรือผสมหลายเทคให้เป็นช็อตที่กลมกลืนเดียว ผู้สร้างเนื้อหาและโปรดิวเซอร์โซเชียลมีเดียได้รับประโยชน์จากตัวเลือกเฟรมแนวตั้งและสี่เหลี่ยมจัตุรัสและความยาวสั้นกระชับที่สร้างสำหรับฟีด นักออกแบบตัวละครและอนิเมเตอร์สามารถพึ่งพาระบบอ้างอิงเพื่อรักษาความรู้จักตัวละครข้ามคลิปและขับเคลื่อนการซิงค์ริมฝีปากจากเสียงที่ให้มา นักดนตรีและนักเล่าเรื่องเสียงสามารถจับคู่แทร็กกับภาพและให้โมเดลจัดตำแหน่งการเคลื่อนไหวกับเสียง เพราะคุณสามารถอ้างอิงแหล่งเฉพาะโดยชื่อในพรอมต์ โมเดลจะตอบแทนการกำกับที่ตั้งใจและบรรยายชัดเจน: ยิ่งคุณอธิบายชัดว่าอ้างอิงใดทำอะไรและฉากควรดำเนินอย่างไร คุณยิ่งควบคุมผลลัพธ์ได้มากขึ้น

มีข้อควรพิจารณาปฏิบัติที่ควรจำไว้ สียงอ้างอิงต้องมีอย่างน้อยหนึ่งภาพหรือวิดีโออ้างอิงคู่กัน วิดีโออ้างอิงต้องอยู่ในช่วงความละเอียดและความยาวที่รองรับ และเสียงรวมทั้งหมดต้องไม่เกินสิบห้าวินาที จำนวนอ้างอิงรวมภาพ วิดีโอ และเสียงสูงสุดสิบสองไฟล์ ดังนั้นวางแผนว่าแหล่งใดสำคัญที่สุดสำหรับช็อตของคุณ ความละเอียดสูงและคุณภาพสูงจะให้ไฟล์ที่สวยกว่าแต่ใช้เวลารีเอนเดอร์นานกว่า ในขณะที่ 480p และเวอร์ชันมาตรฐานเหมาะสำหรับการทดลองเร็ว เช่นเดียวกับการสร้างแบบอ้างอิงใดๆ ผลลัพธ์จะดีขึ้นเมื่อวัสดุต้นทางสะอาด แสงดี และเฟรมชัด และเมื่อพรอมต์ตั้งชื่ออ้างอิงแต่ละตัวอย่างชัดเจนและบรรยายการเคลื่อนไหว อารมณ์ และเสียงที่ต้องการ ใช้เช่นนี้ Seedance 2.0 Fast Reference to Video จะกลายเป็นเครื่องมือยืดหยุ่นสำหรับเปลี่ยนภาพ คลิป และเสียงของคุณให้เป็นวิดีโอสั้นที่ซิงค์เสียงพร้อมรูปลักษณ์ที่คุณกำกับ