Seedance 2.0 Fast Reference to Video

Seedance 2.0 Fast Reference to Video הוא המודל המתקדם ביותר של ByteDance לווידאו מונע-התייחסות, המוצע בגרסה מהירה המותאמת לתוצאות מהירות יותר מבלי לוותר על טווח יצירתי. במקום לייצר וידאו מתיאור טקסטואלי בלבד, הוא מאפשר לך להזין למודל חומר התייחסות משלך ואז לביים כיצד האלמנטים האלה מתחברים על המסך. ניתן לשלב עד תשע תמונות התייחסות, עד שלושה סרטוני התייחסות ושלושה קטעי אודיו בקיצור גנרציה אחד, תוך שילוב ושיבוץ מקורות ויזואליים וקוליים כדי להנחות את המראה, התנועה והצליל של הקטע הסופי.

מה שמייחד את המודל הזה הוא כמה ישירות אתה יכול להצביע על ההתייחסויות שלך בתוך התיאור. כל קובץ תמונה, וידאו או אודיו שאתה מעלה מקבל ידית פשוטה, אז אתה כותב דברים כמו @Image1, @Video2 או @Audio1 ממש בתיאור שלך כדי להגיד למודל בדיוק איזה מקור צריך להשפיע על איזה רגע או נושא. זה אומר שאתה לא רק מקווה שהמודל יתפוס מצב רוח, אתה קורא לדמות מתמונה אחת, לסגנון התנועה מקטע, ולקול או לאווירה ממסלול אודיו, ואז מתאר איך הם מתקשרים. זה זרימת עבודה שנבנתה להפיכה ועיצוב חומר קיים, העברת דמויות ומראות בין צילומים, והתאמת שפתיים להופעות לאודיו מסופק.

המודל מפיק וידאו מוגמר עם אודיו מסונכרן. כאשר יצירת אודיו מופעלת, הוא מייצר אפקטי צליל, רעשי רקע ודיבור מסונכרן שפתיים שמתאים לפעולה על המסך, כך שנושא מדבר זז את הפה בזמן עם המילים. אם אתה מעדיף לספק פסקול או קול משלך, אתה יכול לספק קטעי אודיו התייחסות ולהתייחס אליהם בתיאור שלך. שים לב שכל עוד אתה כולל אודיו התייחסות, אתה צריך לפחות תמונת או וידאו התייחסות אחד כדי שהמודל יוכל לקשור את הצליל למשהו ויזואלי.

יש לך שליטה גמישה על קידור המסגרת. בחר ממגוון מלא של יחסי רוחב-גובה כולל 16:9 רחב למסך, 9:16 אנכי ומותאם לנייד, 1:1 ריבוע להאכשות חברתיות, 21:9 רחב מאוד לרצפים קולנועיים, בתוספת אפשרויות 4:3 ו-3:4, או תן למודל להחליט אוטומטית על סמך התיאור שלך. משך הזמן גמיש באותה מידה: צור קטעים מכל משך בין 4 ל-15 שניות, או הגדר לאוטומטי כך שהאורך יתאים לסיפור שתיארת. טווח זה מקל על ייצור הכל מקטע לולאה חברתי מהיר עד קטע נרטיבי ארוך יותר.

לאיכות הפלט, אתה יכול לבחור בין 480p לייצור מהיר יותר לבין 720p לתוצאה מאוזנת. יש גם בקרת איכות שמאפשרת לבקש גרסה באיכות גבוהה יותר וקובץ גדול יותר כשאתה רוצה את התיעוד הנקי ביותר, או להישאר עם הגרסה הסטנדרטית לקבצים קטנים יותר. הגדרות אלה מאפשרות לך לאזן בין מהירות וגודל קובץ לבין נאמנות בהתאם לכך שאתה חוזר מהר על רעיונות או מייצא יצירה סופית.

קלטים נתמכים רחבים ומעשיים. תמונות התייחסות יכולות להיות JPEG, PNG או WebP. סרטוני התייחסות יכולים להיות MP4 או MOV, וכל אחד צריך להיות בערך בין 480p ל-720p ברזולוציה, עם משך משולב של הקטעים בין 2 ל-15 שניות. אודיו התייחסות יכול להיות MP3 או WAV, עם סך האודיו לא יותר מ-15 שניות על פני כל הקטעים. על פני כל סוגי הקבצים המחוברים, ניתן לכלול עד 12 פריטי התייחסות בקיצור גנרציה אחד, מה שנותן לך פלטת צבעים עשירה לציור ממנה תוך שמירה על ניהוליות עבור המודל.

המודל הזה מתאים היטב למגוון רחב של מקצועני יצירה. יוצרי סרטים ועורכי וידאו יכולים להשתמש בו לעיצוב והפיכת תיעוד, הארכת סצנה או שילוב לקיחות מרובות לצילום אחד קוהרנטי. יוצרי תוכן ויוצרי מדיה חברתית נהנים מאפשרויות המסגור האנכי והריבועי ומשך הזמנים הקצרים והחזקים המיועדים להאכשות. מעצבי דמויות ומאנימטורים יכולים להסתמך על מערכת ההתייחסות כדי לשמור על נושא מוכר על פני קטע ולהניע התאמת שפתיים מקול מסופק. מוזיקאים וסיפורי אודיו יכולים לשלב מסלול עם ויזואליות ולהניח למודל ליישר תנועה לצליל. מכיוון שניתן להתייחס למקורות ספציפיים בשם בתיאור, המודל מתגמל כיוון מכוון ותיאורי: ככל שתפרט יותר בבירור איזה התייחסות עושה מה ואיך הסצנה צריכה להתפתח, כך תקבל יותר שליטה על התוצאה.

כמה שיקולים מעשיים שכדאי לזכור. אודיו התייחסות תמיד צריך לפחות תמונת או וידאו התייחסות לצידו. סרטוני ההתייחסות שלך צריכים להיות בתוך חלונות הרזולוציה והאורך הנתמכים, וסך האודיו המשולב חייב להישאר בתוך 15 שניות. סך ההתייחסויות על פני תמונות, וידאו ואודיו מגיע ל-12 קבצים לכל היותר, אז תכנן אילו מקורות הכי חשובים לצילום שלך. רזולוציה גבוהה ואיכות גבוהה מייצרות קבצים גדולים יותר ונראים טוב יותר אבל לוקחות יותר זמן לרינדור, בעוד 480p והגרסה הסטנדרטית אידיאליות לחזרות מהירות. כמו בכל יצירה מבוססת-התייחסות, התוצאות משתפרות כשחומר המקור נקי, מואר היטב וממוסגר בבירור, וכשהתיאור קורא לכל התייחסות במפורש ומתאר את התנועה, המצב רוח והצליל הרצויים. בשימוש כזה, Seedance 2.0 Fast Reference to Video הופך לכלי גמיש להפיכת התמונות, הקטעים והאודיו שלך לוידאו קצרים עם סנכרון צליל ומראה שאתה מנווט.