Seedance 2 Reference to Video

Seedance 2 Reference to Video הוא הדגם המתקדם ביותר של ByteDance לייצור וידאו מונחה הפניות, שנבנה עבור יוצרים שרוצים להנחות יצירה באמצעות חומר מקור אמיתי במקום להסתמך רק על טקסט.

במקום לתאר הכל במילים ולקוות שהמודל יפרש נכון, אתה יכול להאכיל אותו עד תשע תמונות הפניה, שלושה וידאו הפניות ושלושה קטעי אודיו, ואז להפנות אל כל אחד ישירות בתוך הפרומפט שלך באמצעות תגיות פשוטות כמו @Image1, @Video2 או @Audio3. התוצאה היא וידאו שלוקח את הדמויות, הסביבה, הסגנון, התנועה והצליל שאתה מצביע עליהם – עם אודיו מסונכרן טבעי ושליטה קולנועית במצלמה מובנית.

בליבו, זהו דגם text-to-video, כך שכל יצירה מתחילה בפרומפט כתוב. בפרומפט אתה מתאר את הסיפור, הפעולה, הקטעים ואיך הכל מתחבר. דוגמה אחת נותנת מושג על הטווח: תמנון שמוצא כדורגל בים, קורא לחברים שלו, ואז חיתוך למשחק כדורגל תת-ימי מלא. אתה מתאר סצנות, חותך ביניהן ומגדיר את האווירה, והמודל מביא את זה לחיים כתיעוד נע. מה שמבדיל אותו מכלי text-to-video רגיל הוא מערכת ההפניות שמוטמעת מעל. על ידי צירוף ויזואליה וצלילים משלך והפניה אליהם בפרומפט, אתה מקבל שליטה רבה יותר בדיוק על מה שמופיע על המסך.

תמונות ההפניה מקבלות קבצי JPEG, PNG ו-WebP, עד תשע מהן, כל אחת עד 30 MB. השתמש בהן כדי לנעול מראה של דמות, מיקום ספציפי, מוצר, לבוש או סגנון אמנותי. וידאו הפניות מקבלים MP4 ו-MOV, עד שלושה קליפים עם משך משולב בין 2 ל-15 שניות. אלה שימושיים כשאתה רוצה להעביר תנועה, קצב או התנהגות ויזואלית ספציפית לוידאו החדש שלך. אודיו הפניה מקבל MP3 ו-WAV, עד שלושה קבצים עם משך משולב שלא יעלה על 15 שניות – מצוין להנעת דיבור, רמזי מוזיקה או צלילי רקע. כלל חשוב אחד: אם אתה מספק אודיו, חובה לספק לפחות תמונת או וידאו הפניה אחד. בסך כל שלוש הקטגוריות יחד, אתה יכול לצרף עד 12 קבצים בסך הכל ביצירה אחת.

אודיו הוא חלק מרכזי ראשון ביציאה. כברירת מחדל המודל מייצר אודיו מסונכרן ללוות את הווידאו, כולל אפקטי צליל, צלילי רקע ודיבור מסונכרן שפתיים. זה אומר שדמות שמדברת בווידאו שלך יכולה להזיז את הפה בהתאמה לדיálogo שנוצר, וצלילי סביבה יכולים להשתלב אוטומטית. אם אתה מעדיף קליפ שקט כדי להוסיף לו מוזיקה בעצמך מאוחר יותר, אתה יכול פשוט לכבות יצירת אודיו.

יש לך שליטה ישירה על המראה והאורך של הווידאו הסופי שלך. אפשרויות רזולוציה נעות מ-480p לבקשות מהירות, דרך 720p כברירת מחדל מאוזנת, 1080p לאספקה באיכות גבוהה, ועד 4K לנאמנות הגבוהה ביותר. משך זמן גמיש מ-4 עד 15 שניות, או שאתה יכול לתת למודל להחליט על האורך האידיאלי בהתבסס על הפרומפט שלך על ידי השארתו על אוטומטי. יחס גובה-רוחב גמיש באותה מידה: בחר 16:9 לנוף, 9:16 לאנכי ותוכן ראשון לסושיאל, 1:1 לריבוע, 4:3 או 3:4 למסגור קלאסי, 21:9 למסגרות קולנועיות רחבות מאוד, או אוטומטי כדי לתת למודל לבחור את ההתאמה הטובה ביותר לסצנה שלך. לאספקה סופית, אתה יכול גם לבקש גרסה באיכות גבוהה יותר וקובץ גדול יותר כשאתה רוצה את הפלט הנקי ביותר, או להישאר עם הגרסה הסטנדרטית לשימוש יומיומי.

הדגם הזה מתאים היטב למגוון רחב של מקצוענים יצירתיים. יוצרי סרטים ואמני וידאו יכולים לתכנן וליצור אבטיפוס לסצנות קולנועיות עם תנועת מצלמה אמיתית וחיתוכי סצנות. יוצרי תוכן ומפיקי מדיה חברתית יכולים לייצר קליפים אנכיים מסונכרנים שפתיים עם צליל טבעי בשלב אחד. מעצבים ומומחי שיווק יכולים להכניס צילומי מוצרים או תמונות מותג כהפניות כדי לשמור על עקביות ויזואלית בקמפיין. אנימטורים ויוצרי תוכן בסגנון יכולים להפוך חומר הפניה לתנועה חדשה, וכל מי שעובד על סיפורים מונעי דמויות יכול להשתמש בהפניות תמונה כדי לשמור על זיהוי הדמות לאורך הסצנה. התגיות stylized, transform ולipsync מבטאות את נקודות החוזק שלו: הפיכת הפניות לתיעוד חדש בסגנון והנעת דיבור מסונכרן.

כשעובדים עם המודל, כמה הנחיות מעשיות עוזרות. שמור על קבצי ההפניה בתוך המגבלות – מקסימום תשע תמונות, שלושה וידאו בסך 2 עד 15 שניות ורזולוציה של כ-480p עד 720p, שלושה קטעי אודיו בסך לא יותר מ-15 שניות, ולא יותר מ-12 קבצים בסך הכל. תמיד הפנה במפורש לקבצים המצורפים בפרומפט באמצעות תגיות @Image, @Video ו-@Audio כדי שהמודל ידע איך אתה רוצה להשתמש בכל אחד. זכור שאודיו הפניות דורש לפחות תמונת או וידאו מלווה אחד. רזולוציות נמוכות כמו 480p אידיאליות לבדיקות מהירות ושיפורים, בעוד 1080p ו-4K מומלצות לשמירה לפלט הסופי. מכיוון שהמודל יכול להחליט על משך ויחס גובה-רוחב אוטומטית, השארתם על אוטומטי היא נקודת התחלה טובה כשאתה חוקר, ואז נעילה כשאתה יודע את הפורמט המדויק שאתה צריך.

בסך הכל, Seedance 2 Reference to Video מיועד ליוצרים שרוצים את הגמישות של וידאו מונחה פרומפט בשילוב הדיוק של הפניות אמיתיות – שילוב התמונות, הקטעים והצלילים שלך לקליפ אחד מסונכרן אודיו עם שליטה קולנועית במסגור, אורך ואיכות.