חוקרים חשפו את GraphVid, מערכת ליצירת וידאו המפחיתה את ה-Fréchet Inception Distance ב-39.9% ואת ה-Fréchet Video Distance ב-37.6% לעומת מודלים קודמים. השיפור בריאליזם ובדיוק התנועה חשוב לכל מי שבנה סימולטורים לרובוטיקה, מערכות אימון לנהיגה אוטונומית או אנימציה ממוחשבת.

מדוע השיטות הקיימות אינן מספיקות

מחוללי וידאו ניתנים לשליטה (controllable) כיום מסתמכים על שני קלטים. הנחיות טקסט (Text prompts) מספקות תיאור מעורפל אך אינן יכולות לקבוע את המסלול המדויק של אובייקט. כלי מסלול (Trajectory tools) מאלצים משתמשים לצייר מסלול ברמת הפיקסל עבור כל דמות, דבר שקורס כאשר סצנות מכילות מספר ישויות המקיימות אינטראקציה או הסתרות (occlusions). מהנדסים מסתיימים בתיקון מסלולים שבורים הרבה יותר פעמים מאשר ביצירת התנועה המיועדת.

גישת גרף האינטראקציה של GraphVid

GraphVid מחליפה מסלולים מצוירים ידנית בגרף אינטראקציה ברמה גבוהה. במקום למפות כל פיקסל, המשתמש מגדיר מערכות יחסים — "אובייקט A מתקרב לאובייקט B", "אובייקט C עוקב אחרי אובייקט D", "אובייקט E מתנגש באובייקט F". המודל קורא את הגרף כתוכנית עבודה (blueprint) ומתרגם רמזי יחסים לתנועה ומראה קוהרנטיים. על ידי התמקדות בסמנטיקה במקום בקואורדינטות גולמיות, הוא עוקב אחר אובייקטים גם כשהם נעלמים מאחורי אחד השני.

הצוות בנה סט אימון ייעודי, GraphVid-Bench, המצמד קטעי וידאו לנתוני יחסים מובנים. סט נתונים זה מראה למודל כיצד אובייקטים מרובים נעים יחד תחת דפוסי אינטראקציה שונים, מה שמעניק לו אוצר מילים תנועתי שהוא יכול לשלב מחדש בזמן הסקה (inference).

שיפורי ביצועים

מדד מודלים קודמים GraphVid
Fréchet Inception Distance (FID) – ↓ 39.9%
Fréchet Video Distance (FVD) – ↓ 37.6%
Peak Signal-to-Noise Ratio (PSNR) 9.87 15.98
Structural Similarity Index (SSIM) 0.38 0.61

ציוני FID ו-FVD נמוכים יותר פירושם שהסרטונים שנוצרים נראים ריאליסטיים יותר והתנועה נשארת חלקה יותר בין פריימים. הזינוק ב-PSNR וב-SSIM מעיד על טקסטורות חדות יותר ושימור מבני טוב יותר. יחד, מספרים אלו מראים ש-GraphVid מייצרת סרטונים הקרובים באופן ניכר לצילומים אמיתיים.

יעילות והשפעה מעשית

GraphVid משיגה את השיפורים הללו עם פחות פרמטרים ופחות נתוני אימון מאשר גישות קודמות. המודל מנתח את מבנה הסצנה במקום לשנן דינמיקה ברמת הפיקסל. עבור מהנדסי AI, זרימת העבודה משתנה מציור מסלולים מפרך לתכנון נתוני יחסים — שינוי שמתרחב באופן טבעי ככל שמספר האובייקטים עולה.

פוטנציאל המוטבים כולל:

  • רובוטיקה – סביבות סימולציה יכולות כעת לשקף אינטראקציות אובייקטים ריאליסטיות ללא כתיבת תסריטי מסלול ידנית.
  • נהיגה אוטונומית – תרחישי תנועה עם מכוניות, הולכי רגל ורוכבי אופניים מרובים יכולים להיות מיוצרים מכללי אינטראקציה ברמה גבוהה, מה שמאיץ את תהליכי העשרת הנתונים (data-augmentation).
  • אנימציה – אמנים יכולים להתמקד במערכות יחסים נרטיביות בעוד המערכת מטפלת בפיזיקה של התנועה שבבסיס.

שורה תחתונה: על ידי התייחסות למערכות יחסים בין אובייקטים כאות הבקרה העיקרי, GraphVid הופכת את יצירת הווידאו לאינטואיטיבית יותר עבור יוצרים ונאמנה יותר לתנועה בעולם האמיתי, מה שמצביע על כיוון חדש לסינתזה ניתנת לשליטה.