Black Forest Labs ने Flux 3 सादर केले: व्हिडिओ आणि ऑडिओमधील एक मल्टिमॉडल झेप

Black Forest Labs (BFL) ने Flux 3 च्या प्रकाशनासह "world models" च्या क्षेत्रात अधिकृतपणे प्रवेश केला आहे. Flux 3 हे एक मल्टिमॉडल फाउंडेशन मॉडेल असून ते डिजिटल जनरेशन आणि भौतिक बुद्धिमत्ता (physical intelligence) यांच्यातील अंतर कमी करण्यासाठी डिझाइन केलेले आहे. प्रतिमा (images), व्हिडिओ आणि ऑडिओवर एकाच वेळी प्रशिक्षण देऊन, Flux 3 अशा प्रकारची संवेदी सुसंगतता (sensory cohesion) प्राप्त करते, जी पारंपारिक सिंगल-मोडॅलिटी मॉडेल्सना मिळवणे कठीण जाते.

मल्टिमॉडल ट्रेनिंग आणि नेटिव्ह ऑडिओची शक्ती

आवाजाचे सिंक्रोनाइझेशन करण्यासाठी अनेकदा वेगळ्या प्रक्रियेची आवश्यकता असलेल्या मागील पिढीच्या व्हिडिओ मॉडेल्सच्या उलट, Flux 3 मध्ये २० सेकंदांपर्यंतच्या व्हिडिओ क्लिपसाठी नेटिव्ह ऑडिओ जनरेशनची सुविधा देण्यात आली आहे. हा विकास BFL च्या या तत्त्वावर आधारित आहे की कोणतीही एक मोडॅलिटी वास्तव पूर्णपणे टिपू शकत नाही. प्रतिमा अवकाशीय संरचना (spatial structure) प्रदान करतात आणि व्हिडिओ कालबद्ध बदल (temporal changes) दर्शवतो, तर ऑडिओ यांत्रिक घटना आणि त्यांचे आवाज यांच्यातील कार्यकारणभाव (causal links) स्पष्ट करतो.

BFL च्या मालकीच्या "Self-Flow" दृष्टिकोनावर आधारित मल्टिमॉडल ट्रान्सफॉर्मरचा वापर करून, हे मॉडेल प्रतिमा, व्हिडिओ, ऑडिओ आणि अगदी कृतींना (actions) देखील एका सामायिक अंतर्गत प्रतिनिधित्वात (shared internal representation) रूपांतरित करते. हे युनिफाइड ट्रेनिंग मॉडेलला माहितीमधील त्रुटी भरून काढण्यास मदत करते—उदाहरणार्थ, दृश्य हालचालीचे भौतिकशास्त्र (physics) अधिक चांगल्या प्रकारे समजून घेण्यासाठी ऑडिओ संकेतांचा वापर करणे. Flux 3 मध्ये text-to-video, image-to-video, keyframe-आधारित ट्रान्झिशन आणि बहुभाषिक संवाद यांसारख्या प्रगत वैशिष्ट्यांचा समावेश आहे.

उद्योगातील दिग्गज कंपन्यांच्या तुलनेत Flux 3 चे बेंचमार्किंग

७२०p रिझोल्यूशनवर १० सेकंदांच्या क्लिप्स वापरून केलेल्या प्राथमिक मूल्यमापनात, Flux 3 ने महत्त्वपूर्ण स्पर्धात्मक फायदे दर्शवले आहेत. युजर प्रेफरन्स टेस्टमध्ये, BFL ने असे नमूद केले की ९३% तुलनेत Flux 3 ला Luma Ray 3.2 पेक्षा जास्त पसंती मिळाली आणि ७७% प्रकरणांमध्ये Runway Gen-4.5 पेक्षा अधिक पसंती मिळाली.

जरी उच्च दर्जाच्या स्पर्धकांसमोर हे अंतर कमी असले, तरी Flux 3 ने Grok Imagine Video (६९%) आणि Kling v3 Pro (६०%) वर आपले वर्चस्व कायम राखले आहे. तसेच ५२% प्रेफरन्स रेटसह याने Seedance 2.0 आणि Gemini Omni Flash पेक्षाही सरस कामगिरी केली. या निकालांवरून असे दिसून येते की Flux 3 स्वतःला जनरेटिव्ह व्हिडिओ मॉडेल्सच्या सर्वोच्च श्रेणीत स्थान देत आहे, जे व्यावसायिक हॉलीवूड वर्कफ्लोमध्ये आधीच वापरल्या जाणाऱ्या प्रणालींशी स्पर्धा करण्यास सक्षम आहे.

कंटेंट क्रिएशनच्या पलीकडे: रोबोटिक्सच्या दिशेने वाटचाल

Flux 3 चा कदाचित सर्वात महत्त्वाकांक्षी पैलू म्हणजे "real-world visual intelligence" कडे असलेली त्याची वाटचाल. BFL केवळ एक क्रिएटिव्ह टूल बनवत नाहीये; ते असे मॉडेल तयार करत आहेत जे पाहू शकते, अंदाज लावू शकते आणि कृती करू शकते. त्याच्या ट्रान्सफॉर्मर आर्किटेक्चरमधील एका समर्पित ॲक्शन कंपोनंटद्वारे, या मॉडेलचा वापर "Flux-mimic" नावाचे व्हिडिओ-ॲक्शन मॉडेल विकसित करण्यासाठी केला जात आहे.

एका महत्त्वाच्या रिअल-वर्ल्ड ॲप्लिकेशनमध्ये, BFL ने Audi मधील उत्पादन कार्यांवर (production tasks) या तंत्रज्ञानाची चाचणी घेण्यासाठी Mimic Robotics सोबत भागीदारी केली आहे. यावरून असे सूचित होते की Flux 3 चे मूळ आर्किटेक्चर रोबोटिक्ससाठी पाया म्हणून काम करण्यासाठी तयार केले आहे, जिथे जगाचे भौतिक नियम समजून घेणे हे हाय-फिडेलिटी व्हिडिओ तयार करण्याइतकेच महत्त्वाचे आहे.

डिप्लॉयमेंट आणि "Flux 3 Dev" ओपन-वेट वचनबद्धता

सुरक्षितता सुनिश्चित करण्यासाठी आणि वापरकर्त्यांचा फीडबॅक मिळवण्यासाठी BFL टप्प्याटप्प्याने रोलआउट करण्याची रणनीती अवलंबत आहे. Flux 3 Video सध्या उपलब्ध आहे, तर Flux 3 Image पुढील काही आठवड्यांत अर्ली ॲक्सेसमध्ये लाँच होण्याची अपेक्षा आहे. भविष्याचा विचार करता, BFL ने "Flux 3 Dev" या नावाने मल्टिमॉडल बॅकबोनसाठी ओपन-वेट ॲक्सेस देण्याचे वचन दिले आहे, ज्यामुळे जगभरातील डेव्हलपर्स आणि संशोधकांना त्यांच्या आर्किटेक्चरवर आधारित नवीन गोष्टी तयार करण्यास मदत होईल.

मुख्य मुद्दे

• नेटिव्ह मल्टिमॉडॅलिटी: Flux 3 प्रतिमा, व्हिडिओ आणि ऑडिओ ट्रेनिंग एकाच "Self-Flow" ट्रान्सफॉर्मरमध्ये एकत्रित करते, ज्यामुळे २० सेकंदांचे व्हिडिओ सिंक्रोनाइझ्ड नेटिव्ह ऑडिओसह तयार करता येतात.
• सर्वोच्च दर्जाची कामगिरी: सुरुवातीच्या चाचणीमध्ये, Flux 3 ने Luma Ray 3.2 (९३% पसंती) आणि Runway Gen-4.5 (७७% पसंती) यांसारख्या प्रमुख प्रतिस्पर्ध्यांना मागे टाकले.
• रोबोटिक्स इंटिग्रेशन: या मॉडेलमध्ये एक ॲक्शन-प्रेडिक्शन कंपोनंट आहे, ज्याची सध्या Mimic Robotics द्वारे Audi मधील उत्पादन रोबोटिक्स कार्यांसाठी चाचणी केली जात आहे.