Black Forest Labs Flux 3ని విడుదల చేసింది: వీడియో మరియు ఆడియో రంగంలో ఒక మల్టీమోడల్ అడుగు
Black Forest Labs (BFL), డిజిటల్ జనరేషన్ మరియు ఫిజికల్ ఇంటెలిజెన్స్ మధ్య ఉన్న అంతరాన్ని తగ్గించడానికి రూపొందించబడిన మల్టీమోడల్ ఫౌండేషన్ మోడల్ అయిన Flux 3ని విడుదల చేస్తూ, అధికారికంగా "world models" రంగంలోకి అడుగుపెట్టింది. ఇమేజెస్, వీడియో మరియు ఆడియోపై ఒకేసారి శిక్షణ ఇవ్వడం ద్వారా, Flux 3 అద్భుతమైన సెన్సరీ కోహెషన్ (sensory cohesion) స్థాయిని సాధించింది, దీనిని సాంప్రదాయ సింగిల్-మోడాలిటీ మోడల్స్ అనుకరించడం కష్టం.
మల్టీమోడల్ ట్రైనింగ్ మరియు నేటివ్ ఆడియో యొక్క శక్తి
శబ్దాన్ని సింక్ చేయడానికి తరచుగా విడివిడి ప్రక్రియలు అవసరమయ్యే మునుపటి తరం వీడియో మోడల్స్ లా కాకుండా, Flux 3 20 సెకన్ల వరకు నిడివి గల వీడియో క్లిప్ల కోసం నేటివ్ ఆడియో జనరేషన్ను పరిచయం చేస్తోంది. ఏ ఒక్క మోడాలిటీ కూడా వాస్తవికతను పూర్తిగా బంధించలేదని BFL యొక్క ఫిలాసఫీ ఈ అభివృద్ధికి మూలం. ఇమేజెస్ స్పేషియల్ స్ట్రక్చర్ను అందిస్తే, వీడియో టెంపోరల్ మార్పులను అందిస్తుంది, అయితే ఆడియో మెకానికల్ ఈవెంట్స్ మరియు వాటి శబ్దాల మధ్య ఉన్న కారణ సంబంధాలను (causal links) తెలియజేస్తుంది.
BFL యొక్క స్వంత "Self-Flow" విధానంపై ఆధారపడిన మల్టీమోడల్ ట్రాన్స్ఫార్మర్ను ఉపయోగించడం ద్వారా, ఈ మోడల్ ఇమేజెస్, వీడియో, ఆడియో మరియు చర్యలను (actions) కూడా ఒకే అంతర్గత ప్రాతినిధ్యంగా (shared internal representation) మారుస్తుంది. ఈ ఏకీకృత శిక్షణ మోడల్కు సమాచార అంతరాలను పూరించడానికి అనుమతిస్తుంది—ఉదాహరణకు, ఒక విజువల్ మూవ్మెంట్ యొక్క ఫిజిక్స్ను మెరుగ్గా అర్థం చేసుకోవడానికి ఆడియో సంకేతాలను ఉపయోగించడం వంటివి. Flux 3 టెక్స్ట్-టు-వీడియో, ఇమేజ్-టు-వీడియో, కీఫ్రేమ్-ఆధారిత ట్రాన్సిషన్లు మరియు బహుభాషా సంభాషణలతో సహా అనేక అధునాతన ఫీచర్లను సపోర్ట్ చేస్తుంది.
ఇండస్ట్రీ దిగ్గజాలతో Flux 3 బెంచ్మార్కింగ్
720p రిజల్యూషన్లో 10 సెకన్ల క్లిప్లను ఉపయోగించి చేసిన ప్రాథమిక మూల్యాంకనాల్లో, Flux 3 గణనీయమైన పోటీ ప్రయోజనాలను ప్రదర్శించింది. యూజర్ ప్రిఫరెన్స్ టెస్టులలో, 93% సందర్భాల్లో Luma Ray 3.2 కంటే మరియు 77% సందర్భాల్లో Runway Gen-4.5 కంటే Flux 3ని వినియోగదారులు ఎక్కువగా ఇష్టపడినట్లు BFL నివేదించింది.
ఎలైట్ పోటీదారులతో తేడా తక్కువగా ఉన్నప్పటికీ, Flux 3 ఇప్పటికీ Grok Imagine Video (69%) మరియు Kling v3 Pro (60%) కంటే ముందంజలో ఉంది. ఇది 52% ప్రిఫరెన్స్ రేట్తో Seedance 2.0 మరియు Gemini Omni Flash కంటే మెరుగైన పనితీరును కనబరిచింది. ఈ ఫలితాలు Flux 3 జనరేటివ్ వీడియో మోడల్స్లో అత్యున్నత స్థాయిలో ఉందని, ఇప్పటికే ప్రొఫెషనల్ హాలీవుడ్ వర్క్ఫ్లోలలో కలిసిపోతున్న సిస్టమ్స్తో పోటీ పడగలదని సూచిస్తున్నాయి.
కంటెంట్ క్రియేషన్కు మించి: రోబోటిక్స్ వైపు అడుగులు
బహుశా Flux 3 యొక్క అత్యంత ప్రతిష్టాత్మకమైన అంశం ఏమిటంటే, అది "real-world visual intelligence" వైపు సాగుతోంది. BFL కేవలం ఒక క్రియేటివ్ టూల్ను మాత్రమే నిర్మించడం లేదు; వారు గ్రహించగల (perceive), అంచనా వేయగల (predict) మరియు స్పందించగల (act) మోడల్ను నిర్మిస్తున్నారు. దాని ట్రాన్స్ఫార్మర్ ఆర్కిటెక్చర్లోని ప్రత్యేకమైన యాక్షన్ కాంపోనెంట్ ద్వారా, ఈ మోడల్ను "Flux-mimic" అనే వీడియో-యాక్షన్ మోడల్ను అభివృద్ధి చేయడానికి ఉపయోగిస్తున్నారు.
ఒక కీలకమైన రియల్-వరల్డ్ అప్లికేషన్లో, Audi వద్ద ప్రొడక్షన్ పనుల కోసం ఈ సాంకేతికతను పరీక్షించడానికి BFL, Mimic Roboticsతో భాగస్వామ్యం కుదుర్చుకుంది. Flux 3 యొక్క అంతర్గత ఆర్కిటెక్చర్ రోబోటిక్స్ కోసం ఒక పునాదిగా పనిచేయాలని ఉద్దేశించబడిందని ఇది సూచిస్తుంది, ఇక్కడ ప్రపంచంలోని భౌతిక నియమాలను (physical laws) అర్థం చేసుకోవడం అనేది హై-ఫిడెలిటీ వీడియోను రూపొందించడం అంతకంటే ముఖ్యమైనది.
డిప్లాయ్మెంట్ మరియు "Flux 3 Dev" ఓపెన్-వెయిట్ వాగ్దానం
భద్రతను నిర్ధారించడానికి మరియు వినియోగదారుల ఫీడ్బ్యాక్ను సేకరించడానికి BFL దశలవారీ రోల్అవుట్ వ్యూహాన్ని అనుసరిస్తోంది. Flux 3 Video ప్రస్తుతం అందుబాటులో ఉంది, Flux 3 Image వచ్చే కొన్ని వారాల్లో ఎర్లీ యాక్సెస్లో ప్రారంభం కావするものగా భావిస్తున్నారు. భవిష్యత్తును దృష్టిలో ఉంచుకుని, BFL "Flux 3 Dev" పేరుతో మల్టీమోడల్ బ్యాక్బోన్కు ఓపెన్-వెయిట్ యాక్సెస్ను విడుదల చేస్తామని కట్టుబడి ఉంది, ఈ చర్య ప్రపంచవ్యాప్తంగా ఉన్న డెవలపర్లు మరియు పరిశోధకులు వారి ఆర్కిటెక్చర్పై మరింతగా నిర్మించడానికి శక్తినిస్తుంది.
ముఖ్య అంశాలు
- నేటివ్ మల్టీమోడాలిటీ: Flux 3 ఇమేజ్, వీడియో మరియు ఆడియో ట్రైనింగ్ను ఒకే "Self-Flow" ట్రాన్స్ఫార్మర్లోకి అనుసంధానిస్తుంది, దీనివల్ల సింక్రొనైజ్డ్ నేటివ్ ఆడియోతో కూడిన 20 సెకన్ల వీడియోలు సాధ్యమవుతాయి.
- అత్యున్నత స్థాయి పనితీరు: ప్రారంభ పరీక్షల్లో, Flux 3 Luma Ray 3.2 (93% ప్రిఫరెన్స్) మరియు Runway Gen-4.5 (77% ప్రిఫరెన్స్) వంటి ప్రధాన ప్రత్యర్థుల కంటే మెరుగ్గా పనిచేసింది.
- రోబోటిక్స్ ఇంటిగ్రేషన్: ఈ మోడల్లో యాక్షన్-ప్రిడిక్షన్ కాంపోనెంట్ ఉంది, దీనిని ప్రస్తుతం Mimic Robotics ద్వారా Audi వద్ద ప్రొడక్షన్ రోబోటిక్స్ పనుల కోసం పరీక్షిస్తున్నారు.