Google ha annunciato che la sua famiglia Gemini supporta ora una modalità di analisi video "agentica" in grado di ridurre il consumo di token fino all'88% nei benchmark standard, un cambiamento che potrebbe rendere l'IA per video di lunga durata drasticamente più economica per gli sviluppatori.

La nuova modalità sostituisce il vecchio approccio frame-by-frame — tipicamente un campionamento fisso di un fotogramma al secondo — con un ciclo guidato dal modello che decide quali parti di un video esaminare, a quale velocità e attraverso quale modalità (fotogrammi, audio o trascrizione). Estrando solo i segnali necessari per una query specifica, il sistema riduce i dati inviati al modello linguistico, riuscendo comunque a catturare eventi di frazioni di secondo che un campionamento grossolano perderebbe.

Dal campionamento fisso alla visione autonoma

Le precedenti capacità video di Gemini costringevano gli sviluppatori a scegliere preventivamente una frequenza di campionamento. Una frequenza più alta significava più token e fatture più salate; una più bassa rischiava di perdere tagli rapidi. La nuova variante agentica, attualmente disponibile per Gemini 3.7 Flash, 3.6 Flash e 3.5 Flash-Lite, integra un ciclo "pensa-agisci-osserva" direttamente nell'API. Per prima cosa, il modello ragiona sul compito. Successivamente, seleziona un segmento da ispezionare. Infine, osserva i fotogrammi, i clip audio o gli estratti di trascrizione scelti. Se un segmento sembra promettente, il modello lo ricampiona con una granularità più fine al volo.

Questo campionamento dinamico permette al modello di esplorare ore di filmati — come una lezione completa o una registrazione di diverse ore — senza consumare milioni di token. I benchmark che simulano il video-question-answering del mondo reale (1H-VideoQA) e compiti più ampi di comprensione video (LVBench) mostrano che le stesse query possono essere completate con circa un decimo del budget di token, garantendo al contempo una precisione maggiore.

Perché il risparmio di token è importante

Il numero di token si traduce direttamente nelle fatture delle API. Per uno sviluppatore che crea uno strumento di video editing automatizzato, un video di 90 minuti elaborato a un fotogramma al secondo potrebbe generare decine di milioni di token, portando i costi a centinaia di dollari per ora di contenuto. Una riduzione dell'88% abbassa quella cifra a poche decine di dollari, aprendo l'analisi video su larga scala a startup e team più piccoli che in precedenza affrontavano costi proibitivi.

Il vantaggio in termini di costi abbassa anche la barriera all'sperimentazione. In precedenza, gli ingegneri scrivevano codice personalizzato per rilevare i momenti chiave, estrarre i clip rilevanti e reinviarli al modello. Con la visione agentica integrata nell'API di Gemini, gli sviluppatori possono attivare la funzione impostando la configurazione di elaborazione su "agentic" in Google AI Studio o nella Gemini Enterprise Agent Platform. Google mantiene la tariffa standard dei token di Gemini; non c'è alcun sovrapprezzo per il campionamento più intelligente.

Precisione senza congetture

Poiché il modello decide dove guardare, può individuare eventi più brevi di un secondo — qualcosa che un campionamento statico a 1 FPS perderebbe inevitabilmente. Questa precisione è fondamentale per contare le ripetizioni in un video di allenamento, tracciare un oggetto in una scena affollata o segnalare anomalie improvvise in filmati di sorveglianza. Quando il modello segnala una finestra promettente, aumenta automaticamente il frame rate per quel segmento, fornendo dati ad alta fedeltà solo dove è necessario.

Lo stesso meccanismo alimenta funzionalità rivolte ai consumatori come "Ask YouTube", in cui gli utenti pongono domande visive mentre un video è in riproduzione e ricevono risposte basate sul contenuto visivo effettivo. Limitando la quantità di video inviata al modello, la funzione risponde più velocemente e a un costo inferiore, migliorando l'esperienza dell'utente senza sacrificare la profondità.

Potenziali limiti e compromessi

L'approccio agentico non è una soluzione magica. Il consumo di token diminuisce drasticamente, ma il modello esegue comunque il proprio ciclo interno, il che può aggiungere latenza rispetto a una scansione diretta di fotogrammi pre-campionati. Gli sviluppatori focalizzati su applicazioni in tempo reale potrebbero dover bilanciare i minori costi dei token con il tempo di elaborazione extra.

Anche la prevedibilità è un problema. Poiché il modello decide quali segmenti campionare, il numero esatto di token per un determinato video può variare da un'esecuzione all'altra. I team che richiedono un budget rigoroso potrebbero dover implementare sistemi di monitoraggio del consumo di token, specialmente durante le prime fasi di integrazione.

Infine, il rilascio è limitato alle varianti Flash di Gemini. I progetti che si affidano a modelli più vecchi o non Flash non ne beneficeranno finché non migreranno, il che potrebbe comportare un ulteriore sforzo di sviluppo.

Cosa aspettarsi in futuro

  • Modelli di adozione: Le prime segnalazioni degli sviluppatori che utilizzano la modalità agentica riveleranno se il risparmio sui costi si manterrà costante in settori quali l'istruzione, l'intrattenimento, la sorveglianza e altri.
  • Regolazioni dei prezzi: Google potrebbe modificare il prezzo dei token o introdurre piani a livelli qualora la domanda di analisi video ad alto volume dovesse subire un picco.
  • Estensioni delle funzionalità: L'integrazione dello stesso ciclo di ragionamento in altri prodotti di consumo potrebbe far emergere nuovi casi d'uso e promuovere una maggiore consapevolezza riguardo all'IA video efficiente in termini di token.
  • Evoluzione dei benchmark: Man mano che sempre più team effettueranno test su dataset del mondo reale, la community affinerà i punteggi di 1H-VideoQA e LVBench, scoprendo potenzialmente casi limite in cui il campionamento statico è ancora più performante del metodo agentico.

In sintesi

L'analisi video agentica di Google consente agli sviluppatori di ridurre il consumo di token fino all'88%, ottenendo al contempo una comprensione temporale più dettagliata. Il compromesso è un modesto aumento della complessità di elaborazione e della variabilità del numero di token, ma per molte applicazioni video di lunga durata il risparmio sui costi e la facilità di integrazione superano tali preoccupazioni. I team che sviluppano IA incentrate sul video dovrebbero valutare rapidamente la nuova modalità; l'economia della scalabilità della comprensione video potrebbe essere appena cambiata.