Una sinossi può essere composta da frasi tecnicamente vere e risultare comunque ingannevole per chi deve scegliere cosa guardare. Netflix sta sperimentando un sistema di intelligenza artificiale pensato proprio per individuare questo tipo di errore nelle presentazioni di film, serie ed episodi. L’obiettivo non è scrivere automaticamente le trame, ma controllare quelle già disponibili sulla piattaforma, distinguendo i problemi legati ai fatti da quelli creati dal modo in cui una storia viene raccontata. Nei test illustrati dall’azienda, l’architettura ha riconosciuto più descrizioni scorrette e ha ridotto le risorse necessarie per la verifica.
Il problema nascosto dietro poche righe
Per orientarsi nel catalogo di Netflix spesso bastano un’immagine e una breve presentazione. Proprio per questo la sinossi deve svolgere un compito delicato: offrire un’idea del contenuto senza anticipare troppo, ma anche senza indirizzare lo spettatore verso aspettative che la serie non può soddisfare. Una descrizione può infatti riportare elementi realmente presenti nella storia e, nello stesso tempo, suggerire che il protagonista, il tono o il conflitto principale siano diversi da quelli effettivi.
Il volume dei materiali rende difficile affidarsi soltanto al controllo umano. Netflix gestisce centinaia di migliaia di sinossi, spesso disponibili in versioni diverse per lo stesso titolo, per gli episodi e per le numerose lingue del servizio. Esaminare ogni testo manualmente richiederebbe un lavoro consistente. Da qui nasce l’esigenza di un sistema capace di svolgere una prima valutazione automatica e di concentrare l’intervento più approfondito sui casi nei quali emergono dubbi.
Bridgerton mostra come nasce una descrizione fuorviante
Nel documento tecnico dedicato al progetto, Netflix ricorre alla prima stagione di Bridgerton per mostrare la differenza fra un errore evidente e uno più difficile da riconoscere. Una descrizione corretta presenta Daphne Bridgerton e il suo ingresso nella stagione matrimoniale londinese. Una versione chiaramente falsa, invece, la trasforma in una detective impegnata a dare la caccia a un serial killer nella Londra contemporanea: in questo caso il problema è immediatamente riconoscibile.
Le formulazioni più insidiose sono quelle che non contengono necessariamente una falsità letterale. Una sinossi può parlare correttamente di Lady Whistledown e del suo giornale scandalistico, ma far pensare che l’intera serie sia costruita soprattutto intorno a lei. Un’altra può descrivere il legame fra Daphne e il duca di Hastings come un amore nato subito, ignorando che la relazione comincia con un accordo di convenienza. Il testo, dunque, può alterare la percezione dell’opera anche senza inventare ogni suo elemento.
Verità dei fatti e significato suggerito
Netflix separa due forme di accuratezza. La prima è letterale e riguarda la correttezza delle singole affermazioni contenute nella sinossi. La seconda riguarda invece le implicazioni: ciò che un nuovo spettatore può dedurre dall’insieme delle parole scelte. Questa distinzione permette di considerare non soltanto se un dettaglio sia vero, ma anche se il testo spinga verso un’interpretazione sbagliata della storia, dei suoi personaggi o del suo sviluppo.
Il sistema precedente affidava l’esame a un modello di ragionamento di grandi dimensioni, che riceveva i materiali relativi al titolo, i metadati e le istruzioni per la valutazione. Per limitare la variabilità delle risposte, lo stesso controllo veniva eseguito cinque volte: una sola valutazione negativa bastava a respingere la descrizione. Ogni passaggio poteva richiedere un contesto superiore a 100.000 token. La ripetizione, però, non risolveva gli errori prodotti da un’impostazione di ragionamento sempre uguale.
Due giudici artificiali per un controllo più preciso
La nuova architettura divide il lavoro fra due valutatori. Il Literal Judge verifica la fondatezza delle affermazioni presenti nel testo, mentre l’Implicature Judge analizza l’interpretazione che quelle affermazioni possono generare nel pubblico. Ciascuno restituisce un verdetto, una spiegazione e un livello di confidenza, cioè una stima della sicurezza con cui è stata formulata la valutazione. Se i risultati sono abbastanza solidi, il controllo può concludersi senza ulteriori passaggi.
Quando rimangono incertezze, entra in azione un componente chiamato router. Il suo compito è raccogliere dubbi, presupposti e contraddizioni e trasformarli in singole proposizioni verificabili, specificando quali prove servono. Un’eventuale incertezza sulla presenza di un personaggio in un episodio, per esempio, viene isolata e confrontata con i materiali disponibili. In questo modo il sistema non deve riesaminare ogni volta l’intera sinossi, ma può concentrarsi sul punto che ha generato il problema.
Le verifiche mirate possono cambiare il verdetto
Le affermazioni considerate dubbie vengono indirizzate verso il controllo più adatto. Il Web Judge verifica elementi esterni alla produzione, come citazioni, recensioni o lavori precedenti. Un altro valutatore torna invece ai materiali originali del titolo e analizza il punto contestato. Questa organizzazione consente di distinguere un errore reale da una contestazione eccessiva, senza attribuire lo stesso peso a ogni dettaglio individuato dai modelli.
Il giudizio iniziale non è quindi definitivo. Una sinossi che sembrava da respingere può essere approvata se le obiezioni vengono smentite dalle prove. Al contrario, un testo inizialmente accettato viene rifiutato se una delle assunzioni sottoposte a verifica si rivela falsa. Netflix segnala che il vecchio sistema poteva fissarsi su aspetti marginali, come un aggettivo riferito alla magia non presente letteralmente nei dialoghi, e lasciar passare formulazioni capaci di cambiare il senso della trama.
I risultati dei test e i possibili sviluppi
Nel confronto con raccolte di sinossi valutate da annotatori umani, la nuova architettura ha portato il parametro Recall-FAIL da 0,77 a 0,86. In termini concreti, su 100 descrizioni giudicate non fattuali dagli annotatori, il sistema ne individua 86 invece di 77. Netflix indica anche una crescita della corrispondenza fra le motivazioni dell’intelligenza artificiale e quelle degli esperti, dal 69% circa all’82%. L’azienda precisa però che quest’ultimo dato deriva da un modello incaricato di misurare automaticamente la somiglianza delle spiegazioni.
Il costo medio del controllo delle sinossi delle serie è diminuito del 52,4%, mentre per quelle degli episodi il risparmio dichiarato è del 15%. In quest’ultimo confronto il nuovo sistema dispone anche del riassunto dell’intera serie, utile per interpretare un episodio all’interno dell’arco narrativo generale e ridurre alcune bocciature ingiustificate. La latenza mediana cresce, ma resta entro limiti considerati accettabili da Netflix. Il documento non chiarisce se il metodo sia già applicato a tutte le sinossi del catalogo. Fra gli sviluppi indicati figurano l’uso di materiali visivi e audiovisivi e la correzione automatica dei testi respinti.