Geoffrey Hinton chiede che i modelli di intelligenza artificiale vengano valutati prima di essere messi a disposizione, sotto gli occhi di un’autorità indipendente. Ripreso nella stampa libanese del 10 novembre, il suo discorso solleva una questione concreta: chi decide che un modello può essere diffuso, su quali prove e con quale monitoraggio allora? I controlli dell’IA esistono già in diverse forme, senza costituire il sistema internazionale che esso richiede.
Il ricercatore esprime questa posizione in un’intervista alla stampa britannica pubblicata il 3 novembre. Egli critica la corsa commerciale tra grandi aziende tecnologiche e timori di incidenti infrastrutturali critici. Essa conserva tuttavia la speranza di benefici significativi. Il suo discorso sostiene un quadro per lo sviluppo, piuttosto che una generale rinuncia alla tecnologia.
Nel rapporto pubblicato in Libano, Hinton propone un’autorità internazionale ispirata al controllo della droga. Le aziende dovrebbero fornire prove per confrontare i benefici attesi e i possibili danni prima del marketing. Questa è una proposta del ricercatore, non l’annuncio di un’istituzione già creata.
Controlli dell’intelligenza artificiale: cosa dovrebbe essere testato prima dell’accesso?
Una dimostrazione di successo di ciò che un modello può realizzare in una determinata situazione. Una valutazione della sicurezza cerca anche i suoi fallimenti, abusi e le condizioni in cui le sue protezioni cessano di funzionare. Questi obiettivi richiedono diversi test.
Il quadro di gestione del rischio dell’Istituto Nazionale degli Stati Uniti di Standard e Tecnologia, AI RMF 1.0, comprende test di pre-deployment e uso regolare. Organizza lavoro intorno alla governance, identificazione del rischio, misurazione e gestione. Questo quadro è uno strumento di gestione, non un’autorizzazione di marketing internazionale.
La sua logica richiede chiarificazione del contesto. Un errore in un progetto di testo e un’azione errata in un sistema operativo non hanno le stesse conseguenze. La domanda va quindi oltre il punteggio ottenuto da un modello su un esercizio: si concentra anche sulle persone esposte, gli strumenti disponibili e le decisioni che il sistema può prendere.
In termini concreti, un test utile dovrebbe essere utilizzato per determinare quale versione è stata esaminata e in quali condizioni. Un modello limitato alla produzione di testo non ha le stesse possibilità di un agente software. Il perimetro di accesso è quindi parte del problema di Hinton.
Attacchi simulati alla ricerca di fallimenti
Il Regolamento Europeo dell’Intelligenza Artificiale prevede una serie di obblighi per i fornitori di modelli generici a rischio sistemico. L’articolo 55 richiede valutazioni utilizzando protocolli e strumenti corrispondenti allo stato d’arte. Esso menziona esplicitamente i test avversari, che cercano di mettere il modello in default.
Il testo richiede anche la valutazione e la riduzione dei rischi sistemici, la documentazione e la segnalazione di incidenti gravi senza indebito ritardo. La sicurezza informatica deve coprire il modello e la sua infrastruttura fisica. Questi requisiti riguardano una specifica categoria di modelli: non significa che qualsiasi applicazione abbia un certificato di sicurezza identico.
L’approccio europeo dà così una traduzione concreta a diversi temi del dibattito. Il fornitore deve produrre informazioni sui rischi e sulle azioni correttive. La valutazione non è solo una valutazione pubblica della natura impressionante di un sistema.
Il codice di prassi europeo completa questo schema. Pubblicato nel luglio 2025, è presentato dalla Commissione come un modo volontario per dimostrare il rispetto degli obblighi legali. I suoi capitoli riguardano la trasparenza, il copyright, la sicurezza e la sicurezza. Quest’ultimo riguarda i modelli coperti dagli obblighi di rischio sistemico.
L’indipendenza non è solo per conto del controller
La proposta di Hinton pone un’autorità separata dai produttori al centro della decisione. Il suo interesse risiede nel possibile conflitto tra la velocità del marketing e il tempo necessario per il test. Una società può conoscere il suo modello meglio di chiunque altro, pur avendo un interesse economico a trasmetterlo rapidamente.
Affinché il controllo esterno fornisca informazioni aggiuntive, diverse domande devono essere risolte: quale versione effettua l’accesso agli evalutori? Quali risultati possono esaminare? Possono replicare i test? Chi decide cosa succede dopo quando appare un grosso fallimento? Queste domande descrivono le condizioni pratiche di un esame, senza presupporre una risposta per una particolare azienda.
Un confronto con i farmaci ha anche un limite evidente. Un modello generale può essere utilizzato per compiti molto diversi e ricevere nuovi strumenti dopo la diffusione. Il suo fascicolo di valutazione deve quindi specificare gli usi e le condizioni esaminate. Un apprezzamento favorevole all’interno di un determinato perimetro non soddisfa tutti gli usi possibili.
La critica personale di Hinton ad alcuni leader fa parte del suo giudizio. Non sostituiscono i risultati dei test o le prove di particolare cattiva condotta. Il dibattito sulla responsabilità diventa più preciso quando si tratta di decisioni documentate, di accesso e di incidenti.
Dopo il lancio, mantenere la capacità di agire
La Guida pratica NIST richiede il monitoraggio dei rischi e dei benefici durante tutta la vita del sistema. Si prevede di esaminare se la distribuzione dovrebbe continuare e adattare le risposte ai rischi osservati. I controlli possono includere l’accesso, i limiti di utilizzo, la documentazione e l’organizzazione del lavoro umano intorno al sistema.
Questa continuità risponde a una difficoltà concreta: gli usi effettivi possono rivelare problemi assenti dalle prove iniziali. Un aggiornamento, un cambiamento di integrazione o una nuova popolazione di utenti cambia il contesto. Il monitoraggio deve essere in grado di collegare un incidente alla versione utilizzata e alle condizioni del suo funzionamento.
La responsabilità operativa inizia poi con decisioni identificabili. Chi può limitare una funzione? Chi riceve gli avvisi? Chi controlla l’efficacia di una correzione? Un rapporto di valutazione perde una parte della sua utilità se nessuno è responsabile di agire sui suoi risultati.
Hinton si riferisce a possibili interruzioni di reti elettriche, servizi bancari o sistemi sanitari. Questi scenari esprimono la sua preoccupazione; Essi non costituiscono l’annuncio di ulteriori attacchi consolidati a queste infrastrutture. Tuttavia, il suo appello muove il dibattito verso un requisito verificabile: documentare le capacità e i rischi prima di aprire, e quindi mantenere i mezzi per correggere, limitare o interrompere l’uso problematico.
Commenti