Posta alta · Obblighi
I sistemi di IA ad alto rischio
Tra il "vietato" e il "va bene tutto" c'è il baricentro del regolamento: i sistemi che possono decidere della tua istruzione, del tuo lavoro, della tua salute o dell'accesso ai servizi. Sono consentiti — a condizioni pensate per renderli affidabili e contestabili.
01Che cosa vuol dire "alto rischio", in termini educativi
Alto rischio non significa malvagio o proibito. Significa: se questo sistema sbaglia o discrimina, persone reali perdono cose reali — un posto a scuola, un colloquio, una diagnosi, un sussidio. Perciò l'onere della prova si rovescia: è il sistema a dover dimostrare di meritarsi l'uso.
02Dove cade tipicamente l'etichetta
- Istruzione — ammissioni, valutazione, piattaforme adattive che orientano i percorsi.
- Lavoro — screening dei CV, punteggi dei colloqui, supporto a promozioni e licenziamenti.
- Servizi essenziali — credito, sussidi, priorità abitative.
- Sanità — supporto alle decisioni cliniche e triage.
Quattro casi del gioco vivono qui: il colloquio che non esiste, il triage invisibile, la classe profilata, la gara opaca.
03Gli obblighi, in parole semplici
- Gestione del rischio — individuare cosa può andare storto, per chi, e mitigare prima dell'uso.
- Governance dei dati — dati di addestramento pertinenti e rappresentativi della popolazione reale.
- Documentazione e log — il sistema deve essere spiegabile a un'autorità e tracciabile a posteriori.
- Supervisione umana — una persona con la competenza, le informazioni e l'autorità per intervenire.
- Accuratezza e robustezza — proporzionate alla posta in gioco.
Per il quadro d'insieme lato impresa — ruolo, rischio, competenze, scadenze — vedi AI Act per le aziende.
Da quando sono esigibili. Questi obblighi esistono nel regolamento, ma il Digital Omnibus (Reg. UE 2026/1744) ne ha spostato la data di applicazione: 2 dicembre 2027 per i sistemi dell'Allegato III — lavoro, istruzione, servizi essenziali, giustizia — e 2 agosto 2028 per quelli integrati in prodotti già regolamentati (Allegato I). Rinviati non vuol dire aboliti: il contenuto degli obblighi è identico, cambia la data da cui un'autorità può pretenderli, e chi progetta oggi un sistema che ricadrà in queste categorie ha meno tempo di quanto sembri. Le date per intero nei tempi di applicazione.
04La trappola della supervisione
Il difetto più insegnabile: la supervisione che esiste sulla carta. Un operatore che "convalida" 400 decisioni automatiche al giorno non ne convalida nessuna. Le prove del gioco tornano di continuo su questo — note interne che ammettono che il personale "segue il punteggio" — perché riconoscere la supervisione finta è una competenza spendibile su qualunque sistema.
05Discussione in aula
Spunti robusti: quale degli obblighi qui sopra avrebbe intercettato il difetto del nostro scenario? Chi dovrebbe verificarli — acquirente, fornitore, autorità? Cosa deve accadere quando la documentazione manca? Nelle attività trovi l'esercizio di smontaggio della supervisione. Per distinguere le responsabilità consulta provider e deployer; per gli usi pubblici sensibili, vedi la valutazione d'impatto sui diritti fondamentali.
06Gli obblighi in pratica: che cosa cercare
Gli obblighi per l'alto rischio si leggono meglio come domande da porre a un sistema reale, invece che come elenco da memorizzare. Ogni riga sotto è una domanda che uno studente può rivolgere a un caso concreto, e il segnale che qualcosa manca.
| Obbligo (versione semplificata) | La domanda da porre | Come si vede che manca |
|---|---|---|
| Gestione del rischio | Qualcuno ha scritto che cosa può andare storto, e per chi? | Nessuno sa dire chi verrebbe danneggiato per primo da un errore. |
| Governance dei dati | Su quali dati è stato addestrato, e chi vi era sotto-rappresentato? | Gli errori si concentrano sempre sugli stessi gruppi di persone. |
| Documentazione tecnica | Esiste un documento che spiega come funziona, aggiornato? | La risposta è "lo sa il fornitore" — e il fornitore rimanda al manuale commerciale. |
| Registrazione degli eventi (logging) | Se oggi contestassi una decisione, resterebbe una traccia? | Non è ricostruibile quale versione del sistema abbia deciso, né quando. |
| Supervisione umana | La persona che supervisiona può davvero ribaltare l'esito? | Può solo confermare, oppure ha trenta secondi per pratica. |
| Accuratezza e robustezza | Il tasso di errore è misurato e pubblicato, o solo dichiarato? | Si cita una percentuale complessiva e nessuna scomposizione per gruppo. |
La colonna di destra è la più utile didatticamente: sposta l'attenzione dalla conformità dichiarata a quella osservabile. È anche il modo in cui il gioco costruisce i suoi fascicoli — i reperti mostrano sintomi, non certificati.
07Tre sistemi a confronto
Perchè l'etichetta "alto rischio" dipenda dal contesto e non dalla tecnologia si capisce meglio confrontando usi simili con esiti diversi.
| Sistema | Dove viene usato | Lettura didattica |
|---|---|---|
| Ordinamento automatico di candidature | Selezione del personale | Tipicamente alto rischio: incide sull'accesso al lavoro, quindi servono supervisione reale, tracciabilità e informazione alle persone. |
| Ordinamento automatico di contenuti | Playlist musicale | Rischio minimo: la stessa tecnica di ordinamento non tocca diritti fondamentali né accesso a servizi essenziali. |
| Punteggio predittivo su cittadini | Accesso a prestazioni sociali | Zona di confine: può essere alto rischio se governa l'accesso a un servizio essenziale, oppure ricadere tra le pratiche vietate se diventa punteggio sociale generalizzato. |
La terza riga è quella che genera le discussioni migliori, ed è il motivo per cui il gioco dedica un caso-specchio proprio al credito civico: la differenza non sta nell'algoritmo, ma in che cosa il punteggio decide e su quale porzione di vita si estende.