Posta alta · Obblighi
I sistemi di IA ad alto rischio
Tra il "vietato" e il "va bene tutto" c'è il baricentro del regolamento: i sistemi che possono decidere della tua istruzione, del tuo lavoro, della tua salute o dell'accesso ai servizi. Sono consentiti — a condizioni pensate per renderli affidabili e contestabili.
01Che cosa vuol dire "alto rischio", in termini educativi
Alto rischio non significa malvagio o proibito. Significa: se questo sistema sbaglia o discrimina, persone reali perdono cose reali — un posto a scuola, un colloquio, una diagnosi, un sussidio. Perciò l'onere della prova si rovescia: è il sistema a dover dimostrare di meritarsi l'uso.
02Dove cade tipicamente l'etichetta
- Istruzione — ammissioni, valutazione, piattaforme adattive che orientano i percorsi.
- Lavoro — screening dei CV, punteggi dei colloqui, supporto a promozioni e licenziamenti.
- Servizi essenziali — credito, sussidi, priorità abitative.
- Sanità — supporto alle decisioni cliniche e triage.
Quattro casi del gioco vivono qui: il colloquio che non esiste, il triage invisibile, la classe profilata, la gara opaca.
03Gli obblighi, in parole semplici
- Gestione del rischio — individuare cosa può andare storto, per chi, e mitigare prima dell'uso.
- Governance dei dati — dati di addestramento pertinenti e rappresentativi della popolazione reale.
- Documentazione e log — il sistema deve essere spiegabile a un'autorità e tracciabile a posteriori.
- Supervisione umana — una persona con la competenza, le informazioni e l'autorità per intervenire.
- Accuratezza e robustezza — proporzionate alla posta in gioco.
Per il quadro d'insieme lato impresa — ruolo, rischio, competenze, scadenze — vedi AI Act per le aziende.
04La trappola della supervisione
Il difetto più insegnabile: la supervisione che esiste sulla carta. Un operatore che "convalida" 400 decisioni automatiche al giorno non ne convalida nessuna. Le prove del gioco tornano di continuo su questo — note interne che ammettono che il personale "segue il punteggio" — perché riconoscere la supervisione finta è una competenza spendibile su qualunque sistema.
05Discussione in aula
Spunti robusti: quale degli obblighi qui sopra avrebbe intercettato il difetto del nostro scenario? Chi dovrebbe verificarli — acquirente, fornitore, autorità? Cosa deve accadere quando la documentazione manca? Nelle attività trovi l'esercizio di smontaggio della supervisione. Per distinguere le responsabilità consulta provider e deployer; per gli usi pubblici sensibili, vedi la valutazione d'impatto sui diritti fondamentali.
06Gli obblighi in pratica: che cosa cercare
Gli obblighi per l'alto rischio si leggono meglio come domande da porre a un sistema reale, invece che come elenco da memorizzare. Ogni riga sotto è una domanda che uno studente può rivolgere a un caso concreto, e il segnale che qualcosa manca.
| Obbligo (versione semplificata) | La domanda da porre | Come si vede che manca |
|---|---|---|
| Gestione del rischio | Qualcuno ha scritto che cosa può andare storto, e per chi? | Nessuno sa dire chi verrebbe danneggiato per primo da un errore. |
| Governance dei dati | Su quali dati è stato addestrato, e chi vi era sotto-rappresentato? | Gli errori si concentrano sempre sugli stessi gruppi di persone. |
| Documentazione tecnica | Esiste un documento che spiega come funziona, aggiornato? | La risposta è "lo sa il fornitore" — e il fornitore rimanda al manuale commerciale. |
| Registrazione degli eventi (logging) | Se oggi contestassi una decisione, resterebbe una traccia? | Non è ricostruibile quale versione del sistema abbia deciso, né quando. |
| Supervisione umana | La persona che supervisiona può davvero ribaltare l'esito? | Può solo confermare, oppure ha trenta secondi per pratica. |
| Accuratezza e robustezza | Il tasso di errore è misurato e pubblicato, o solo dichiarato? | Si cita una percentuale complessiva e nessuna scomposizione per gruppo. |
La colonna di destra è la più utile didatticamente: sposta l'attenzione dalla conformità dichiarata a quella osservabile. È anche il modo in cui il gioco costruisce i suoi fascicoli — i reperti mostrano sintomi, non certificati.
07Tre sistemi a confronto
Perchè l'etichetta "alto rischio" dipenda dal contesto e non dalla tecnologia si capisce meglio confrontando usi simili con esiti diversi.
| Sistema | Dove viene usato | Lettura didattica |
|---|---|---|
| Ordinamento automatico di candidature | Selezione del personale | Tipicamente alto rischio: incide sull'accesso al lavoro, quindi servono supervisione reale, tracciabilità e informazione alle persone. |
| Ordinamento automatico di contenuti | Playlist musicale | Rischio minimo: la stessa tecnica di ordinamento non tocca diritti fondamentali né accesso a servizi essenziali. |
| Punteggio predittivo su cittadini | Accesso a prestazioni sociali | Zona di confine: può essere alto rischio se governa l'accesso a un servizio essenziale, oppure ricadere tra le pratiche vietate se diventa punteggio sociale generalizzato. |
La terza riga è quella che genera le discussioni migliori, ed è il motivo per cui il gioco dedica un caso-specchio proprio al credito civico: la differenza non sta nell'algoritmo, ma in che cosa il punteggio decide e su quale porzione di vita si estende.