Les systèmes d'IA à haut risque

01Les obligations, en clair

• Gestion des risques — un processus continu, pas un document signé une fois.
• Gouvernance et qualité des données — des données représentatives, et la connaissance de leurs biais.
• Documentation technique — ce qui permet d'expliquer et de contester une décision.
• Journaux — la traçabilité de ce que le système a fait.
• Contrôle humain — effectif, pas formel.
• Exactitude, robustesse et cybersécurité, y compris après la mise en service.

02Quand le contrôle humain est-il effectif

C'est le point où la plupart des dossiers du jeu se décident, et celui qu'il est le plus facile de simuler.

• La personne comprend le système : ses limites, ses cas d'erreur, ce qu'il ne voit pas.
• Elle peut renverser le résultat, et le faire n'a pas de coût professionnel.
• Elle intervient avant que les effets ne retombent sur quelqu'un. Un réexamen seulement sur recours arrive après le dommage.

Un agent qui « valide » 1 400 résultats par jour — vingt secondes par dossier — n'exerce pas un contrôle : il en fournit la trace.

03Une moyenne excellente peut cacher l'essentiel

Une exactitude globale de 94 % laisse 6 % d'erreurs, et elles ne sont presque jamais réparties au hasard : elles se concentrent sur les groupes peu représentés dans les données. Un audit par sous-groupes n'est pas un raffinement statistique, c'est la différence entre un système gouverné et un système dont les dégâts restent invisibles.