Surveillance humaine

Ce que ça change pour une organisation

Pour un système d’IA à haut risque, l’article 14 de l’AI Act impose de concevoir et de développer le système, notamment au moyen d’interfaces homme-machine appropriées, de manière à permettre un contrôle effectif par des personnes physiques pendant sa période d’utilisation. Ce contrôle vise à prévenir ou à réduire au minimum les risques pour la santé, la sécurité ou les droits fondamentaux, et les mesures retenues doivent être proportionnées aux risques, au niveau d’autonomie et au contexte d’utilisation.

Le déployeur, c’est-à-dire l’organisation qui utilise le système, doit de son côté confier ce contrôle à des personnes physiques qui disposent des compétences, de la formation et de l’autorité nécessaires ainsi que du soutien nécessaire (article 26). Selon l’article 14, paragraphe 4, ces personnes doivent pouvoir :

• comprendre les capacités et les limites du système et surveiller son fonctionnement, notamment pour détecter les anomalies et les performances inattendues ;
• rester conscientes du biais d’automatisation, c’est-à-dire de la tendance à se fier trop vite aux sorties du système ;
• interpréter correctement ces sorties ;
• décider de ne pas utiliser le système, ou d’ignorer, de remplacer ou d’inverser sa sortie ;
• intervenir dans son fonctionnement ou l’interrompre, par exemple au moyen d’un bouton d’arrêt.

Un relecteur qui n’a ni le temps ni l’autorité de contredire le système ne remplit donc pas ces conditions : il convient de formaliser les rôles, la formation et les moyens d’arrêt avant la mise en service.

Exemple

L’article 14, paragraphe 5, en donne une illustration pour les systèmes d’identification biométrique à distance visés à l’annexe III, point 1 a) : le déployeur ne peut agir sur la base de l’identification sans qu’au moins deux personnes physiques, disposant des compétences, de la formation et de l’autorité nécessaires, l’aient vérifiée et confirmée séparément. Une exception est prévue pour certains usages répressifs, migratoires, aux frontières ou d’asile, lorsque le droit de l’Union ou le droit national juge cette exigence disproportionnée.

À ne pas confondre avec

• La décision automatisée : notion du RGPD qui vise une décision prise sans intervention humaine, alors que le contrôle humain de l’AI Act encadre l’utilisation d’un système d’IA à haut risque, y compris lorsque la décision finale reste humaine.
• La surveillance de personnes : malgré le mot, il s’agit de la supervision d’un système par des personnes, et non de la surveillance d’individus par un système.
• L’explicabilité : capacité d’un système à rendre ses résultats compréhensibles, qui conditionne la possibilité d’interpréter correctement ses sorties (article 14, paragraphe 4, point c) sans se confondre avec le contrôle lui-même.