La FINMA a publié aujourd’hui ses Communiqué prudentiel 08/2024 – Gouvernance et gestion des risques liés à l’utilisation de l’intelligence artificielle publié (PDF).
Auparavant, la FINMA avait déjà formulé à plusieurs reprises ses attentes en matière de gestion de l’IA, tant dans le secteur bancaire que dans celui des assurances. Sur cette base, elle a effectué des contrôles dans le cadre de sa surveillance, y compris des contrôles sur place. La communication prudentielle en est le résultat et en résume l’essentiel,
- quel Risques la FINMA voit,
- sur laquelle Défis à relever qu’elle a rencontré dans le cadre de sa surveillance (y compris les contrôles sur place) et
- quel Mesures les a observés et contrôlés.
Dans l’ensemble, la FINMA a observé que
- l’utilisation de l’IA sur le marché financier est en augmentation,
- les risques associés sont souvent difficiles à évaluer et
- les structures de gouvernance et de gestion des risques des institutions financières ne sont généralement qu’en cours de développement.
Pour l’essentiel, la communication prudentielle met en évidence ce qui est connu (pas dans ces termes) :
- Lors de l’utilisation d’une nouvelle technologie, le moteur n’est pas la 2e ligne, mais la 1re ligne. Elle comprend la technologie, mais parfois aussi seulement ses possibilités d’utilisation et parfois aussi cela ne l’est pas.
- L’organisation dans son ensemble ne comprend souvent pas les risques qui y sont liés et ne dispose pas de la gouvernance nécessaire. Ces deux éléments, la compréhension et les structures internes, évoluent beaucoup plus lentement que la technologie.
- A cela s’ajoute une confiance souvent aveugle dans la qualité des prestations achetées, avec un manque de choix dû à la concentration du marché.
- Parallèlement, les charges internes liées à l’examen, au suivi et au contrôle des prestations sont sous-estimées.
Dans ce contexte, la communication prudentielle aborde aussi bien les défis liés à l’IA que les lacunes générales ou typiques des structures internes. Son contenu peut être résumé comme suit :
Risques
La FINMA voit surtout les risques suivants liés à l’IA :
- risques opérationnelsen particulier les risques liés aux modèles (par ex. manque de robustesse, d’exactitude, de biais, de stabilité et d’explicabilité)
- IT et cyber-risques
- augmentation de Dépendance de tiers, notamment de fournisseurs de matériel, de modèles et de cloud computing
- Risques juridiques et de réputation
- Attribution des responsabilitéscompliquée par “l’action autonome et difficilement explicable” des systèmes d’IA et par “la dispersion des responsabilités en matière d’applications d’IA
Gouvernance
- Problème:
- Focalisation trop importante sur les risques liés à la protection des données et pas assez sur les risques liés aux modèles
- le développement d’applications d’IA est souvent décentralisé, ce qui conduit à des normes moins cohérentes, à une dilution des responsabilités et à une négligence des risques
- les services achetés : On ne comprend pas toujours s’ils contiennent de l’IA, quelles données et méthodes sont utilisées et si une diligence raisonnable suffisante existe.
- Attentes:
- Les assujettis ayant des “applications nombreuses ou essentielles” ont une gouvernance de l’IA
- il existe un inventaire central avec une classification des risques et des mesures à prendre
- Les compétences et les responsabilités en matière de développement, de mise en œuvre, de suivi et d’utilisation de l’IA sont définies.
- Il existe des directives concernant les tests de modèles et les contrôles de systèmes de soutien, des normes de documentation et des “mesures de formation à grande échelle”.
- Externalisation : des tests et des contrôles supplémentaires sont mis en place ; des clauses contractuelles régissent les responsabilités ; les compétences et l’expérience nécessaires du prestataire de services sont examinées.
Inventaire et classification des risques
- Problèmedifficulté de l’exhaustivité de l’inventaire, notamment en raison d’une définition étroite de l’IA, de son utilisation décentralisée et de l’absence de critères cohérents pour l’inventaire des applications qui revêtent une importance particulière en raison de leur importance ou des risques qu’elles présentent
- Attentes:
- la définition de l’ ”IA” est suffisamment large pour inclure les “applications classiques” présentant des risques similaires
- Les inventaires d’IA sont complets et contiennent une classification des risques des applications d’IA.
Qualité des données
- Problème:
- Absence d’objectifs et de contrôles de la qualité des données
- les données peuvent être incorrectes, incohérentes, incomplètes, non représentatives, obsolètes ou biaisées (et dans les systèmes d’apprentissage, la qualité des données est souvent plus importante que le choix du modèle)
- des solutions achetées : Les données de formation ne sont souvent pas connues et peuvent être inadaptées.
- Attentes:
- des directives internes contenant des instructions pour garantir la qualité des données
Tests et surveillance continue
- Problème: faiblesses dans le choix des indicateurs de performance, les tests et le suivi permanent
- Attentes:
- des tests sont prévus pour garantir la qualité des données et le bon fonctionnement des applications d’IA (y compris un contrôle de l’exactitude, de la robustesse et de la stabilité, ainsi que des biais, le cas échéant)
- Les professionnels fournissent des questions et des attentes
- Des indicateurs de performance pour l’adéquation d’une application d’IA sont définis, par exemple des seuils ou d’autres méthodes de validation pour évaluer l’exactitude et la qualité des résultats.
- Les changements dans les données d’entrée sont surveillés (“dérive des données”)
- si une sortie est ignorée ou modifiée par les utilisateurs, cela est surveillé comme une indication de vulnérabilités potentielles
- Les assujettis mènent une réflexion préalable sur l’identification et le traitement des exceptions
Documentation
- Problème:
- il manque des directives centrales pour la documentation
- la documentation existante n’est pas suffisamment détaillée et orientée vers le destinataire
- Attentes:
- les applications essentielles : la documentation porte sur l’objectif des applications, la sélection et la préparation des données, la sélection des modèles, les mesures de performance, les hypothèses et les limites, les tests et les contrôles ainsi que les solutions de repli
- Sélection des données : Les sources de données et les contrôles de la qualité des données peuvent être expliqués (y compris l’intégrité, l’exactitude, l’adéquation, la pertinence, les biais et la stabilité).
- la robustesse et la fiabilité ainsi que la traçabilité de l’application sont assurées
- les applications sont classées de manière appropriée dans une catégorie de risque (avec justification et vérification)
Explicabilité
- Problèmeles résultats ne peuvent pas être suivis, expliqués ou reproduits et donc évalués
AttentesLors de la prise de décisions vis-à-vis des investisseurs, des clients, des collaborateurs, de l’autorité de surveillance ou de la société d’audit, la plausibilité et la robustesse des résultats peuvent être évaluées. - entre autres, les pilotes des applications ou du comportement dans différentes conditions sont compris
Vérification indépendante
- Problème:
- il n’y a pas de distinction claire entre le développement d’applications d’IA et leur vérification indépendante
- un petit nombre d’assujettis effectuent un contrôle indépendant de l’ensemble du processus de développement du modèle
- Attentes:
- “applications essentielles” : l’examen indépendant consiste à donner un avis objectif, averti et impartial sur l’adéquation et la fiabilité d’une méthode pour une application donnée
- les résultats de la vérification sont pris en compte lors du développement
Attentes (résumé)
Dans l’ensemble, les attentes de la FINMA peuvent être résumées de la manière structurée suivante :