• Accueil 
  • -
  • AI 
  • -
  • FINMA : Com­mu­ni­ca­ti­on pru­den­ti­el­le sur la gou­ver­nan­ce et la gesti­on des ris­ques liés à l’uti­li­sa­ti­on de l’IA 

FINMA : Com­mu­ni­ca­ti­on pru­den­ti­el­le sur la gou­ver­nan­ce et la gesti­on des ris­ques liés à l’uti­li­sa­ti­on de l’IA

La FINMA a publié aujour­d’hui ses Com­mu­ni­qué pru­den­tiel 08/2024 – Gou­ver­nan­ce et gesti­on des ris­ques liés à l’uti­li­sa­ti­on de l’in­tel­li­gence arti­fi­ci­el­le publié (PDF).

Aupa­ra­vant, la FINMA avait déjà for­mulé à plu­sieurs repri­ses ses atten­tes en matiè­re de gesti­on de l’IA, tant dans le sec­teur ban­cai­re que dans celui des assu­ran­ces. Sur cet­te base, elle a effec­tué des con­trô­les dans le cad­re de sa sur­veil­lan­ce, y com­pris des con­trô­les sur place. La com­mu­ni­ca­ti­on pru­den­ti­el­le en est le résul­tat et en résu­me l’essentiel,

  • quel Ris­ques la FINMA voit,
  • sur laquel­le Défis à rele­ver qu’el­le a ren­con­tré dans le cad­re de sa sur­veil­lan­ce (y com­pris les con­trô­les sur place) et
  • quel Mesu­res les a obser­vés et contrôlés.

Dans l’en­sem­ble, la FINMA a obser­vé que

  • l’uti­li­sa­ti­on de l’IA sur le mar­ché finan­cier est en augmentation,
  • les ris­ques asso­ciés sont sou­vent dif­fi­ci­les à éva­luer et
  • les struc­tures de gou­ver­nan­ce et de gesti­on des ris­ques des insti­tu­ti­ons finan­ciè­res ne sont géné­ra­le­ment qu’en cours de développement.

Pour l’e­s­sen­tiel, la com­mu­ni­ca­ti­on pru­den­ti­el­le met en évi­dence ce qui est con­nu (pas dans ces termes) :

  • Lors de l’uti­li­sa­ti­on d’u­ne nou­vel­le tech­no­lo­gie, le moteur n’est pas la 2e ligne, mais la 1re ligne. Elle com­prend la tech­no­lo­gie, mais par­fois aus­si seu­le­ment ses pos­si­bi­li­tés d’uti­li­sa­ti­on et par­fois aus­si cela ne l’est pas.
  • L’or­ga­ni­sa­ti­on dans son ensem­ble ne com­prend sou­vent pas les ris­ques qui y sont liés et ne dis­po­se pas de la gou­ver­nan­ce néces­saire. Ces deux élé­ments, la com­pré­hen­si­on et les struc­tures inter­nes, évo­lu­ent beau­coup plus len­te­ment que la technologie.
  • A cela s’a­jou­te une con­fi­ance sou­vent ave­ug­le dans la qua­li­té des pre­sta­ti­ons ache­tées, avec un man­que de choix dû à la con­cen­tra­ti­on du marché.
  • Par­al­lè­le­ment, les char­ges inter­nes liées à l’ex­amen, au sui­vi et au con­trô­le des pre­sta­ti­ons sont sous-estimées.

Dans ce con­tex­te, la com­mu­ni­ca­ti­on pru­den­ti­el­le abor­de aus­si bien les défis liés à l’IA que les lacu­nes géné­ra­les ou typi­ques des struc­tures inter­nes. Son con­te­nu peut être résu­mé com­me suit :

Ris­ques

La FINMA voit sur­tout les ris­ques sui­vants liés à l’IA :

  • ris­ques opé­ra­ti­on­nelsen par­ti­cu­lier les ris­ques liés aux modè­les (par ex. man­que de robust­es­se, d’e­xac­ti­tu­de, de biais, de sta­bi­li­té et d’explicabilité)
  • IT et cyber-risques
  • aug­men­ta­ti­on de Dépen­dance de tiers, notam­ment de four­nis­seurs de maté­ri­el, de modè­les et de cloud computing
  • Ris­ques juri­di­ques et de réputation
  • Attri­bu­ti­on des responsa­bi­li­téscom­pli­quée par “l’ac­tion auto­no­me et dif­fi­ci­le­ment expli­ca­ble” des systè­mes d’IA et par “la disper­si­on des responsa­bi­li­tés en matiè­re d’ap­pli­ca­ti­ons d’IA

Gou­ver­nan­ce

  • Pro­blè­me:
    • Foca­li­sa­ti­on trop importan­te sur les ris­ques liés à la pro­tec­tion des don­nées et pas assez sur les ris­ques liés aux modèles
    • le déve­lo­p­pe­ment d’ap­pli­ca­ti­ons d’IA est sou­vent décen­tra­li­sé, ce qui con­duit à des nor­mes moins cohé­ren­tes, à une diluti­on des responsa­bi­li­tés et à une nég­li­gence des risques
    • les ser­vices ache­tés : On ne com­prend pas tou­jours s’ils con­ti­en­nent de l’IA, quel­les don­nées et métho­des sont uti­li­sées et si une dili­gence rai­sonnable suf­fi­san­te existe.
  • Atten­tes:
    • Les assu­jet­tis ayant des “appli­ca­ti­ons nombreu­ses ou essen­ti­el­les” ont une gou­ver­nan­ce de l’IA
    • il exi­ste un inven­tai­re cen­tral avec une clas­si­fi­ca­ti­on des ris­ques et des mesu­res à prendre
    • Les com­pé­ten­ces et les responsa­bi­li­tés en matiè­re de déve­lo­p­pe­ment, de mise en œuvre, de sui­vi et d’uti­li­sa­ti­on de l’IA sont définies.
    • Il exi­ste des direc­ti­ves con­cer­nant les tests de modè­les et les con­trô­les de systè­mes de sou­ti­en, des nor­mes de docu­men­ta­ti­on et des “mesu­res de for­ma­ti­on à gran­de échelle”.
    • Exter­na­li­sa­ti­on : des tests et des con­trô­les sup­p­lé­men­tai­res sont mis en place ; des clau­ses con­trac­tu­el­les régis­sent les responsa­bi­li­tés ; les com­pé­ten­ces et l’expé­ri­ence néces­saires du pre­sta­tai­re de ser­vices sont examinées.

Inven­tai­re et clas­si­fi­ca­ti­on des risques

  • Pro­blè­medif­fi­cul­té de l’ex­haus­ti­vi­té de l’in­ven­tai­re, notam­ment en rai­son d’u­ne défi­ni­ti­on étroi­te de l’IA, de son uti­li­sa­ti­on décen­tra­li­sée et de l’ab­sence de critères cohér­ents pour l’in­ven­tai­re des appli­ca­ti­ons qui revêtent une importance par­ti­cu­liè­re en rai­son de leur importance ou des ris­ques qu’el­les présentent
  • Atten­tes:
    • la défi­ni­ti­on de l’ ”IA” est suf­fi­sam­ment lar­ge pour inclu­re les “appli­ca­ti­ons clas­si­ques” pré­sen­tant des ris­ques similaires
    • Les inven­tai­res d’IA sont com­plets et con­ti­en­nent une clas­si­fi­ca­ti­on des ris­ques des appli­ca­ti­ons d’IA.

Qua­li­té des données

  • Pro­blè­me:
    • Absence d’ob­jec­tifs et de con­trô­les de la qua­li­té des données
    • les don­nées peu­vent être incor­rec­tes, incohé­ren­tes, incom­plè­tes, non repré­sen­ta­ti­ves, obsolè­tes ou biai­sées (et dans les systè­mes d’app­ren­tis­sa­ge, la qua­li­té des don­nées est sou­vent plus importan­te que le choix du modèle)
    • des solu­ti­ons ache­tées : Les don­nées de for­ma­ti­on ne sont sou­vent pas con­nues et peu­vent être inadaptées.
  • Atten­tes:
    • des direc­ti­ves inter­nes con­tenant des ins­truc­tions pour garan­tir la qua­li­té des données

Tests et sur­veil­lan­ce continue

  • Pro­blè­me: fai­bles­ses dans le choix des indi­ca­teurs de per­for­mance, les tests et le sui­vi permanent
  • Atten­tes:
    • des tests sont pré­vus pour garan­tir la qua­li­té des don­nées et le bon fonc­tion­ne­ment des appli­ca­ti­ons d’IA (y com­pris un con­trô­le de l’e­xac­ti­tu­de, de la robust­es­se et de la sta­bi­li­té, ain­si que des biais, le cas échéant)
    • Les pro­fes­si­on­nels four­nis­sent des que­sti­ons et des attentes
    • Des indi­ca­teurs de per­for­mance pour l’a­dé­qua­ti­on d’u­ne appli­ca­ti­on d’IA sont défi­nis, par exemp­le des seuils ou d’aut­res métho­des de vali­da­ti­on pour éva­luer l’e­xac­ti­tu­de et la qua­li­té des résultats.
    • Les chan­ge­ments dans les don­nées d’en­trée sont sur­veil­lés (“déri­ve des données”)
    • si une sor­tie est igno­rée ou modi­fi­ée par les uti­li­sa­teurs, cela est sur­veil­lé com­me une indi­ca­ti­on de vul­né­ra­bi­li­tés potentielles
    • Les assu­jet­tis mènent une réfle­xi­on pré­alable sur l’i­den­ti­fi­ca­ti­on et le trai­te­ment des exceptions

Docu­men­ta­ti­on

  • Pro­blè­me:
    • il man­que des direc­ti­ves cen­tra­les pour la documentation
    • la docu­men­ta­ti­on exi­stan­te n’est pas suf­fi­sam­ment détail­lée et ori­en­tée vers le destinataire
  • Atten­tes:
    • les appli­ca­ti­ons essen­ti­el­les : la docu­men­ta­ti­on por­te sur l’ob­jec­tif des appli­ca­ti­ons, la sélec­tion et la pré­pa­ra­ti­on des don­nées, la sélec­tion des modè­les, les mesu­res de per­for­mance, les hypo­thè­ses et les limi­tes, les tests et les con­trô­les ain­si que les solu­ti­ons de repli
    • Sélec­tion des don­nées : Les sources de don­nées et les con­trô­les de la qua­li­té des don­nées peu­vent être expli­qués (y com­pris l’in­té­gri­té, l’e­xac­ti­tu­de, l’a­dé­qua­ti­on, la per­ti­nence, les biais et la stabilité).
    • la robust­es­se et la fia­bi­li­té ain­si que la tra­ça­bi­li­té de l’ap­pli­ca­ti­on sont assurées
    • les appli­ca­ti­ons sont clas­sées de maniè­re appro­priée dans une caté­go­rie de ris­que (avec justi­fi­ca­ti­on et vérification)

Expli­ca­bi­li­té

  • Pro­blè­meles résul­tats ne peu­vent pas être sui­vis, expli­qués ou repro­duits et donc évalués
    Atten­tesLors de la pri­se de décis­i­ons vis-à-vis des inve­stis­seurs, des cli­ents, des col­la­bo­ra­teurs, de l’au­to­ri­té de sur­veil­lan­ce ou de la socié­té d’au­dit, la plau­si­bi­li­té et la robust­es­se des résul­tats peu­vent être évaluées.
  • ent­re aut­res, les pilo­tes des appli­ca­ti­ons ou du com­porte­ment dans dif­fé­ren­tes con­di­ti­ons sont compris

Véri­fi­ca­ti­on indépendante

  • Pro­blè­me:
    • il n’y a pas de distinc­tion clai­re ent­re le déve­lo­p­pe­ment d’ap­pli­ca­ti­ons d’IA et leur véri­fi­ca­ti­on indépendante
    • un petit nombre d’as­su­jet­tis effec­tu­ent un con­trô­le indé­pen­dant de l’en­sem­ble du pro­ce­s­sus de déve­lo­p­pe­ment du modèle
  • Atten­tes:
    • appli­ca­ti­ons essen­ti­el­les” : l’ex­amen indé­pen­dant con­si­ste à don­ner un avis objec­tif, aver­ti et impar­ti­al sur l’a­dé­qua­ti­on et la fia­bi­li­té d’u­ne métho­de pour une appli­ca­ti­on donnée
    • les résul­tats de la véri­fi­ca­ti­on sont pris en comp­te lors du développement

Atten­tes (résu­mé)

Dans l’en­sem­ble, les atten­tes de la FINMA peu­vent être résu­mées de la maniè­re struc­tu­rée suivante :

  • Gou­ver­nan­ce de l’IA:
    • Les com­pé­ten­ces et les responsa­bi­li­tés (ACR) dans le déve­lo­p­pe­ment, la mise en œuvre, le sui­vi et l’uti­li­sa­ti­on de l’IA sont définies.
    • Direc­ti­ves inter­nes con­tenant des pre­scrip­ti­ons pour garan­tir la qua­li­té des données
    • Les appli­ca­ti­ons essen­ti­el­les : La docu­men­ta­ti­on abor­de l’ob­jec­tif des appli­ca­ti­ons, la sélec­tion et la pré­pa­ra­ti­on des don­nées, la sélec­tion des modè­les, les mesu­res de per­for­mance, les hypo­thè­ses et les limi­tes, les tests et les con­trô­les ain­si que les solu­ti­ons de repli.
  • inven­tai­re cen­tral avec une clas­si­fi­ca­ti­on des ris­ques et des mesures : 
    • La défi­ni­ti­on de l’ ”IA” est suf­fi­sam­ment large
    • Exhaus­ti­vi­té de l’in­ven­tai­re avec clas­si­fi­ca­ti­on des ris­ques (avec véri­fi­ca­ti­on et justification)
  • Qua­li­té des don­nées et des modè­les:
    • Les assu­jet­tis mènent une réfle­xi­on pré­alable sur l’i­den­ti­fi­ca­ti­on et le trai­te­ment des exceptions.
    • Il exi­ste des direc­ti­ves con­cer­nant les tests de modè­les et les con­trô­les de systè­mes de sou­ti­en, des nor­mes de docu­men­ta­ti­on et des “mesu­res de for­ma­ti­on à gran­de échelle”.
    • Des tests sont pré­vus pour garan­tir la qua­li­té des don­nées et le bon fonc­tion­ne­ment des appli­ca­ti­ons d’IA (y com­pris un con­trô­le de la pré­cis­i­on, de la robust­es­se et de la sta­bi­li­té, ain­si que des biais, le cas échéant).
    • Les pro­fes­si­on­nels four­nis­sent des que­sti­ons et des attentes.
    • Des indi­ca­teurs de per­for­mance pour l’a­dé­qua­ti­on d’u­ne appli­ca­ti­on d’IA sont défi­nis, par exemp­le des seuils ou d’aut­res métho­des de vali­da­ti­on pour éva­luer l’e­xac­ti­tu­de et la qua­li­té des résultats.
    • Les chan­ge­ments dans les don­nées d’en­trée sont sur­veil­lés (“déri­ve des données”).
    • Sélec­tion des don­nées : Les sources de don­nées et les con­trô­les de la qua­li­té des don­nées peu­vent être expli­qués (y com­pris l’in­té­gri­té, l’e­xac­ti­tu­de, l’a­dé­qua­ti­on, la per­ti­nence, les biais et la stabilité).
    • La robust­es­se et la fia­bi­li­té ain­si que la tra­ça­bi­li­té de l’ap­pli­ca­ti­on sont assurées.
    • Si une sor­tie est igno­rée ou modi­fi­ée par les uti­li­sa­teurs, cela est sur­veil­lé com­me une indi­ca­ti­on de vul­né­ra­bi­li­té potentielle.
  • Expli­ca­bi­li­té:
    • Décis­i­ons vis-à-vis des inve­stis­seurs, des cli­ents, des col­la­bo­ra­teurs, de l’au­to­ri­té de sur­veil­lan­ce ou de la socié­té d’au­dit : la plau­si­bi­li­té et la robust­es­se peu­vent être évaluées.
    • Les pilo­tes des appli­ca­ti­ons ou du com­porte­ment sont compris
  • Exter­na­li­sa­ti­ondes tests et des con­trô­les sup­p­lé­men­tai­res sont mis en place ; des clau­ses con­trac­tu­el­les régis­sent les responsa­bi­li­tés ; les com­pé­ten­ces et l’expé­ri­ence néces­saires du pre­sta­tai­re de ser­vices sont vérifiées.
  • Appli­ca­ti­ons essen­ti­el­les:
    • examen indé­pen­dant, y com­pris une opi­ni­on objec­ti­ve, exper­te et impar­tia­le sur l’a­dé­qua­ti­on et la fia­bi­li­té pour une appli­ca­ti­on donnée
    • Les résul­tats sont pris en comp­te dans le développement