Vente à emporter (AI)
- Le rapport identifie les risques liés à la protection des données dans les LLM tout au long de leur cycle de vie : formation, application, feedback et systèmes agentiques.
- Principaux problèmes : données d’entraînement non contrôlées, mémorisation de contenus personnels, fuites et manque de transparence dans les processus de décision.
- Mesures recommandées : Minimisation des données, respect de la vie privée dès la conception, anonymisation vérifiée et mécanismes techniques de protection (par ex. confidentialité différentielle, filtres).
- Recommandations en matière de gouvernance : Rôles d’accès, contrôles de sortie, traitement séparé des feedbacks, examens réguliers des risques et documentation transparente.
En mars 2025, dans le cadre du “Programme “Support Pool of Experts un rapport d’une centaine de pages sur les risques en matière de protection des données lors de l’utilisation de grands modèles linguistiques (LLM) et sur les mesures de sécurité a été publié (“AI Privacy Risks & Mitigations – Grands modèles linguistiques (LLMs)”). Il vise à soutenir les autorités de contrôle dans les cas complexes, dans le but de contribuer à l’application du RGPD sans être contraignant.
Le rapport analyse, après une analyse détaillée Introduction aux aspects techniques et à Agentic AI les défis en matière de protection des données liés au développement, à l’exploitation et à l’intégration des LLM dans les systèmes d’IA.
Risques
Pour l’analyse des risques, il s’oriente vers le cycle de vie d’un système LLM :
1. les risques pendant la phase d’entraînement
- Sources de données non contrôlées : Les LLM sont souvent entraînés avec de grands ensembles de données, qui peuvent notamment provenir du web scraping. Ils peuvent contenir involontairement des informations personnelles ou sensibles.
- Mémorisation du contenu : Le modèle peut “mémoriser” des contenus liés à la personne et les reproduire ultérieurement.
- Anonymat insuffisant : Même si les données sont prétraitées, l’anonymisation n’est pas toujours suffisante.
- Insécurité juridique : Le statut juridique des données de formation (par exemple le consentement, la finalité) peut ne pas être clair.
2. les risques liés à l’utilisation du modèle
- Fuite : Les outputs peuvent, selon le cas, faire référence directement ou indirectement à des personnes réelles ou à des contenus de formation.
- Reconstructibilité : Certaines entrées peuvent amener le modèle à reproduire partiellement des modèles de formation ou des textes sources.
- Les RAG : Si des sources de données (par ex. un RAG) sont utilisées pour les invites et la réponse, des contenus sensibles peuvent être divulgués.
3. les risques liés aux feedbacks :
- Flux de données peu clairs : Les réactions des utilisateurs (par exemple les corrections et les évaluations) peuvent être enregistrées et traitées à nouveau, entre autres sans consentement/de manière illicite.
- Création de profils : Les interactions continues avec un système peuvent enregistrer des modèles de comportement liés à l’utilisateur.
- Absence d’affectation : Les données de confirmation ne sont souvent pas traitées séparément et sont mélangées à d’autres enregistrements.
4. risques systémiques dans les architectures d’agents :
- l’autonomie : Les LLM dans les systèmes agentiques peuvent éventuellement prendre de manière autonome des décisions ayant un impact potentiel sur les personnes concernées.
- Manque de transparence : Le processus de prise de décision est techniquement complexe et peut ne pas être compréhensible pour des personnes extérieures.
- Potentialisation des risques : Plus les outils et les sources de données externes sont intégrés, plus il est difficile de contrôler les flux de données.
Mesures
Parmi les mesures de réduction des risques, le document cite par ex :
1. design et conception :
- Minimisation des données : renoncer aux sources de données personnelles inutiles dans le cadre de la formation, en particulier ne pas utiliser de données brutes provenant de sources ouvertes non validées
- Privacy by Design : Intégrer les principes de protection des données dans l’architecture et la conception du système, par exemple par une séparation modulaire des données ou des fenêtres contextuelles restreintes.
- Mesures techniques de protection : Installation de Differential Privacy ou similaire.
2. préparation de la formation et des données :
- Sélection des données : Utilisation de données d’entraînement vérifiées, si possible anonymisées ou pseudonymisées ; de préférence des sources synthétiques ou agrégées.
- Filtre : utilisation de mécanismes de reconnaissance et d’exclusion automatisés pour les contenus sensibles (par exemple, identifiants personnels, données relatives à la santé, informations financières).
- l’anonymat : Validation si les données de formation répondent aux critères d’irréversibilité au sens de la Opinion 28/2024 correspondent.
3. fonctionnement et application :
- Concepts d’accès et de rôles : Mise en œuvre de restrictions d’accès différenciées pour les administrateurs, les développeurs et les utilisateurs finaux.
- Contrôle de la sortie : utilisation de filtres de sortie, de pare-feux d’invite et de listes noires basées sur la toxicité pour empêcher la sortie de contenus nuisibles ou identifiants
- Protection au niveau du jeton : Utilisation du filtrage sémantique par jeton pour détecter et masquer les contenus sensibles avant leur livraison à l’utilisateur.
- Protection RAG : Dans le cas de la génération augmentée de recherche (RAG) : Restrictions d’accès, journalisation des requêtes, validation des données utilisées.
4. le feedback et l’amélioration :
- Séparation : Séparation technique entre l’utilisation opérationnelle et les données de formation.
- Gestion du consentement : Conception transparente du feedback, identification des feedbacks volontaires, consentements documentés.
- Processus de suppression : Mise en œuvre d’un stockage réversible des commentaires avec option de révocation et de suppression.
5. suivi, analyse des risques résiduels et gouvernance :
- Examen des risques : Contrôles techniques et organisationnels réguliers, notamment en cas de mise à jour du système, de modification de l’architecture ou de remplacement du modèle.
- Classification des risques résiduels : Évaluation systématique des risques résiduels acceptés, fondée sur des probabilités de gravité et de survenance compréhensibles.
- Documentation et transparence : Tenue d’un registre des risques, journalisation des décisions relatives à la protection des données, divulgation aux autorités de contrôle.