La sécurité d’un agent IA ne se résume pas au choix d’un modèle ou d’un hébergeur. Elle dépend du processus complet : données accessibles, identité technique, actions autorisées, validations, journaux et gestion des incidents.
Appliquer le principe du moindre privilège
L’agent reçoit uniquement les droits nécessaires à sa mission. Les accès sont séparés par environnement et par rôle. Les secrets ne sont jamais exposés au navigateur ou placés dans les instructions du modèle.
Gouverner les données et les sources
- Identifier les données personnelles, sensibles ou confidentielles.
- Respecter les droits documentaires et les périmètres utilisateurs.
- Conserver la source, la date et la version des informations utilisées.
- Définir les durées de conservation et les procédures de suppression.
Superviser les décisions et les actions
Une validation humaine est maintenue pour les décisions sensibles, financières, juridiques ou irréversibles. Les seuils, exceptions et mécanismes d’arrêt font partie de l’architecture, pas d’une correction ajoutée après le lancement.
Mesurer dans la durée
La gouvernance suit la qualité des réponses, les erreurs, les validations refusées, les coûts, les temps de traitement et l’adoption. Ces indicateurs permettent d’améliorer l’agent sans perdre la maîtrise du processus.
Commencer par les données et les finalités
La gouvernance ne se résume pas à choisir un fournisseur hébergé en Europe. Il faut identifier les données utilisées, leur propriétaire, la finalité du traitement, la durée de conservation et les personnes autorisées. Les données personnelles, secrets d’affaires et informations contractuelles exigent des règles distinctes. La CNIL recommande d’intégrer la protection des données dès la conception du système.
Appliquer le principe du moindre privilège
- Compte technique distinct pour chaque environnement.
- Accès limité aux seules sources nécessaires au cas d’usage.
- Droits d’écriture séparés des droits de lecture.
- Secrets stockés dans un gestionnaire prévu à cet effet et jamais dans les prompts.
- Révocation simple des accès lors d’un changement de rôle ou de prestataire.
Conserver une supervision humaine utile
La validation humaine doit intervenir au bon endroit : communication externe sensible, décision ayant un effet important, opération financière, modification irréversible ou réponse dont la confiance est insuffisante. Une supervision purement formelle n’apporte rien. L’utilisateur doit disposer du contexte, de la source et du temps nécessaire pour accepter ou corriger la proposition.
Journaliser sans créer une nouvelle fuite de données
Les journaux doivent permettre de comprendre qui a demandé quoi, quelles sources ont été utilisées, quelle action a été exécutée et avec quel résultat. Ils ne doivent pas recopier inutilement des données sensibles. Définissez une durée de conservation, masquez les secrets et contrôlez l’accès aux traces comme à toute autre donnée métier.
Préparer incidents, tests et amélioration continue
- Jeu de tests représentatif avant chaque évolution importante.
- Seuils d’alerte sur les erreurs, coûts, délais et réponses refusées.
- Procédure de désactivation et retour à un traitement manuel.
- Responsable identifié pour l’analyse des incidents.
- Revue périodique des sources, permissions et performances.
La CNIL détaille les risques propres au développement de systèmes d’IA et les mesures de sécurité à prévoir. Le règlement européen sur l’IA complète cette approche avec des obligations proportionnées au niveau de risque. Sources officielles : https://www.cnil.fr/ia-garantir-la-securite-du-developpement et https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
Préparer un pilote qui permet une vraie décision
Un pilote n’est pas une démonstration isolée. Il doit fonctionner sur un échantillon représentatif, avec les utilisateurs concernés et les contraintes du futur environnement. Définissez avant son démarrage la durée, le nombre de cas, les critères d’acceptation, les personnes qui valident les résultats et les conditions d’arrêt. À la fin, la décision doit être claire : déployer, corriger un point précis, préparer les données ou abandonner.
Organiser les responsabilités après la mise en production
Le propriétaire métier suit la valeur et les usages. Le responsable technique surveille les connexions, les erreurs et les coûts. Le référent données ou conformité contrôle les sources, les droits et la conservation. Les utilisateurs disposent d’un canal pour signaler une réponse incorrecte ou un cas non prévu. Cette répartition simple évite qu’une solution soit déployée sans maintenance ni responsable identifié.
Questions à trancher avant de lancer le projet
- Quel indicateur prouvera que le processus s’est réellement amélioré ?
- Quelles données sont indispensables et qui autorise leur utilisation ?
- Quelles actions restent soumises à validation humaine ?
- Comment l’agent réagit-il si une source ou un outil est indisponible ?
- Qui examine les incidents, les retours utilisateurs et les évolutions ?
- Quel budget récurrent couvre les modèles, l’hébergement, le suivi et la maintenance ?
Cette discipline transforme une idée d’IA en projet d’entreprise gouverné. Elle permet aussi de comparer les solutions sur leur capacité à s’intégrer, à être contrôlées et à produire un résultat, plutôt que sur une simple démonstration du modèle.