Risque de système opérationnel : Reconfigurer la résilience à l'ère de l'IA

Source : Hyun, C. (2026). Operational-system risk in financial institutions in the AI transformation era: A conceptual framework for reconstructing risk management and emergency governance (Working paper). SSRN.

Sommaire : L'intégration de l'IA dans les institutions financières impose de passer d'une gestion du « modèle isolé » à celle du système d'exploitation métier activé par l'IA. Le risque de système opérationnel unifie les cadres existants (COSO, NIST, Bâle, OCDE) pour évaluer la résilience globale des processus, données, algorithmes et révisions humaines.
Ce cadre traite notamment du paradoxe wrong-but-running (dysfonctionnement silencieux), où l'IA produit des résultats incorrects sans panne technique visible. Face à cette défaillance silencieuse et à la dépendance aux tiers, la gouvernance doit intégrer des protocoles d'urgence (interruption et reprise) et des KRI ciblés pour préserver la confiance et la résilience institutionnelle.

1. Introduction : Au-delà du modèle, le système

La transformation par l'IA au sein des institutions financières ne peut être réduite à une simple expansion technologique ou à une optimisation de la productivité. Elle constitue une reconfiguration profonde des cadres institutionnels par lesquels le travail est exécuté, contrôlé et rendu opposable. La fiabilité d'un système d'IA n'est pas une propriété intrinsèque du modèle validé en laboratoire ; elle émerge de l'intégration de ses sorties au sein d'un environnement opérationnel complexe.

Pour les comités de risques et le comité exécutif, l'unité de gouvernance pertinente doit évoluer : il ne s'agit plus de superviser le « modèle isolé », mais le « système d'exploitation métier activé par l'IA » (AI-enabled business operating system). Ce passage nécessite l'adoption d'un nouveau cadre analytique : le risque de système opérationnel. Il convient de préciser d'emblée que ce concept ne constitue pas une nouvelle catégorie de risque statutaire ou une exigence de fonds propres réglementaires supplémentaire. Il s'agit d'une catégorie analytique au sein de l'ERM, servant de couche intermédiaire pour appréhender l'interaction systémique entre les processus, les données et les algorithmes.

2. Cadre Conceptuel : Une synthèse des piliers de la gestion des risques

Le risque de système opérationnel agit comme un tissu conjonctif entre les domaines fragmentés de la gestion des risques. Il ne remplace pas les cadres existants mais les synthétise pour offrir une vision holistique de la résilience institutionnelle.

3. Anatomie du Risque de Système Opérationnel

Le risque de système opérationnel, tel que théorisé par Chongseok Hyun, se définit comme la probabilité qu'un système d'exploitation métier activé par l'IA ne reste pas digne de confiance dans son contexte d'utilisation réel. Là où le Risque de Modèle se concentre sur les spécifications techniques et l'implémentation algorithmique, le risque de système opérationnel cible le cadre institutionnel et les interactions probabilistes entre les composants du système.

Une attention particulière doit être portée à l'examen humain (human-in-the-loop). Dans une perspective stratégique, l'intervention humaine risque de devenir un « contrôle symbolique » si le réviseur ne dispose pas du temps, de l'autorité ou des preuves nécessaires pour contester les sorties de l'IA.

Les composantes critiques de ce système incluent :

• Les modèles d'IA et les flux (pipelines) de données associés.
• Les flux de travail automatisés et la logique d'automatisation.
• Le jugement humain et les protocoles de révision.
• Les contrôles internes et les dispositifs de cybersécurité.
• Les dépendances envers les tiers (Cloud, API, modèles de fondation).
• Les structures de responsabilité et les obligations de reporting.

4. Le paradoxe du "Wrong-But-Running" (dysfonctionnement silencieux)

L'IA introduit une forme de défaillance inédite qui neutralise les plans de continuité d'activité (PCA) conventionnels : la défaillance de type wrong-but-running. Contrairement à une panne totale (outage), le système demeure opérationnel, mais ses sorties sont substantiellement compromises.

« La défaillance de type "wrong-but-running" décrit des situations dans lesquelles une opération activée par l'IA continue de fonctionner tout en produisant des résultats plausibles mais incorrects (évaluations de crédit, rapports de risques, communications clients ou rapports réglementaires). »

Ce paradoxe est une manifestation sectorielle du risque de déploiement en conditions réelles. Il rend obsolètes les indicateurs de disponibilité classiques (SLA basés sur le taux de disponibilité (uptime) car le tableau de bord peut afficher un signal vert alors que l'intégrité des décisions financières est dégradée. Cette défaillance silencieuse nécessite une gouvernance capable de détecter des anomalies de substance là où les outils de monitoring IT ne voient aucune interruption de service.

5. Gouvernance d'Urgence : Risque d'Interruption et de Reprise

La complexité des systèmes d'IA impose de compléter la « gouvernance d'approbation » par une gouvernance d'urgence. Celle-ci est centrée sur le risque d'interruption et de reprise (interruption-and-resumption risk) : le risque que l'institution échoue à prendre des décisions opportunes et proportionnées concernant la suspension ou le rétablissement d'une opération.

Cette gouvernance repose sur une distinction clinique entre les incidents (dommages matérialisés) et les aléas (hazards). Les aléas - tels que des dérives de modèles (drift) ou des anomalies de flux de données - exigent une escalade et une surveillance proactive avant même qu'une perte ne soit constatée.

Le cycle de décision d'urgence doit être pré-structuré selon les étapes suivantes :

1. Détection : Identification de signaux d'anomalies ou de dégradations de performance.
2. Classification de la sévérité : Évaluation de l'impact sur les opérations critiques et la protection des clients.
3. Escalade et Communication : Information des instances de gouvernance et des régulateurs.
4. Interruption ou Restriction : Décision de suspendre, limiter ou basculer le système.
5. Mode dégradé ou Substitution (Fallback) : Activation de procédures manuelles ou de règles de contrôle simplifiées.
6. Reprise fondée sur les preuves (Evidence-based resumption) : Le redémarrage exige la preuve que la cause a été circonscrite et que les contrôles compensatoires sont effectifs.

6. Dépendances Tierces et Fragilité Systémique

L'externalisation de composants critiques (modèles de fondation, infrastructure Cloud) crée une fragilité systémique où l'institution se retrouve souvent « responsable mais sans contrôle direct » (accountable but not in control). L'externalisation technologique ne transfère en aucun cas la responsabilité du risque.

La gestion de ces dépendances exige une « équivalence de résilience » chez les fournisseurs. Conformément aux orientations de l'OCDE sur la transparence ascendante (upstream transparency), les institutions doivent obtenir une visibilité sur les pratiques de sécurité et les processus de gestion d'incidents des développeurs d'IA. La fragilité du système opérationnel est directement corrélée à la capacité de l'institution à substituer un composant tiers défaillant ou à activer un mode de fonctionnement autonome en cas de rupture de la chaîne d'approvisionnement numérique.

7. Implications Pratiques

L'opérationnalisation de ce cadre impose trois impératifs stratégiques :

• Inventaire des opérations au niveau système : Cartographier les processus non pas par modèle, mais par système opérationnel métier (incluant les flux de données, les tiers et les points de révision humaine).
• Indicateurs de risque de système (KRI) : Suivre des métriques spécifiques telles que le taux de correction humaine, les volumes d'exceptions, les alertes fournisseurs et les anomalies de sorties par rapport aux tendances historiques.
• Protocoles d'interruption-reprise pré-approuvés : Définir les seuils de tolérance à la défaillance (notamment pour le mode wrong-but-running) et les critères de reprise validés par les fonctions de contrôle interne et de gestion des risques.

8. Conclusion : La fiabilité comme pilier de la confiance

Le risque de système opérationnel constitue le pont conceptuel nécessaire pour unifier la gestion des risques à l'ère de l'IA. En se concentrant sur la fiabilité de l'arrangement opérationnel global, les institutions financières garantissent à la fois l'intégrité de leur reporting financier, et la protection des consommateurs. Dans un environnement de plus en plus automatisé, la capacité d'une institution à gouverner l'interruption et la reprise sécurisée de ses systèmes devient le fondement ultime de la confiance institutionnelle et de la résilience systémique.