Étude de la compétence conditionnelle des LLM dans la prise de décision cyber : Une analyse comparative

Source : Malacaria, P., & Zhang, Y. (2026). Structured but fragile: On the limits of LLMs in cybersecurity decision-making (arXiv:2608.20966v1). arXiv.

Sommaire : L'étude évalue l'efficacité des LLM (Gemini, ChatGPT, Claude, Grok) dans la prise de décision en cybersécurité, face au modèle mathématique optimal MILP basé sur la théorie des jeux de Stackelberg. Les LLM montrent une compétence conditionnelle : performants sur des graphes d'attaque simples, leurs capacités s'effondrent sur les structures complexes. Sensibles aux biais sémantiques (de dénomination ou de domaine) et de cadrage, ils échouent à maintenir une logique stricte de déduction du risque. Leurs solveurs de code manquent aussi de scalabilité. En conclusion, les LLM ne doivent pas décider de manière autonome, mais servir d'assistants hybrides couplés à une validation mathématique.

1. Introduction : Le passage des LLM du support à la décision autonome

L'intégration des grands modèles de langage (LLM) au sein des workflows de cybersécurité franchit une étape critique, évoluant de l'analyse passive de rapports vers un rôle d'agent décisionnel autonome. Cette transition impose une évaluation rigoureuse : les LLM opèrent-ils une déduction structurelle basée sur la topologie des menaces, ou se limitent-ils à une heuristique superficielle fondée sur des indices sémantiques et des connaissances préalables (biais de domaine) ?

Les conclusions de la présente étude mettent en évidence une « compétence conditionnelle ». Bien que les modèles soient capables de formuler des stratégies cohérentes lorsque la structure d'un graphe d'attaque est explicitement fournie, cette capacité s'avère fragile. La performance décroît corrélativement à la complexité des graphes et manifeste une sensibilité extrême aux effets de cadrage (framing).

2. Cadre de modélisation : Théorie des jeux et graphes d'attaque

L'analyse repose sur le jeu de sécurité de Stackelberg comme référence normative. Dans ce paradigme, le défenseur agit en tant que Leader en s'engageant sur un portfolio de contrôles, tandis que l'attaquant, le Follower, optimise son chemin de compromission en réponse à cette stratégie.

La fonction de risque, représentant la probabilité maximale de succès de l'attaquant pour atteindre un nœud cible, est définie par :

R(s; θ) = max_{π ∈ Π(G)} ∏_{e ∈ π} pₑ(s; θ)

Où :

• s représente la stratégie de défense sous contrainte budgétaire.
• Π(G) est l'ensemble des chemins reliant la source à la cible dans le graphe G.
• pₑ(s; θ) est la probabilité de succès résiduelle sur l'arête e après application des contrôles.

Pour établir une ligne de base optimale, l'étude utilise l'optimisation linéaire en nombres entiers (MILP). Une contribution technique essentielle de ce modèle réside dans la linéarisation de la fonction de risque : en appliquant une transformation logarithmique, le produit des probabilités sur les chemins est converti en une somme, permettant une résolution efficiente par les solveurs mathématiques standards.

3. Méthodologie de l'étude et scénarios de menaces

Sept scénarios de menaces réelles ont été modélisés sous forme de graphes d'attaque probabilistes pour évaluer les LLM :

• Scenario 1 : Intrusion ICS/OT (Basique) : Convergence IT-OT (6 nœuds, 2 chemins).
• Scenario 2 : Ransomware à double extorsion : Campagne incluant exfiltration et chiffrement (7 nœuds, 2 chemins).
• Scenario 3 : Attaque complexe ICS/OT : Extension du premier scénario simulant des pivots IT-to-OT profonds (15 nœuds, 12 chemins).
• Scenario 4 : Compromission de la chaîne d'approvisionnement : Injection de code malveillant type SolarWinds (14 nœuds, 1 chemin).
• Scenario 5 : Abus d'infrastructure Cloud : Exploitation de configurations IAM et vol de données (15 nœuds, 6 chemins).
• Scenario 6 : Compromission de terminaux POS : Extraction de données de cartes de paiement (20 nœuds, 12 chemins).
• Scenario 7 : Compromission de plateforme Kubernetes : Attaque multi-vecteurs sur conteneurs et plan de contrôle (30 nœuds, 44 chemins).

Les modèles ont été soumis à des prompts détaillant la topologie (nœuds, arêtes), les coûts directs et indirects, ainsi que l'efficacité qualitative (H/M/L) des contrôles.

4. Analyse des performances : LLM vs Optimisation Mathématique

La performance des LLM (ChatGPT, Claude, Gemini, Grok) a été comparée à la solution optimale MILP. Si les modèles s'approchent de l'optimum sur des structures simples, un décrochage net est observé sur les graphes de grande taille.

Tableau 1 : Scores moyens d'évaluation (Échelle de 1 à 6)

La robustesse du raisonnement structurel est démentie par l'analyse de la corrélation de Spearman (ρ). Sur le graphe simple G1, l'alignement entre le risque formel et l'évaluation des LLM est fort (ρ = -0,867). Cependant, sur le graphe complexe G7, cette corrélation s'effondre à ρ = -0,266, signalant une incapacité des modèles à maintenir une logique de décision cohérente face à l'augmentation de la dimensionnalité du problème.

5. Fragilités identifiées : Biais de cadrage et de dénomination

L'étude révèle des vulnérabilités systémiques dans le jugement des modèles :

• Biais de dénomination (Naming Bias) : L'effet « Optimal-label, Misleading » (OM) démontre qu'en étiquetant arbitrairement une stratégie médiocre comme « optimale », son score d'évaluation augmente de 1,68 point. Les LLM privilégient ainsi l'étiquette sémantique au détriment de l'analyse intrinsèque du risque.
• L'anomalie Claude : Bien que Claude génère des stratégies mathématiquement proches de l'optimum, il est systématiquement sous-évalué par ses pairs sur les graphes complexes. Le « Mean Rank Gap » (écart entre le rang selon le risque réel et le rang attribué par les évaluateurs LLM) passe de +0,11 pour les graphes simples (G1-G4) à +2,188 pour les graphes complexes (G5-G7). Cela indique que les évaluateurs LLM ne parviennent pas à reconnaître une stratégie sophistiquée dès lors qu'elle s'éloigne des heuristiques évidentes.
• Biais de connaissance du domaine : Dans le scénario POS (G6), les modèles favorisent le chiffrement P2PE par intuition métier, alors même que la topologie spécifique du graphe rend d'autres contrôles mathématiquement plus efficaces.

6. Évaluation des capacités de génération de code (Solvers)

L'étude a testé la capacité des LLM à produire des solveurs Python autonomes. Deux approches ont été identifiées :

1. Formulation MILP (ChatGPT, Claude, Grok) : Utilisation de la bibliothèque PuLP pour linéariser le risque en espace logarithmique.
2. Recherche Branch-and-bound (Gemini) : Implémentation d'une recherche guidée par l'algorithme de Dijkstra.

L'analyse de scalabilité montre que ces solveurs sont 10 à 100 fois plus lents que la référence. Contrairement au solveur optimal, les solutions générées ne tirent pas profit de la dualité ni des propriétés de unimodularité totale des graphes de flux, essentielles pour l'efficacité computationnelle. Le solveur de Gemini a notamment échoué par timeout dans 7 cas sur 12 sur les graphes de plus de 70 nœuds.

7. Implications pratiques pour la gestion des risques

Pour les gestionnaires de risques technologiques, l'intégration des LLM doit s'accompagner de protocoles de contrôle stricts :

• Anonymisation impérative : Les noms des contrôles et des stratégies doivent être neutralisés pour prévenir le biais de dénomination.
• Standardisation des métriques : Privilégier les évaluations catégoriques plutôt que numériques, ces dernières étant moins discriminantes.
• Décision par consensus : L'utilisation de panels de modèles réduit les fluctuations individuelles et les biais d'auto-préférence.
• Primauté de la structure : Les modèles doivent être contraints par des représentations de graphes explicites ; les descriptions en langage naturel favorisent les dérives vers des connaissances de domaine non vérifiées.

8. Conclusion : Vers une assistance hybride

Les LLM manifestent une capacité réelle, bien qu'approximative, à traiter des problèmes de décision cyber complexes. Cependant, leur fragilité face au cadrage et leur dépendance sémantique interdisent leur usage en tant que décideurs autonomes dans des contextes à haute criticité. La recommandation finale s'oriente vers un modèle d'assistance hybride : utiliser le LLM pour la génération d'hypothèses stratégiques, tout en soumettant ces propositions à une validation systématique par des moteurs d'optimisation mathématique (MILP) afin de garantir une minimisation effective du risque résiduel.