Securing Agentic AI: The Next Frontier of Intelligent Systems | Diana Kelley, Noma Security

Summary

DansGenerate summary in French cette présentation, Diana Kelly, CISO de NMA Security, explore l'écosystème de l'Agentic AI, une intelligence artificielle autonome capable de transformer les créations de l'IA générative en actions concrètes. Elle explique les différences clés entre l'IA générative et l'Agentic AI, décrit l'architecture des agents, les protocoles MCP et A2A, ainsi que le spectre d'autonomie. Elle aborde également la modélisation des menaces grâce au cadre MAESTRO et identifie les risques principaux tels que l'utilisation abusive des outils, les hallucinations en cascade et l'autonomie non contrôlée. Enfin, elle souligne l'importance des tests, de la supervision humaine et de la surveillance continue pour sécuriser ces systèmes complexes.

Q & A

Qu'est-ce que l'Agentic AI selon Diana Kelly ?

L'Agentic AI est un logiciel intelligent et orienté objectifs qui utilise l'intelligence générative pour prendre des actions autonomes et coordonner divers outils et systèmes afin d'accomplir des tâches complexes.

Quelle est la différence principale entre l'IA générative et l'Agentic AI ?

L'IA générative crée du contenu à partir de données d'entraînement de manière passive, tandis que l'Agentic AI utilise ce contenu pour agir de manière autonome et orchestrer des actions à travers différents outils et agents.

Quels sont les trois processus fondamentaux dans le flux de travail d'un Agentic AI ?

Les trois processus sont : percevoir (collecter et traiter des données), raisonner (utiliser le LLM pour générer des solutions) et agir (exécuter des actions basées sur les résultats du LLM).

Qu'est-ce que le protocole Model Context Protocol (MCP) et quel est son rôle ?

Le MCP est un protocole ouvert qui connecte les agents, les LLM et les sources de données locales pour permettre l'intégration et la communication entre les composants d'un système Agentic AI.

Comment les agents communiquent-ils entre eux dans un système multi-agent ?

Ils utilisent le protocole Agent-to-Agent (A2A) pour interagir et collaborer, en appelant d'autres agents spécialisés afin de réaliser des tâches qu'ils ne peuvent pas accomplir seuls.

Qu'est-ce que le spectre d'autonomie et comment influence-t-il le risque ?

Le spectre d'autonomie définit le degré d'action des agents, allant de la supervision humaine totale à l'autonomie complète. Plus l'autonomie est élevée, plus le risque de décisions non désirées ou dangereuses augmente.

Quels sont les trois risques majeurs associés à l'utilisation d'Agentic AI mentionnés dans le script ?

Les trois risques sont : l'utilisation abusive des outils, les hallucinations en cascade (informations incorrectes propagées par le système) et l'autonomie non contrôlée des agents.

Comment peut-on mitiger le risque d'utilisation abusive des outils par les agents ?

En contrôlant l'accès aux outils, en surveillant les actions des agents et en utilisant des politiques comme le DLP pour empêcher l'exfiltration d'informations sensibles.

Quels mécanismes permettent de réduire les hallucinations en cascade dans les systèmes Agentic AI ?

On peut utiliser la validation des sorties, l'intégration d'humains dans la boucle, le monitoring des politiques, les red teams pour tester les modèles et des boucles de rétroaction continues pour corriger les erreurs.

Comment s'assure-t-on qu'un agent ne prend pas d'actions non autorisées dans un système autonome ?

En mettant en place des règles déterministes pour limiter certaines actions, en intégrant un humain pour approuver les décisions critiques, et en surveillant le comportement en temps réel pour détecter les anomalies.

Quelle est l'importance du cadre MAESTRO dans la sécurité des systèmes Agentic AI ?

MAESTRO permet de décomposer le système Agentic AI en couches et d'identifier les menaces spécifiques à chaque couche, ainsi que les risques transversaux, facilitant ainsi l'évaluation et la mitigation des risques.

Pourquoi est-il crucial de surveiller les systèmes Agentic AI après leur déploiement ?

Parce que les agents peuvent agir de manière autonome et que des violations de politiques, des actions excessives ou des attaques comme le poisoning des données ou les backdoors dans les modèles peuvent survenir, nécessitant une surveillance continue.