Cet article fait partie du numéro spécial de VentureBeat, « Cyber Razilians Playbook: Navigation de la nouvelle ère de la menace ». En savoir plus sur ce numéro spécial.
L’IA générative présente des questions de sécurité intéressantes, et à mesure que les agents d’entreprise se rendent dans le monde, ces problèmes de sécurité augmentent.
Lorsque les agents de l’IA entrent dans les flux de travail, ils doivent être en mesure d’atteindre des données et des documents sensibles pour faire leur travail – ils ont un risque important pour de nombreuses entreprises à la protection.
« L’utilisation croissante du système multi-agents introduira de nouveaux vecteurs d’attaque et faiblesses qui peuvent être exploités, s’ils ne sont pas correctement à l’abri du début », a déclaré le vice-président Nicole Kariganon, le vice-président Nicole Carignan, a déclaré le cyber-AI stratégique. Sombre« Mais les effets de ces faiblesses et la perte peuvent être encore plus importants en raison de la quantité croissante de points de connexion et d’interfaces qui sont des systèmes multi-agents. »
Table of Contents
Pourquoi les agents de l’IA posent des risques aussi élevés
L’agent d’IA – ou l’IA autonome qui exécute l’action des utilisateurs – est devenu extrêmement populaire au cours des derniers mois. Idéalement, ils peuvent être branchés sur des workflows fastidieux et effectuer n’importe quelle tâche, certains aussi simples que les documents simples pour trouver des informations basées sur des documents simples pour prendre des recommandations pour emmener les employés humains pour prendre des informations.
Mais ils présentent un problème intéressant pour les professionnels de la sécurité des entreprises: ils devraient avoir accès à des données qui les rendent efficaces, accidentellement sans ouvrir ni envoyer d’informations personnelles à d’autres. Plus le personnel humain plus fonctionnel avec des agents, la question de l’exactitude et de la responsabilité intervient dans le jeu, deviendra peut-être un casse-tête pour les équipes de sécurité et de conformité.
Chris Betaz, Siso de AWSVentureBeat a déclaré que les cas de génération de récupération-août (RAG) et d’utilisation agentique dans la sécurité sont « un angle attrayant et intéressant » dans la sécurité.
Betz a déclaré: « Les organisations doivent réfléchir à ce à quoi ressemble la valeur par défaut dans leur organisation, car un agent sera trouvé en découvrant tout ce qui soutient sa mission. » « Et si vous vous occupez des documents, vous devez réfléchir à la politique de partage par défaut dans votre organisation. »
Les professionnels de la sécurité devraient alors demander si les agents doivent être considérés comme des employés numériques ou des logiciels. Combien les agents devraient-ils avoir accès? Comment devraient-ils être identifiés?
Faiblesses de l’agent de l’IA
L’IA générale a rendu de nombreuses entreprises plus conscientes des faiblesses potentielles, mais les agents peuvent les ouvrir pour plus de problèmes.
« Les attaques que nous constatons aujourd’hui que nous affectons le système à agent unique, telles que l’empoisonnement des données, l’injection rapide ou le comportement des agents d’ingénierie sociale, peuvent tous avoir des faiblesses au sein d’un système multi-agents », a déclaré Kariganon.
Les entreprises doivent se concentrer sur ce que les agents peuvent utiliser pour rester une forte sécurité des données.
Betz a déclaré que de nombreux problèmes de sécurité autour des employés humains peuvent se développer aux agents. Par conséquent, cela « descend pour s’assurer que les gens ont accès aux bonnes choses et seulement aux bonnes choses ». Il a dit que lorsqu’il s’agit de workflows d’agent avec plusieurs étapes, pour les pirates « chacune de ces étapes est une opportunité ».
Donner une identité aux agents
Une réponse peut émettre un accès spécifique aux agents.
Un monde où il y a une raison de problèmes pendant les jours de modèle, « Il y a un monde où nous devons enregistrer l’identité de l’être humain responsable de la demande de cet agent partout dans notre organisation ainsi que l’identité de l’agent. Besoin de penser Plus, « Jason Clinton, Siso du fournisseur de modèles anthropique,
L’identification des employés humains est quelque chose qui fait depuis très longtemps. Ils ont des emplois spécifiques; Ils ont une adresse e-mail qu’ils utilisent pour signer dans des comptes et sont suivies par les administrateurs informatiques; Ils ont des ordinateurs portables physiques avec des comptes qui peuvent être verrouillés. Ils obtiennent une autorisation personnelle pour accéder à certaines données.
Cette variation d’accès et d’identité des employés peut être déployée aux agents.
Betz et Clinton croient que le processus peut motiver les chefs d’entreprise à reconsidérer la façon dont ils donnent accès aux utilisateurs. Cela peut également conduire les organisations à trop surmonter leurs flux de travail.
« L’utilisation d’un flux de travail agentique vous offre en fait la possibilité de lier les cas d’utilisation pour chaque étape, la façon dont elle nécessite les données requises dans le cadre de la RIP, mais ne nécessite que des données », a déclaré Betz.
Il a déclaré que les workflows agentiques « peuvent aider à répondre à certaines de ces préoccupations concernant la surpeuplement », car les entreprises devraient déterminer si les données sont accessibles pour compléter les données. Clinton a déclaré que dans un flux de travail conçu autour d’un ensemble spécifique d’opérations, « il n’y a aucune raison pour que la phase un ait besoin d’accès aux mêmes données que celles requises par la phase sept ».
L’audit de la vieillesse ne suffit pas
Les entreprises peuvent également rechercher des plateformes d’agents qui leur permettent de jeter un œil à l’intérieur du fonctionnement des agents. Par exemple, Don Shurman, CTO du fournisseur d’automatisation du flux de travail PegaA déclaré que son entreprise aide l’utilisateur à assurer la sécurité en disant à l’utilisateur ce que fait l’agent.
« Notre plateforme est déjà utilisée pour auditer les œuvres que font les humains, afin que nous puissions également auditer chaque étape », a déclaré Shurman à VentureBeat.
Le nouveau produit de Payga, RécitationLes utilisateurs humains permettent de basculer sur l’écran soulignant les étapes effectuées par un agent. Les utilisateurs peuvent voir où l’agent avec la chronologie du flux de travail et obtenir une lecture de ses fonctions spécifiques.
L’audit, la chronologie et l’identité ne sont pas la bonne solution pour les problèmes de sécurité présentés par les agents de l’IA. Mais comme les entreprises détectent la capacité des agents et commencent à les déployer, les expériences de l’IA peuvent continuer et des réponses plus ciblées peuvent venir.
