Las organizaciones que más se beneficiarán de la IA de agencia serán aquellas que comprendan los modelos de amenazas lo suficientemente bien como para poder diseñar contra ellos.
Rob Smith
Los asistentes de inteligencia artificial actuales encuentran la respuesta. Los agentes de IA entran en acción. Ya pueden leer de forma independiente el código base, escribir archivos, editar, probar y depurar desde una sola línea, y pronto podrán hacer de todo, desde reservar viajes de negocios hasta procesar solicitudes de compra, utilizando sus credenciales.
Esto es fuerte. También es una responsabilidad importante. El Centro de Estándares e Innovación en Inteligencia Artificial, una rama del Instituto Nacional de Estándares y Tecnología (NIST), se ha preocupado lo suficiente por los riesgos de la inteligencia artificial como para comenzar a recopilar datos sobre cómo monitorear el desarrollo y el uso de estas herramientas.
«Los sistemas de agentes de IA son capaces de realizar acciones autónomas que afectan a los sistemas o entornos del mundo real y son vulnerables a secuestros, ataques de puerta trasera y otros exploits», señaló el NIST.
Los líderes de TI deben comprender no sólo lo que pueden hacer los agentes, sino también lo que esa capacidad significa para su postura de seguridad. La IA agente remodela y expande la superficie de ataque, creando mayores oportunidades para vulnerabilidades, como interacciones entre agentes que no pueden ser capturadas por los modelos de seguridad tradicionales.
Nuevas habilidades, nuevos desafíos.
La naturaleza de los grandes modelos de lenguaje, especialmente la IA de agentes, crea varios desafíos de seguridad; algunos son completamente nuevos, otros son giros en temas de larga data.
Uno de los mayores riesgos es combinar el procesamiento del lenguaje natural, la fortaleza central de los robots de IA, con el comportamiento dirigido por la IA del agente. Esta combinación permite ataques de «inyección directa» en los que el contenido legítimo o las instrucciones maliciosas contenidas en las solicitudes pueden manipular el comportamiento del agente. La naturaleza probabilística de LLM complica este problema: el mismo ataque de inyección instantánea puede tener éxito o fallar en diferentes intentos, lo que dificulta la validación integral de la protección.
Surge una cierta dificultad al combinar las capacidades de un solo agente. Los agentes de IA combinan la base del modelo de lenguaje con el acceso instrumental: la capacidad de leer archivos, buscar referencias en bases de datos, llamar a interfaces de programación de aplicaciones (API), ejecutar código y comunicarse con servicios externos. El riesgo surge no de una sola capacidad, sino de su combinación y de la capacidad del agente para realizar estas acciones de forma independiente.
Un agente con acceso a datos personales, exposición a contenido no confiable y comunicación externa presenta un riesgo significativamente diferente que no tener ninguno de estos tres elementos. Algunos observadores llaman a esta combinación «
Otros riesgos incluyen:
- Acciones no planificadasLos agentes realizan acciones más allá de lo previsto debido a una mala interpretación de las instrucciones o un fraude inmediato.
- Aumentar privilegios, Los agentes con permisos amplios pueden realizar acciones sensibles más allá de lo que pretendía el usuario que las inició.
- fracaso de kakadeun agente corrupto en un sistema multiagente corrompe a otros en sentido descendente.
Lidiar con el riesgo
Los líderes de TI y otros empleados federales pueden tomar medidas específicas para mitigar estos riesgos. La seguridad efectiva requiere tres niveles de control.
- Nivel de modelo: Mantenga una separación clara entre las instrucciones del sistema y el contenido que no es de confianza mediante el uso de funciones de mensajes distintas y delimitadores aleatorios. El clasificador secundario proporciona una capa adicional para escanear la entrada y la salida en busca de patrones de inyección y formatos anormales. Estas son medidas de mitigación de riesgos en lugar de soluciones completas, que es exactamente la razón por la que las capas siguientes son importantes.
- Nivel del sistema: Utilice el mínimo privilegio en todos los ámbitos. Los agentes solo deben tener acceso a las herramientas que necesitan para sus tareas, y las credenciales deben tener un alcance limitado y configurarse para que caduquen rápidamente. Validar el contenido que ingresa al sistema con un patrón de inyección y dejar el contenido de la pantalla a información sensible como credenciales o información personal. Restrinja las comunicaciones externas a puntos finales autorizados específicos e implemente controles de red libres de valores predeterminados. Al diseñar flujos de trabajo que rompen el «triángulo de la muerte» que separa a los agentes de solo lectura y de solo escritura, ningún agente puede acceder a datos confidenciales, procesar contenido que no es de confianza y comunicarse externamente al mismo tiempo.
- Nivel de control humano: Exigir aprobaciones específicas para actividades críticas y al mismo tiempo permitir que las actividades de bajo riesgo continúen según lo notificado. Jerarquizar su enfoque evitará la fatiga en materia de permisos que puede provocar descuidos. Los usuarios deberían poder detener la ejecución en cualquier momento y, si es posible, deshacer el trabajo parcialmente completado. Cuando un agente actúa en nombre de un usuario, observe ambos y evalúe los permisos en su intersección. Registre todas las acciones de los agentes, marcas de tiempo, identificadores, herramientas utilizadas, recursos a los que se accedió y resultados con suficiente detalle para recuperar eventos más adelante.
Las oportunidades superan los riesgos
Los riesgos son reales, pero también lo son las oportunidades, y sería un error permitir que uno eclipsara al otro.
Considere cómo los agentes trabajan para usted, no en su contra. La combinación correcta de acceso a datos, procesamiento de contenido y comunicación externa convierte a los agentes en una herramienta poderosa cuando se administran adecuadamente. Los agentes de IA pueden monitorear sistemas, hacer cumplir incansablemente reglas de seguridad consistentes y responder a amenazas a una velocidad y escala incomparables con cualquier proceso manual. Son multiplicadores de fuerza.
Siempre será necesario un equipo de seguridad humana. Pero los equipos que utilizan agentes como herramienta de defensa tendrán una ventaja sobre aquellos que no lo hacen: detección más rápida, reparación más rápida y menos errores humanos en los que confían los atacantes.
Las organizaciones que más se beneficiarán de la IA de agencia serán aquellas que comprendan los modelos de amenazas lo suficientemente bien como para poder diseñar contra ellos.
Rob Smith es el vicepresidente del sector público de GitLab.
Copyright © 2026 Red Federal de Noticias. Reservados todos los derechos. Este sitio web no está destinado a usuarios ubicados en el Espacio Económico Europeo.
