La empresa británica Darktrace Holdings Ltd. ha hecho que el producto SECURE AI esté disponible públicamente, implementando detección de comportamiento en el uso corporativo de herramientas y agentes de IA. La telemetría de aproximadamente 8,200 implementaciones de Darktrace muestra que más del 80% de las cuentas de clientes monitoreadas utilizaron IA generativa en agosto, y la organización promedio interactuó con cinco proveedores de IA en un mes.
La empresa presentó tres ejemplos. Una organización aprobó un asistente de IA, pero la mayoría de los empleados utilizaron servicios no autorizados. En otra, se crearon casi 90 agentes de IA en un entorno de desarrollo sin un procedimiento de aprobación. El uso no controlado de IA por contratistas en la tercera llevó a una revisión legal.
SECURE AI utiliza el mismo método de análisis de comportamiento que otros productos de Darktrace. La versión pública implementa integración con Amazon Web Services, Anthropic, Microsoft y OpenAI. En ChatGPT Enterprise, Claude, Microsoft Copilot y Amazon Bedrock, las sesiones se escanean en tiempo real en busca de hackeos, filtraciones de datos e inyecciones de sugerencias indirectas. A cada sesión se le asigna una calificación de riesgo.
La detección de IA en la sombra se basa en la integración con Microsoft Entra Global Secure Access. Los administradores pueden bloquear servicios no autorizados o poner dispositivos en cuarentena, así como cargar sus propias políticas de IA para verificar el cumplimiento de los requisitos. La cobertura se extiende a entornos de desarrollo: Amazon Bedrock y Microsoft Copilot Studio.
"La inteligencia artificial está rompiendo este modelo", dijo Ed Jennings, presidente y CEO de Darktrace, sobre el enfoque anterior para catalogar amenazas. En su opinión, una señal importante es el momento en que algo "comienza a comportarse de manera diferente a lo que es normal para la organización".
Artículos relacionados
