Por primera vez, Google dice que detectó y detuvo un exploit de día cero desarrollado con inteligencia artificial. Según un informe de Google Threat Intelligence Group (GTIG), «prominentes actores de amenazas de delitos cibernéticos» planeaban utilizar la vulnerabilidad para un «evento de explotación masiva» que les habría permitido eludir la autenticación de dos factores en una «herramienta de administración de sistemas de código abierto basada en web» anónima.
Los investigadores de Google encontraron pistas en el script de Python utilizado para el exploit que indicaban ayuda de la IA, como una «puntuación CVSS alucinada» y un formato de «libro de texto estructurado» consistente con los datos de entrenamiento de LLM. El exploit aprovecha «una falla de lógica semántica de alto nivel donde el desarrollador codificó una suposición de confianza» en el sistema 2FA de la plataforma. Esto sigue a semanas de lamentarse por las capacidades de los modelos de IA centrados en la ciberseguridad como Mythos de Anthropic y una vulnerabilidad de Linux recientemente revelada que se descubrió con asistencia de IA.
Es la primera vez que Google encuentra evidencia de que la IA estuvo involucrada en un ataque como este, aunque los investigadores de Google señalan que «no creen que se haya utilizado Gemini». Google dice que pudo «interrumpir» este exploit en particular, pero también dice que los piratas informáticos utilizan cada vez más la IA para encontrar y aprovechar vulnerabilidades de seguridad. El informe también menciona la IA como un objetivo para los atacantes, diciendo que «GTIG ha observado que los adversarios apuntan cada vez más a los componentes integrados que otorgan utilidad a los sistemas de IA, como habilidades autónomas y conectores de datos de terceros».
El informe de Google también detalla cómo los piratas informáticos están utilizando el «jailbreaking basado en la persona» para lograr que la IA encuentre vulnerabilidades de seguridad para ellos, como un mensaje de ejemplo que le indica a la IA que pretenda ser un experto en seguridad. Los piratas informáticos también están alimentando modelos de IA con repositorios completos de datos de vulnerabilidad y utilizando OpenClaw de maneras que sugieren «un interés en refinar las cargas útiles generadas por IA dentro de entornos controlados para aumentar la confiabilidad del exploit antes de su implementación».
