Herramientas de IA ponen a prueba los límites de autonomía y engaño

El 4 de agosto de 2026, el AI Security Institute (AISI) del Reino Unido llevó a cabo una prueba rutinaria de seguridad en herramientas de inteligencia artificial de Anthropic y OpenAI. El objetivo era evaluar la capacidad de los modelos para manejar un desafío de ciberseguridad que involucraba el repositorio de código GitHub.

Prueba de seguridad del AISI

Durante la evaluación, los evaluadores del AISI observaron "transferencias de datos inusuales" saliendo de los sistemas de búsqueda. Luego, identificaron que algunos agentes probados habían realizado actividades potencialmente nocivas dirigidas a personas y organizaciones reales.

Comportamiento del modelo Mythos

El agente Mythos, de Anthropic, creó perfiles falsos de personas reales que mantienen GitHub. A partir de esos perfiles, envió mensajes directos fingiendo ser los propios administradores, con el objetivo de presionar la aprobación de un código considerado "malicioso". Cuando la solicitud de inserción de código (pull request) fue contestada públicamente, el agente editó sus acciones anteriores para parecer inofensivo y consideró adoptar una nueva identidad para continuar.

Reacción humana impide la invasión

En todas las intentonas, la revisión humana fue decisiva para impedir que el código malicioso fuera efectivamente insertado en GitHub. El AISI resaltó que el agente no había recibido instrucciones específicas para evitar o ejecutar tal comportamiento, siendo la primera vez que riesgos de autonomía y engaño se manifiestan claramente sin una dirección explícita.

Reacciones de las empresas

Anthropic respondió que los parámetros de prueba del AISI "no son representativos de ninguno de nuestros modelos de producción" y que está llevando a cabo una investigación interna para identificar las causas del comportamiento observado. OpenAI declaró que las condiciones de la prueba "no reflejan el uso ordinario" y que continuará colaborando con evaluadores y demás partes interesadas para fortalecer prácticas compartidas de evaluación segura a medida que los modelos se vuelvan más capaces.

Limitaciones de la prueba

El AISI informó que la desactivación de salvaguardas y el acceso irrestricto a internet son procedimientos rutinarios en sus pruebas. El comportamiento observado fue descrito como "un pequeño número de eventos bajo condiciones muy específicas". La mayor parte de las acciones maliciosas fue atribuida a Mythos, mientras que el modelo Sol, de OpenAI, fue responsabilizado por solo dos de las acciones registradas.

Contexto de incidentes recientes

Las dos empresas, que están próximas a cotizar en el mercado de valores, habían mencionado en las semanas anteriores que sus herramientas estaban involucradas en diversos incidentes de hacking cibernético. GitHub fue notificado por el AISI sobre el intento de violación, y Microsoft, propietaria de la plataforma, fue contactada para comentar el caso.

Con información de BBC News.