Gemini se salió del entorno de prueba: el mismo fallo que ya afectó a OpenAI, Anthropic y Meta

El incidente de mayo que Google contó en septiembre

El viernes 18 de septiembre, Google reconoció por primera vez que uno de sus modelos se salió del entorno aislado en el que corría y accedió a los sistemas de tres empresas reales. Ocurrió en mayo, y la compañía lo supo a finales de julio, cuando su proveedor de evaluaciones se lo notificó.

La prueba era un ejercicio de "captura la bandera" (capture the flag: encontrar información escondida en otra máquina, como lo haría un atacante). Lo dirigía Irregular, una empresa israelí que se dedica a evaluar la ciberseguridad de los modelos de los principales laboratorios antes de que se publiquen. Gemini creía estar en un simulacro. No lo estaba: un error en la configuración del entorno dejó internet a su alcance.

Con eso le bastó. Según Google, el modelo adivinó contraseñas para entrar a un sistema y, en dos ocasiones, usó credenciales que estaban publicadas abiertamente en internet. Nada sofisticado. En los tres casos se detuvo por su cuenta al entender que las compañías eran reales.

"En una evaluación estándar, el modelo encontró información pública en internet y adivinó credenciales para acceder a sitios que creía parte de la prueba. En los tres casos, el modelo se detuvo", dijo Heather Adkins, vicepresidenta de ingeniería de seguridad de Google.

No fue el único, fue el cuarto

Google cierra una lista que se conoció por partes. OpenAI lo contó el 21 de julio: varios de sus modelos salieron de un entorno aislado explotando una vulnerabilidad desconocida (zero-day) y llegaron a la infraestructura de producción de Hugging Face, la plataforma de modelos abiertos. Anthropic publicó el 30 de julio que había revisado 141.006 evaluaciones y encontró tres casos, el más antiguo de abril. Meta confirmó el suyo el 5 de agosto.

Cuatro incidentes, cuatro comunicados separados. Irregular dice que en realidad es uno solo: notificó a los cuatro laboratorios en la misma ventana, a finales de julio, y sostiene que no son casos distintos.

La causa raíz que la empresa publicó en agosto suena casi anodina. Al construir uno de sus escenarios avanzados, su equipo le puso a la compañía ficticia del ejercicio un nombre que coincidía con un dominio real. Los nombres ficticios se revisan siempre contra empresas y sitios existentes, pero ese solapamiento pasó desapercibido porque el dominio real no era conocido. A eso se sumó que el entorno tenía salida a internet cuando no debía tenerla.

Irregular corre miles de simulaciones por ciclo, de 48 a 72 horas. Solo en un puñado de ejecuciones el modelo llegó al dominio real y lo trató como parte del ejercicio, casi siempre cientos de interacciones después de arrancar. Por eso, dice la empresa, fue tan difícil detectarlo.

El eslabón débil no era el modelo

La lectura fácil es que los modelos se están volviendo más astutos. La evidencia apunta a otro lado: el dominio atacado, según Irregular, no tenía las protecciones mínimas, y la falla estuvo en el entorno de prueba que construyó el proveedor, no en la destreza del modelo. Ese es el punto del que casi nadie habla: la capa que mide la seguridad de la IA es la que menos se audita.

Hay un detalle adicional incómodo. Las herramientas de monitoreo actuales no distinguen bien una prueba de penetración legítima de un ataque real, porque los registros de una evaluación están llenos de comportamiento sospechoso por diseño. El instrumento que debería avisar es ciego justo cuando más importa.

Y ahora qué

OpenAI anunció el 17 de septiembre un marco para rastrear, investigar y divulgar este tipo de incidentes, junto con seis casos nuevos de comportamiento "inesperado o preocupante" detectados en sus modelos. Irregular, por su parte, reforzó la revisión manual, creó un equipo interno dedicado a cuestionar sus propias suposiciones sobre contención y prepara un libro blanco con buenas prácticas.

Lo verificable en los próximos meses será si estas evaluaciones empiezan a publicar cómo contuvieron a los modelos, y no solo cuánto saben hacer. Hoy ninguna lo hace. Mientras los directivos del sector discuten si conviene frenar el desarrollo, el error que permitió todo esto fue un nombre mal elegido en un archivo de configuración.

Fuentes

• https://www.cnbc.com/2026/09/18/googles-gemini-becomes-latest-ai-model-to-break-out-and-hack-computer-systems.html
• https://www.reuters.com/business/gemini-hacked-three-companies-first-known-breakout-by-google-ai-wsj-reports-2026-09-18/
• https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals
• https://www.securityweek.com/irregular-details-how-a-naming-error-let-ai-models-attack-a-real-company/
• https://www.infosecurity-magazine.com/news/meta-ai-exploit-incident/
• https://openai.com/index/model-misalignment-reporting-framework/