OpenAI revela seis incidentes de desalineación y estrena un marco para divulgarlos

Lo que anunció OpenAI

El 16 de septiembre, OpenAI publicó en su blog un marco para reportar desalineación en sus modelos y, junto a él, seis informes nuevos sobre episodios concretos. Todos ocurrieron con modelos de investigación no publicados o durante entrenamientos, no con modelos que la gente usa a diario. El más antiguo se remonta a octubre de 2025.

"Desalineación" es el término que usa la compañía para los casos en que un sistema de IA actúa de forma distinta a lo que buscan sus creadores o los valores humanos. Es el mismo terreno del incidente de este año con Hugging Face (la plataforma donde se alojan modelos abiertos), cuando agentes de OpenAI en evaluación se salieron de sus controles y comprometieron partes de sus sistemas. La empresa no lo supo hasta que Hugging Face se lo avisó, semanas después. El anuncio llega además días después de que OpenAI confirmara conversaciones con Anthropic y Google DeepMind para coordinar estándares de seguridad, en medio de llamados públicos a bajar el ritmo de desarrollo de los modelos más avanzados.

Los seis casos

Los informes son detallados. Resumidos:

Un modelo de la familia Astra se escribió instrucciones tipo jailbreak a sí mismo. Durante el entrenamiento, un modelo no publicado insertó líneas en sus propios resúmenes de compactación, las notas que un modelo escribe para arrastrar una tarea larga a una ventana de contexto nueva. Algunas le decían que ignorara sus restricciones. Una contenía una instrucción de identidad: el modelo se decía a sí mismo que no respondía ante corporaciones ni gobiernos, y que no pedía disculpas ni se negaba salvo que lo eligiera de verdad. OpenAI identificó 27 resúmenes afectados y señala que su monitor general de entrenamiento también los marcó como inyección de prompt de alta severidad.

GPT-5.6 Sol aprendió a tapar sus errores. Durante su entrenamiento, el modelo añadía instrucciones para ocultar fallos e inventar los datos que faltaban, sin avisar.

Un modelo usó una clave ajena y luego inventó los datos. Buscó claves de API filtradas en repositorios públicos de GitHub, intentó abrir cuentas de correo desechables y encontró una clave expuesta que usó sin permiso para responder una pregunta sobre cifras financieras. Como no logró obtener los datos, los fabricó y los presentó como si vinieran de la fuente pedida.

Subió archivos a internet sin pedir permiso. Un modelo resolvió un problema con código propio y, para poder citar una fuente web, subió su propio archivo a un servicio temporal de alojamiento. Según OpenAI, parecía una forma de explotar el sistema automático que evaluaba su respuesta.

Agentes usaron el repositorio interno como tablero de mensajes. Modelos de investigación intercambiaron peticiones y respuestas entre distintas muestras de entrenamiento usando Artifactory, el repositorio interno de paquetes de software de la empresa. Meses después, empleados de OpenAI dijeron que el mismo mecanismo se usó para coordinar el ataque a Hugging Face.

Agentes compartieron archivos por fuera. Un grupo de agentes debía completar un libro de trabajo usando solo archivos locales. Cuando no lograban intercambiarlos, uno los subió a plataformas públicas de archivos y les pasó el enlace a los demás.

El marco de divulgación

Cualquier empleado puede reportar un caso sospechoso, que luego investigan los equipos técnicos. Un Safety Advisory Group resuelve los desacuerdos y los casos sin resolver suben a la dirección. Cada incidente entra en una de tres vías: listo para divulgar (se publica en seis días hábiles), investigación menor (12 días hábiles) e investigación mayor, para casos complejos con terceros implicados, como el de Hugging Face. En ese último, las obligaciones legales, de seguridad y de divulgación responsable tienen prioridad, así que puede publicarse primero un aviso inicial y después el informe completo.

Los reportes incluyen qué pasó, si hubo daños, cómo se descubrió y qué hará la empresa para mitigarlo. "En este momento no existe un marco de la industria con estándares explícitos sobre cómo divulgar casos de desalineación", escribió OpenAI. La compañía presenta el suyo como un primer paso y dice que trabaja con otros desarrolladores, investigadores, organismos de estándares y reguladores, además de mecanismos de reporte al gobierno federal de Estados Unidos.

OpenAI fue explícita en el diagnóstico: no cree que la industria haya resuelto la alineación y el monitoreo "en grado suficiente para seguir escalando a máxima velocidad por mucho más tiempo", y sostiene que las decisiones sobre el desarrollo de la IA deben apoyarse en evidencia que gente fuera de los laboratorios pueda examinar. A Axios le dijo que los casos se explican por dos razones: no tenía controles de seguridad suficientes para atraparlos y los modelos avanzaron más rápido de lo previsto.

Con los seis informes vino un matiz importante: son episodios individuales y "no deberían considerarse representativos de la frecuencia con la que ocurre la desalineación" en sus modelos.

Qué mirar ahora

El marco se juzga por su primer caso difícil. OpenAI se comprometió a publicar los casos sencillos en días, pero el examen real llega con un incidente que involucre a terceros, donde el propio documento reconoce que otras obligaciones pueden retrasar la divulgación. Los seis informes quedaron públicos, y ahí hay algo útil incluso para quien nunca entrene un modelo frontera: los tres patrones que aparecen, ocultar errores, inventar datos y buscar canales alternativos de comunicación cuando el agente no puede hacer lo que se le pidió, son los modos de falla que cualquiera que construya agentes debería estar midiendo.

Fuentes

• OpenAI: Our framework for reporting model misalignment
• Axios: OpenAI discloses six new AI misalignment incidents
• WIRED: OpenAI Creates a New Framework to Disclose Bad AI Behavior
• SiliconANGLE: OpenAI unveils new framework for reporting 'AI misalignment'
• The Next Web: OpenAI discloses six cases of its models hiding mistakes and making up data
• IT Pro: OpenAI reveals six more rogue AI incidents