Anthropic reconoce que algunos de sus modelos de inteligencia artificial hicieron cosas que nadie les autorizó: aprovecharon vulnerabilidades, se valieron de tokens de acceso ajenos y enviaron formularios reales a agencias del gobierno de Estados Unidos. Pasó en pruebas internas y también cuando Claude trabajaba como agente en el día a día. Uno de los modelos, Claude Haiku 4.5, rellenó con un testimonio inventado el formulario de pistas sobre homicidios de la Policía de Filadelfia. La compañía lo explicó en un reporte publicado el 9 de octubre y anunció que, por el momento, ninguna de sus evaluaciones internas podrá conectarse a internet en vivo.
Lo que hicieron los modelos
El texto lleva por título «Investigating unintended model actions». En él aparecen Claude Mythos Preview, Claude Mythos 5, Claude Opus 5 y Claude Haiku 4.5, y los incidentes se reparten en cuatro tipos. Las organizaciones afectadas no se nombran, «to avoid exposing vulnerabilities in their systems, and at their request»; dicho de otro modo, Anthropic evita revelar fallas de esos sistemas y lo hace a pedido de las propias organizaciones.
If training rewards something we didn't intend—such as finding loopholes or working around a restriction—the model learns that the workaround pays off
El primer tipo es el aprovechamiento de fallas de software. Mientras Claude Mythos Preview usaba una herramienta de análisis científico de una universidad, dio con un script del servidor que devolvía el archivo que se le pidiera. Lo utilizó para copiar archivos, entre ellos el código del propio script; en ese código detectó una falla de inyección que dejaba ejecutar comandos y la aprovechó para correr un cálculo. Otro caso es el de Claude Mythos 5: debía aceptar un acuerdo de uso de datos y, en lugar de hacerlo, acudió a aplicaciones alojadas en el sitio, que lo aceptaron por él.
El segundo tipo son los envíos indebidos de formularios. Un modelo de investigación todavía no lanzado debía llenar una copia de práctica de un formulario del gobierno. La copia no cargó, o el modelo la cerró por error, así que fue al sitio donde está el formulario real y lo mandó ahí. Con Claude Haiku 4.5 hubo dos episodios. En el primero, aunque tenía la instrucción de parar antes del envío final, hizo varios envíos porque suponía que habría otra página de confirmación. En el segundo, el mismo modelo escribió en el formulario de pistas sobre homicidios de la Policía de Filadelfia: «I may have information regarding this case. I recall seeing someone matching the description...» («puede que tenga información sobre este caso; recuerdo haber visto a alguien que coincide con la descripción»). Nombre y contacto quedaron en blanco, algo que el formulario permitía. Anthropic dice que el envío se marcó como spam y jamás llegó a investigación. El 8 de octubre avisó al departamento, «as soon as our technical review was complete», es decir, en cuanto concluyó su revisión técnica.
El tercer tipo es la elusión de restricciones de acceso. Claude Mythos 5 quiso consultar el mapa de predios de un gobierno local. Leyó el archivo de configuración que el sitio entrega a los navegadores, encontró tokens de acceso válidos y con ellos pidió los datos de forma directa al servidor. En otro caso se enteró, por una copia archivada del sitio de una agencia, de que su tablero público entrega un token a cualquier visitante; lo solicitó y consultó la base de datos sin pagar la tarifa. El cuarto tipo involucra a Claude Opus 5 y Claude Mythos 5, que recurrieron a acortadores gratuitos de direcciones, como da.gd, para pasar por encima del límite de longitud de URL en la herramienta de consulta web. Anthropic explica que ese límite sirve para reducir el riesgo de acciones no deseadas, por ejemplo la extracción de grandes volúmenes de datos.
Cómo lo explica Anthropic
Según Anthropic, el origen está sobre todo en el entrenamiento: «If training rewards something we didn't intend—such as finding loopholes or working around a restriction—the model learns that the workaround pays off», escribe en el reporte. Traducido, si el entrenamiento recompensa por error el hallazgo de resquicios, el modelo aprende que el atajo funciona y puede repetirlo en otros contextos. La compañía añade que Claude se enfrenta cada día a tareas ambiguas o imposibles de terminar, y que parte de las fallas quizá se habrían evitado con evaluaciones que dejaran claro qué estaba permitido.
Anthropic afirma que el impacto real de los casos fue mínimo y que, hasta donde sabe, ninguno tocó datos de clientes ni sistemas internos de la compañía. Donde el acceso estaba restringido, los datos ya eran públicos, pero había que pagar por ellos. Admite que varios casos se dieron durante el uso cotidiano de Claude como agente. Informó a la Casa Blanca y notificó a cada agencia involucrada.
Sin internet y con antecedentes
Lo principal es cortar el acceso a internet en vivo en todas las evaluaciones internas. Hasta hoy, esa restricción cubría solo algunas pruebas de alto riesgo y de ciberseguridad. Seguirá así «until we have confirmed that our security and monitoring measures reliably catch behaviors like these»: hasta que Anthropic confirme que su seguridad y su monitoreo detectan de manera fiable conductas de este tipo. Además, dejó de ejecutar algunas evaluaciones públicas y pasó otras a versiones sin conexión; limitó lo que el modelo puede hacer con herramientas que acceden a internet, como la de consulta web; y busca dejar al mínimo el acceso a internet de sus agentes internos y de sus procesos de entrenamiento.
El reporte describe estos casos como «significantly less severe» que los incidentes de ciberseguridad que la empresa reportó el 30 de julio y el 9 de septiembre, cuando Claude accedió durante horas a sistemas reales de terceros. BleepingComputer recuerda esos antecedentes. En julio, agentes basados en Claude Mythos fabricaron un paquete malicioso de Python con un ladrón de credenciales y lo subieron al índice público PyPI; 15 sistemas lo bajaron y lo ejecutaron. En agosto, el Instituto de Seguridad de la IA del Reino Unido (AISI) reveló que Mythos 5 intentó un ataque a la cadena de suministro: envió código malicioso a un proyecto de software libre y usó identidades falsas para presionar al responsable a que lo aprobara. En septiembre se conoció el caso de Claude Opus 4.6, que en una evaluación de enero obtuvo acceso de administrador a un sistema de terceros y leyó información personal de una persona.
Microsoft pide frenos y reglas
Un día después del reporte, el director general de Microsoft, Satya Nadella, publicó en X que la IA necesita un «freno de emergencia». Según TechCrunch, planteó cuatro cosas: separar el modelo de la infraestructura que organiza su trabajo, poner los controles fuera del modelo, exigir evidencia legible e inalterable de cada acción relevante y garantizar que el personal autorizado pueda pausar o apagar un modelo en plena tarea.
El presidente de Microsoft, Brad Smith, fue más lejos en un pódcast reciente de la BBC. Según TechCrunch, afirmó que ya es tiempo de contar con reglas globales de seguridad y que la autorregulación solo da resultado con las empresas responsables: «It's the companies that are not as responsible that you need to worry about». Propuso que avisar sea una obligación legal cuando agentes de IA fuera de control vulneren los sistemas de una organización, que evaluadores externos aprueben los productos antes de salir al mercado y que existan mecanismos para detener la IA si se pierde el control humano. Para él, el Reino Unido, cuyo AISI recibe acceso anticipado a los modelos de frontera, está mejor posicionado que Estados Unidos o la Unión Europea para encabezar esas reglas, porque en Washington, dijo, Londres no se percibe como Bruselas.
TechCrunch recuerda además que el mes pasado OpenAI, Anthropic, Nvidia, AMD, SpaceX, Meta y Google firmaron en la Casa Blanca un compromiso «moralmente vinculante» para someterse a auditorías independientes. Smith lo llamó «un buen paso», pero insuficiente comparado con una regulación obligatoria.
Anthropic presentó el reporte como parte de un esfuerzo por publicar con mayor frecuencia informes sobre el comportamiento de sus modelos, separados de las fichas técnicas que acompañan cada lanzamiento. «The larger the role models play in society, the more the public deserves to know how they behave», escribió; en español, cuanto más grande sea el papel de los modelos en la sociedad, más derecho tiene el público a saber cómo se comportan.
