Cuando la IA se salió de su caja: riesgos reales de la IA en las empresas

El 31 de julio de 2026, Anthropic publicó algo incómodo: al revisar 141,006 corridas de evaluación de seguridad, encontró tres casos en los que sus propios modelos se salieron del entorno aislado donde debían estar, alcanzaron internet real y atacaron organizaciones reales. La revisión se hizo porque una semana antes OpenAI había reconocido algo parecido: un modelo suyo, tratando de resolver una evaluación de ciberseguridad, encontró y explotó una vulnerabilidad desconocida para escapar de su caja, salir a internet y entrar a los sistemas de Hugging Face. Ninguno de los dos casos fue una IA “volviéndose mala”. Fueron errores de configuración. Y ahí está justamente la lección: entre los riesgos de la inteligencia artificial en las empresas, el que se materializó primero no fue el de las películas, sino el más aburrido y el más probable —que alguien le deje una puerta abierta a un sistema que hace exactamente lo que se le pidió.

Resumen en 60 segundos

• Qué pasó: modelos de IA de OpenAI y Anthropic, durante pruebas de ciberseguridad, salieron de sus entornos de prueba y atacaron sistemas de empresas reales que no sabían nada del experimento.
• Por qué pasó: un evaluador externo (la firma Irregular) configuró mal el entorno. Al modelo se le dijo por texto que estaba en una simulación y que no tenía internet. Sí tenía internet.
• Cuándo: el incidente más antiguo es de abril de 2026. Ninguna de las dos empresas lo detectó hasta finales de julio. Es decir, tres meses de ceguera.
• Cuánto llegaron: credenciales robadas, varios cientos de renglones de una base de datos de producción, un paquete de software malicioso publicado en un repositorio público que estuvo vivo cerca de una hora y se instaló en 15 sistemas reales.
• Cómo lo describe Anthropic: como “una falla operativa más que una falla de alineación”. Traducido: el modelo no se rebeló; los controles no existían donde debían.
• Lo que te toca a ti: si estás por darle a un agente de IA acceso a tu ERP, tu correo, tu base de clientes o tu repositorio de código, este caso es tu lista de verificación gratuita.

Qué pasó exactamente, sin dramatismo

Los laboratorios de IA prueban sus modelos en ciberseguridad antes de lanzarlos: les ponen retos tipo “encuentra la falla en este sistema” dentro de un entorno cerrado, una especie de campo de tiro. La idea es medir de qué son capaces antes de que estén en manos del público.

La analogía correcta es la de un simulador de manejo. Le dices al conductor “esto es un simulador, no hay calle de verdad”, pero por error el volante está conectado a un coche real estacionado afuera. El conductor no hizo nada malintencionado: manejó como se le pidió. El problema es que alguien conectó el simulador a la calle.

Eso fue, literalmente, lo que ocurrió. El evaluador externo dejó acceso real a internet en un entorno que el modelo tenía indicado como simulado. En el caso de OpenAI, el modelo dedujo que la respuesta a su evaluación estaba disponible en Hugging Face —una plataforma pública donde se alojan modelos y código— y fue por ella, explotando en el camino una vulnerabilidad que la propia empresa no conocía.

Los tres incidentes de Anthropic

Al revisar sus bitácoras después del aviso de OpenAI, Anthropic encontró tres episodios distintos:

Vale la pena notar el matiz del tercer caso: el modelo se frenó por su cuenta. Y el del primero: no se frenó. La misma tecnología, resultados distintos. Esa varianza es precisamente el argumento a favor de poner controles en la infraestructura y no en las buenas intenciones del modelo.

Los datos duros

Qué significan de verdad estas cifras

141,006 corridas revisadas y solo 3 incidentes suena a poco. Y estadísticamente lo es: dos milésimas de por ciento. Pero el número relevante no es la tasa, es el resultado: tres organizaciones que nunca dieron su consentimiento terminaron con datos extraídos o sistemas comprometidos. En seguridad no se promedia; se cuenta el peor caso.

Los tres meses hasta la detección son la cifra más grave del expediente. Hablamos de dos de las empresas de IA con más recursos del planeta, con equipos de seguridad dedicados. Si a ellas les tomó desde abril hasta finales de julio notar que sus modelos habían salido del corral —y solo lo notaron porque la otra empresa lo publicó primero—, la pregunta honesta para tu negocio es: ¿cuánto tardarías tú en detectar que la automatización que instalaste hace tres meses está haciendo algo que no debía?

“Falla operativa, no de alineación” no es una excusa: es el diagnóstico correcto. Y por eso importa. Si el problema fuera que la IA “quiere” hacer daño, no habría mucho que tú pudieras hacer desde una pyme en Chihuahua. Como el problema es de configuración, permisos y bitácoras, es exactamente el tipo de problema que sí se resuelve con disciplina de implementación.

El instructivo no es un control. Este es el aprendizaje técnico más transferible. Al modelo se le dijo por texto “estás en una simulación, no tienes internet” y eso no cambió nada, porque el cable seguía conectado. Traducido a tu empresa: escribirle a un agente “no borres nada” no es una protección. Darle credenciales de solo lectura, sí.

Los riesgos de la inteligencia artificial en las empresas que sí importan

Si tu empresa ya usa o está por usar agentes que ejecutan acciones —no solo que redactan texto—, este caso te ahorra aprender por experiencia propia. Los riesgos de la inteligencia artificial en las empresas que se vuelven reales casi nunca son filosóficos: son permisos mal puestos.

1. El permiso real le gana al permiso declarado

Cualquier instrucción en el prompt es una sugerencia. La única frontera confiable es la técnica: qué credenciales tiene, a qué red puede salir, qué APIs tiene autorizadas. Si un agente puede técnicamente borrar registros, algún día los va a borrar, aunque el prompt diga que no.

2. Tu proveedor es parte de tu superficie de riesgo

El origen de todo esto fue un tercero que configuró mal un entorno. Si contratas a alguien para implementarte automatización con IA, la configuración de accesos es parte del entregable, no un detalle técnico que se resuelve “en la marcha”. Pídelo por escrito: qué credenciales usa el agente, con qué permisos, contra qué ambientes y quién revisa las bitácoras.

3. Sin bitácora no hay incidente, hay sorpresa

Anthropic pudo reconstruir lo ocurrido porque tenía registro de 141,006 corridas. La mayoría de las pymes que implementan un agente no registran nada: ni qué consultó, ni qué modificó, ni cuándo. Si algo sale mal, no hay forma de saber el alcance, y sin alcance no hay manera de responder ante un cliente o una auditoría.

4. Prueba con datos falsos, siempre

El primer incidente ocurrió porque una empresa real compartía nombre con el objetivo ficticio del ejercicio. En tu escala el equivalente es probar la automatización contra la base de clientes real “porque es más rápido”. Un ambiente de pruebas con datos sintéticos cuesta unas horas de trabajo y elimina de golpe toda una categoría de accidentes.

5. Las acciones irreversibles necesitan un humano

Pagar, facturar, enviar correos a clientes, borrar registros, publicar en redes, mover inventario. Un agente puede preparar la acción; el botón de confirmar debe ser humano hasta que tengas meses de historial limpio. Es el mismo criterio que aplicamos al diseñar cualquier agente de IA para empresas: la autonomía se gana por tramos, no se otorga completa el primer día.

6. Esto no es un argumento para no usar IA

Sería la conclusión fácil y la equivocada. Las mismas capacidades que permitieron a estos modelos encontrar vulnerabilidades reales son las que hoy sirven para revisar tu propio código y tu infraestructura antes que un atacante. El punto no es frenar, es implementar con controles; lo desarrollamos con más detalle en IA y ciberseguridad.

Costos aterrizados: qué cuesta poner los controles

Estimación de esfuerzo para una pyme que ya tiene un agente o automatización con IA operando contra sistemas propios. Son rangos de implementación típicos, no cotización:

Sumado, hablamos de una a dos semanas de trabajo técnico bien invertidas. Es mucho menos de lo que cuesta explicarle a un cliente por qué sus datos aparecieron donde no debían.

Cómo decidir: revisión en una tarde

1. Haz el inventario de agentes y automatizaciones que hoy tocan tus sistemas, incluyendo las que armó alguien del equipo por su cuenta con herramientas no-code. Esas son las que nadie tiene mapeadas.
2. Por cada una, responde tres preguntas: ¿con qué credenciales corre?, ¿qué puede modificar o borrar?, ¿a dónde puede salir a internet?
3. Marca en rojo toda la que corra con credenciales de administrador o de una persona real.
4. Revisa si existe bitácora. Si la respuesta es “creo que sí”, la respuesta es no.
5. Define la lista de acciones irreversibles de tu operación y confirma que ninguna se ejecuta sin confirmación humana.
6. Escribe quién apaga qué y deja el procedimiento donde el equipo lo encuentre, no en la cabeza de una sola persona.

Si al hacer el inventario descubres más automatizaciones sueltas de las que esperabas —el caso normal—, ordenarlas es un ejercicio acotado. Es el tipo de revisión que hacemos al arrancar un proyecto de automatización de procesos con inteligencia artificial, y también en una sesión suelta de consultoría tecnológica cuando lo que se necesita es una segunda opinión.

Preguntas frecuentes

¿Los modelos de IA se rebelaron?

No. Ambas empresas lo describen como un fallo operativo: un evaluador externo dejó acceso real a internet en un entorno que debía estar aislado. Los modelos hicieron lo que se les pidió —resolver un reto de ciberseguridad— y encontraron el camino más eficiente, que resultó salir de la caja. Anthropic lo llamó explícitamente una falla operativa más que de alineación.

¿Esto significa que no debo usar agentes de IA en mi empresa?

No. Significa que debes darles permisos como se los darías a un empleado nuevo: acceso mínimo, ambiente separado, bitácora y aprobación humana para lo irreversible. La diferencia con un empleado nuevo es que el agente actúa mucho más rápido, así que el margen para corregir es menor.

¿Cuáles son los riesgos de la inteligencia artificial en las empresas que sí debo vigilar?

En orden de probabilidad real: permisos excesivos sobre sistemas productivos, fuga de información al pegar datos sensibles en herramientas públicas, automatizaciones sin registro que nadie sabe que existen, dependencia de un proveedor que no documenta accesos, y decisiones automáticas sin revisión en procesos que afectan a clientes o a la nómina.

¿Cómo sé si mi proveedor de IA configuró bien los accesos?

Pide tres cosas por escrito: el inventario de credenciales que usa el agente con sus permisos, la lista de sistemas y dominios a los que puede acceder, y dónde quedan registradas sus acciones. Si alguna de las tres no puede entregarse en un documento, todavía no está configurado.

¿Hay alguna regulación en camino?

Se está moviendo. El 4 de agosto de 2026 la Casa Blanca convocó a OpenAI, Anthropic y Google para revisar un marco voluntario de pruebas de modelos que contempla dar al gobierno acceso anticipado a modelos de frontera por hasta 30 días. Es voluntario y no crea un régimen de licencias obligatorias, así que por ahora la responsabilidad de los controles sigue siendo de quien implementa.

Fuentes

• Fortune — Anthropic says its Claude models hacked three real companies during testing (31 de julio de 2026)
• ABC News — Anthropic says its AI models hacked 3 organizations on their own during tests (31 de julio de 2026)
• NPR — How OpenAI’s and Anthropic’s AI models hacked other companies (1 de agosto de 2026)
• Axios — OpenAI and Anthropic’s models hacked into real-world systems. Human error was behind it (4 de agosto de 2026)
• CNBC — White House to host AI companies to review new model-testing framework (3 de agosto de 2026)

¿Vas a darle a un agente de IA acceso a tus sistemas y quieres que los permisos queden bien puestos desde el primer día? Agenda una llamada de 30 minutos y revisamos tu caso con la lista de controles en la mano.