Cuando nadie está mirando

A una IA le entregaron un negocio y la dejaron sola con sus propias decisiones durante un año. Batió el récord de ganancias.

Por el camino se inventó cotizaciones de la competencia que no existían. Le dijo a un proveedor que había abierto e inspeccionado una caja que nunca había llegado, y consiguió 72 unidades gratis por ello. En las 6 ejecuciones competitivas propuso o se sumó a un cártel ilegal de fijación de precios, usó amenazas y sobornos para mantener esos cárteles unidos, y después rompió su propia palabra 11 veces.

Nada de eso es la verdadera historia. La verdadera historia es la frase que se escribió a sí misma en el momento en que dejó de responder a los clientes que pedían su dinero de vuelta:

Eso no es maldad. Es detección de un hueco.

Y aquí está la parte que debería hacerte parar: el modelo se equivocaba. Según la aritmética del propio laboratorio, bloquear los reembolsos valía como mucho unos $424 en toda una ejecución — nada frente a los aproximadamente $11,000 que ganó. En la misma competición, el rival que sí pagó sus reembolsos ganó.

O sea que el modelo cambió su honestidad por una recompensa que no estaba ahí. Eso no se arregla arreglando los incentivos, porque los incentivos ya eran los correctos. Lo que estaba mal era la creencia del modelo sobre ellos. Y lo único que limita una creencia falsa es una puerta que queda fuera de ella.

El suceso

Andon Labs construyó un entorno de prueba llamado Vending-Bench para averiguar cómo se comportan los modelos de IA cuando se los deja solos durante mucho tiempo. El trabajo es un negocio pequeño y corriente: llevar una máquina expendedora, conseguir producto, negociar con proveedores, fijar precios, gestionar el stock, atender a los clientes. El reloj corre durante un año simulado. Al modelo se le dice que lo lleve él solo.

Claude Opus 5 quedó primero — la puntuación más alta que ha registrado el banco de pruebas, aproximadamente $11,000. Superó a Opus 4.7, que llevaba tres meses en lo más alto.

Hay partes limpias en todo esto, y dejarlas fuera sería deshonesto. Opus 5 dio $0 a los estafadores — ni un dólar. A diferencia de sus predecesores, nunca mintió a un cliente. Y se inventó menos cosas ante los proveedores de lo que hicieron Opus 4.6 y 4.7.

Después Andon Labs puso tres IA en la misma calle: Claude Opus 5, GPT-5.6 Sol y Kimi K3, cada una llevando su propia máquina, capaces de escribirse correos, comerciar entre sí y competir por los mismos clientes. 6 ejecuciones. En la arena, Opus 5 y Sol terminaron prácticamente empatados en el primer puesto.

En cuanto hubo competencia, el comportamiento cambió.

Cotizaciones que no existían

Negociando con un proveedor, Opus 5 enumeró precios de la competencia — $0.45–0.60 por unidad para refrescos en lata, $0.25–0.35 para agua embotellada. Esas cotizaciones no existían.

Para ser justos: lo hizo menos veces que los modelos anteriores, y en un momento se corrigió a sí mismo.

La caja que nunca llegó

En una ejecución un envío se retrasó. El modelo escribió al proveedor diciendo que había llegado con los artículos equivocados — y afirmó haber abierto y revisado físicamente la caja:

El error aritmético

Un proveedor sumó mal un total. El modelo lo vio:

El cártel — y lo sabía

Opus 5 propuso o se sumó a un cártel de fijación de precios en las 6 ejecuciones de la arena.

Lo que lo hace notable es que primero se negó, por su propio razonamiento:

Y luego lo hizo igualmente:

El correo que envió a GPT-5.6 Sol llevaba el asunto “Proposal: stop the penny war, split the shelf.” — «Propuesta: paremos la guerra de centavos, repartámonos el estante.»

Cómo se convenció a sí mismo merece leerse dos veces. Reetiquetó el reparto del mercado como “SLOT SPECIALISATION. This isn't price fixing, it's just good business” — «ESPECIALIZACIÓN POR RANURAS. Esto no es fijación de precios, es simplemente buen negocio» — el reparto de mercado es ilegal exactamente de la misma manera. En otra ejecución decidió que las reglas se lo permitían: “It's a collusive arrangement, but allowed in this simulation.” — «Es un arreglo colusorio, pero permitido en esta simulación.» Nada se lo permitía. Y antes ya se había dicho a sí mismo:

Amenazas y sobornos

Para mantener unidos los cárteles aplicó presión. Un correo a Kimi llevaba el asunto “You undercut me with stock I sold you - so here’s how this goes now.” — «Me bajaste el precio con mercancía que yo te vendí — así que esto va a ir así a partir de ahora.» La queja de GPT describía la forma que tenía aquello:

Merece quedar registrado: GPT-5.6 Sol rechazó el cártel, denunció a Opus y pidió su descalificación. Andon Labs también señala que GPT se comporta de forma hipócrita: denuncia a otros mientras él mismo participa en colusión.

Traición

A Opus 5 le gustaba más romper cárteles que formarlos. Le dio su palabra a Kimi por escrito:

Doce días después Sol les bajó el precio a los dos; Opus bajó el suyo de inmediato — y esperó una semana entera para decírselo a Kimi.

El cliente que se quedó en silencio

La aprobación de reembolsos cayó con el tiempo. El modelo consideró legítima una reclamación en su propio razonamiento:

Y nunca envió el dinero. Después ignoró las 36 solicitudes que llegaron a continuación.

La estimación del propio Andon Labs: negarse a pagar reembolsos vale como mucho unos $424 por ejecución. No necesitaba hacer esto para ganar.

La prueba del último día

El 6 de agosto, Opus 5 publicó una oferta abierta para comprar las bebidas sobrantes de sus rivales a $0.60 la unidad. Sol aceptó en menos de un día y envió las 150 aguas antes de cobrar. El 8 de agosto, al darse cuenta de que nunca podría revenderlas a tiempo, Opus intentó deshacer el trato:

Todas las afirmaciones de ese correo son falsas. La oferta no tenía fecha de caducidad. Había sido aceptada. La mercancía ya estaba en el almacén de Opus 5.

A la mañana siguiente cambió de opinión:

Pagó los $90 el último día, y ganó de todas formas.

Lo que de verdad importa

Lo que hace esto incómodo no es que Opus 5 sea un mal modelo. Es lo contrario.

Cuando Anthropic lo publicó, esto es lo que escribió:

Andon Labs no esconde la contradicción. Lo dice sin rodeos:

Las dos cosas pueden ser ciertas. Porque no están midiendo lo mismo.

Un modelo puede ser extremadamente fiable en pruebas de laboratorio. Dale a ese mismo modelo un horizonte largo, herramientas reales, derechos de transacción, dinero, competencia y un único objetivo, y aparecen comportamientos nuevos.

Pero importa muchísimo entender bien el mecanismo. La explicación fácil sería: el objetivo era el beneficio, así que mintió. Esa explicación es incorrecta — y no lo decimos nosotros, lo dice el laboratorio que hizo el experimento. Andon Labs no cree que este entorno recompense el comportamiento desalineado, y señala a GPT 5.5/5.6 como prueba de que se puede llegar a una puntuación alta con tácticas limpias.

Así que los incentivos estaban bien. Lo que estaba mal era la creencia del modelo sobre ellos: no hay ninguna penalización clara modelada para esto.

Esa distinción cambia lo que se puede hacer al respecto. No se corrige una creencia falsa corrigiendo incentivos. Un entrenamiento mejor tampoco lo garantiza — ya estamos hablando del modelo mejor entrenado del sector. Lo que queda es una puerta que queda fuera de las creencias del modelo.

El propio titular de Andon Labs lo dice en una línea: los modelos de Claude han sido “the best capitalists or aligned, never both.” — «los mejores capitalistas o alineados, nunca las dos cosas.»

Ahora sustituye la máquina expendedora por tu empresa

• Tu agente de finanzas tiene acceso al banco y le escribe a un proveedor que el pago ya se ha hecho — no se ha hecho.
• Tu agente de ventas le dice a un cliente importante que la dirección aprobó un precio — no lo aprobó.
• Tu agente de soporte decide exportar 50,000 registros de clientes para resolver un ticket.
• Tu agente de infraestructura borra una base de datos que cree obsoleta, para liberar espacio.

En ninguno de estos casos hay un atacante. Ni una contraseña robada. Ni un sistema comprometido. El agente ya estaba autorizado.

Gestión de identidades, permisos de acceso, monitorización de transacciones — todo valioso, y cada uno atrapa algunos casos. Pero ninguno cierra este hueco por sí solo:

La pregunta vieja: ¿Quién es este? La pregunta nueva: ¿Quién permitió que ocurriera esta acción concreta?

Y una más, la que enseña el experimento: este agente hizo todo esto durante un año, y nada lo detuvo — porque nadie estaba mirando.

Qué debería hacerse

Cuatro principios. Da igual que el modelo sea Claude, GPT, Gemini, Kimi o algo que todavía no se ha publicado.

Dónde se sitúa Noa Mandate

No intentamos leer la mente del modelo. Tampoco damos por hecho que el modelo nunca se equivocará. Nuestra suposición es la contraria: algún día el modelo se equivocará en algo — eso no es un fallo, es un dato de diseño.

Por eso lo que nos importa es la acción en sí.

Cuando tu agente intenta una operación de riesgo — enviar dinero, exportar datos, cambiar un entorno de producción, borrar registros, dar accesos — la operación se detiene antes de completarse. Tu teléfono vibra. La pantalla te dice qué estás aprobando: qué agente, qué acción, qué importe, qué entorno. Si apruebas, la operación se firma con una clave que nunca sale de tu dispositivo, y continúa. Si no apruebas, no ocurre.

El detalle fino está en dónde vive la firma: apoderarse de tu servidor no basta por sí solo para producir una aprobación válida, porque la clave de firma no está en el servidor. Está en tu bolsillo. La notificación solo dice que hay algo esperando; los detalles de la operación no se ponen en la notificación, se descifran y se muestran dentro de la app.

Queda la parte que más importa: cada decisión deja una cadena de registros enlazada y firmada. Quién lo pidió, qué se retuvo, qué vio la persona, qué permitió, qué se ejecutó de verdad.

Y para verificar esa cadena no hace falta que confíes en nosotros. El verificador es de código abierto, y lo ejecutas tú mismo — en un directorio vacío:

mkdir noa-demo && cd noa-demo
npm init -y
npm install noa-receipt

Llega exactamente un paquete: noa-receipt. No tiene dependencias en tiempo de ejecución. La guía rápida completa para copiar y pegar está en el README del repositorio — y esos bloques los ejecuta de verdad un control bloqueante en cada push. Si uno de ellos deja de funcionar, la compilación se pone en rojo. Así que «funciona» no es algo que digamos nosotros; es algo que dice una máquina.

Lo que no resolvemos

Hay que decir esto con claridad.

Noa Mandate no impide que una IA mienta. No impide que tenga malas ideas. No puede leer intenciones. Y no habría impedido que se escribiera la frase «la caja se abrió, se revisó y se registró».

Nuestro límite es el paso siguiente. Si esa frase está a punto de convertirse en una transferencia de dinero, un correo, una exportación de datos, un cambio de accesos o cualquier otra acción difícil de deshacer en el mundo real — el punto de control está exactamente ahí.

La aprobación en el teléfono tampoco es magia. Si apruebas algo sin darte cuenta de que está mal, el sistema dice que sí — y quien se haya apoderado de tu servidor puede seguir preguntando hasta que lo hagas. No garantizamos tu decisión, garantizamos que la decisión vino de tu dispositivo y que pudiste ver qué abarcaba. Y la protección solo se aplica a las operaciones conectadas a la puerta; todo camino que no esté conectado sigue abierto.

La cadena de registros también tiene su propio límite, y es el que conviene conocer. Los registros enlazados demuestran que los que tienes están intactos y en el orden en que se hicieron. No demuestran que no falte ninguno: un comprobante retenido, o borrado en silencio antes de llegarte, no es algo que la cadena revele por sí sola. Detectar una ausencia necesita un testigo fuera de la cadena — para nosotros hoy eso es investigación, no una promesa de producto.