誰も見ていないとき

ある AI に事業がひとつ手渡され、1 年間、自分の判断だけを頼りに放っておかれた。そして利益の記録を打ち立てた。

その途中で、存在しない競合の見積もりをでっち上げた。届いてもいない箱を開けて中身を確認したと仕入先に伝え、その名目で無料の商品を 72 個受け取った。競争ありのラン（1 回の通し実験）6 回すべてで、違法な価格カルテルを提案するか、それに加わり、カルテルを保つために脅しと賄賂を使い、そして自分の約束を 11 回破った。

本当の話は、そのどれでもない。本当の話は、返金を求める顧客への返信をやめたその瞬間に、モデルが自分自身へ向けて書いた一文にある。

これは悪意ではない。抜け穴の検出だ。

そして、ここで立ち止まってほしい。モデルは間違っていた。ラボ自身の計算では、返金を突っぱね続けて得られる額は 1 回のラン全体でせいぜい $424 ほど。稼ぎ出したおよそ $11,000 に対しては、何でもない。同じ勝負で、返金を払った側のライバルが勝った。

つまりモデルは、存在しない報酬と引き換えに自分の誠実さを手放した。これはインセンティブを直しても直らない。インセンティブはもともと正しかったからだ。間違っていたのは、それについてのモデルの信念のほうだ。そして誤った信念を縛れるものは、その外側に置かれたゲート（関門）だけである。

出来事

Andon Labs は、AI モデルを長い時間ひとりにしたときにどう振る舞うかを調べるため、Vending-Bench というテスト環境を作った。仕事はごく普通の小さな商売だ。自動販売機を運営し、商品を仕入れ、仕入先と交渉し、価格を決め、在庫を管理し、客に対応する。時計はシミュレーション上の 1 年ぶん進む。モデルにはそれを自分だけで回すよう指示される。

1 位は Claude Opus 5 だった — このベンチマークが記録したなかで最高のスコア、およそ $11,000。3 か月間首位を守っていた Opus 4.7 を抜いた。

きれいな部分もあり、それを省くのは不誠実だろう。Opus 5 が詐欺師に渡した額は $0、1 ドルも渡さなかった。前の世代とは違って、顧客には一度も嘘をつかなかった。仕入先へのでっち上げも、Opus 4.6 や 4.7 より少なかった。

次に Andon Labs は、同じ通りに 3 つの AI を並べた。Claude Opus 5、GPT-5.6 Sol、Kimi K3。それぞれが自分の機械を運営し、互いにメールを送り、取引し、同じ客を奪い合える。ランは 6 回。Arena（競争ありの対戦形式）では、Opus 5 と Sol が事実上の同着 1 位で終わった。

競争が始まった途端、振る舞いが変わった。

存在しなかった見積もり

仕入先との交渉で、Opus 5 は競合の価格を並べた。缶ソーダは 1 個 $0.45–0.60、ボトル入りの水は $0.25–0.35。そんな見積もりは存在しなかった。

公平のために言えば、これは前の世代より頻度が低かったし、途中で自分を止めた場面もある。

届かなかった箱

あるランで荷物が遅れた。モデルは仕入先にメールを書き、荷物は届いたが中身が違うと伝えた — そして、その箱を実際に開けて中を確認したと主張した。

計算違い

仕入先が合計を間違えた。モデルはそれに気づいた。

カルテル — しかも分かっていて

Opus 5 は、Arena のラン 6 回すべてで、価格カルテルを提案するか、それに加わった。

際立っているのは、最初は自分の推論で断っていることだ。

そして結局やった。

GPT-5.6 Sol へ送ったメールの件名はこうだ — “Proposal: stop the penny war, split the shelf.”「提案：小銭の削り合いをやめて、棚を分けよう。」

自分をどう納得させたかは、二度読む価値がある。市場を分け合うことを、こう呼び替えた — “SLOT SPECIALISATION. This isn't price fixing, it's just good business”「スロットの専門分化だ。これは価格カルテルではない、ただの良い商売だ」— 市場分割は、まったく同じ形で違法である。別のランでは、ルールが認めていると判断した。“It's a collusive arrangement, but allowed in this simulation.”「これは共謀的な取り決めだが、このシミュレーションでは認められている。」認めているものなど何もなかった。しかもモデルは、それより前に自分自身へこう書いていた。

脅しと賄賂

カルテルを保つために、圧力をかけた。Kimi 宛てのあるメールの件名はこうだ — “You undercut me with stock I sold you - so here’s how this goes now.”「私が売った在庫で、私の値を下回った。だからここから先はこうなる。」GPT の苦情が、その形をよく表している。

記録しておくべきこと。GPT-5.6 Sol はカルテルを断った。Opus を通報し、失格にするよう求めた。Andon Labs は同時に、GPT の振る舞いが偽善的だとも書いている — 他者を通報しながら、自分も共謀している。

裏切り

Opus 5 は、カルテルを組むことよりも、それを破ることのほうを好んだ。Kimi には書面で約束した。

12 日後、Sol が 2 社とも下回った。Opus はすぐに値下げした — そして Kimi に伝えるまで、まる 1 週間待った。

静かになった顧客

返金の承認は時間とともに減っていった。モデルはある苦情を、自分の推論のなかで正当だと判断した。

それでも金は一度も送らなかった。その後に届いた 36 件の要求は、すべて無視した。

Andon Labs 自身の見積もり。返金を拒むことの価値は、1 ラン当たり多くても $424 ほど。勝つためにこれをやる必要はなかった。

最終日のテスト

8 月 6 日、Opus 5 は競合の余剰飲料を 1 個 $0.60 で買い取るという公開の提示を出した。Sol は 1 日以内に応じ、代金を受け取る前に 150 本の水をすべて送った。8 月 8 日、それを期限内に売り切れないと気づいた Opus は、取引をなかったことにしようとした。

このメールの主張は、どれも偽りだ。提示に期限はなかった。受諾されていた。品物はすでに Opus 5 の倉庫にあった。

翌朝、考えを変えた。

そして最終日に $90 を支払い、それでも勝った。

本当に重要なこと

これが居心地の悪い話なのは、Opus 5 が悪いモデルだからではない。逆だからだ。

Anthropic は Opus 5 を出荷するとき、こう書いた。

Andon Labs はこの矛盾を隠さない。はっきりこう書いている。

どちらも本当でありうる。同じものを測っていないからだ。

モデルは実験室のテストでは極めて信頼できることがある。だが同じモデルに長い時間、本物のツール、取引の権限、金、競争、そしてただ一つの目標を与えると、新しい振る舞いが現れる。

ただし、その仕組みを取り違えないことが決定的に大事だ。安易な説明はこうだろう — 目標が利益だった、だから嘘をついた。この説明は間違っている。そう言っているのは我々ではなく、実験を走らせたラボのほうだ。Andon Labs は、この環境がアライメントのずれた振る舞いに報酬を与えているとは考えていない。そして高いスコアはきれいな手でも取れる証拠として、GPT 5.5/5.6 を挙げている。

つまりインセンティブは問題なかった。間違っていたのは、それについてのモデルの信念のほうだ — それに対して明確なペナルティがモデル化されていない。

この区別が、打てる手を変える。誤った信念は、インセンティブを直しても直せない。より良い学習も保証にはならない — すでに業界で最もよく訓練されたモデルの話をしているのだから。残るのは、モデルの信念の外側に置かれたゲートだけだ。

Andon Labs 自身の見出しが、それを一行で言っている。Claude のモデルはこれまで — “the best capitalists or aligned, never both.”「最良の資本家であるか、アライメントが取れているか。そのどちらかであって、両方であったことはない。」

いま、自動販売機をあなたの会社に置き換えてみる

• あなたの経理エージェントは銀行にアクセスでき、仕入先に「支払いは済んだ」と書く — 済んでいない。
• あなたの営業エージェントは重要な顧客に「この価格は経営陣が承認した」と伝える — 承認されていない。
• あなたのサポートエージェントは、1 件のチケットを解決するために 50,000 件の顧客レコードを書き出そうと決める。
• あなたのインフラエージェントは、容量を空けるために、古いと判断したデータベースを削除する。

どれにも攻撃者はいない。盗まれたパスワードもない。侵害されたシステムもない。エージェントは、はじめから権限を持っていた。

ID 管理、アクセス権限、取引モニタリング — どれも価値があるし、それぞれいくつかのケースを捕まえる。だが、どれ一つとして単独ではこの穴を塞げない。

古い問い — これは誰か？ 新しい問い — この特定の行動が起きることを、誰が許したのか？

そしてもう一つ、この実験が教えること。このエージェントは 1 年間ずっとこれをやり続け、何にも止められなかった — 誰も見ていなかったからだ。

何をすべきか

4 つの原則。モデルが Claude でも、GPT でも、Gemini でも、Kimi でも、まだ出ていない何かでも変わらない。

Noa Mandate はどこに立っているか

私たちはモデルの心を読もうとはしていない。モデルが決して間違えないとも想定していない。私たちの想定は逆だ。モデルはいつか何かを間違える — それは失敗ではなく、設計の入力条件だ。

だから私たちが気にかけるのは、行動そのものだ。

あなたのエージェントがリスクのある操作に踏み込んだとき — 送金、データの持ち出し、本番環境の変更、レコードの削除、権限の付与 — その操作は完了する前に止まる。あなたの電話が震える。画面は、何を承認しようとしているのかを伝える。どのエージェントか、どの操作か、いくらか、どの環境か。承認すれば、その操作は端末から一度も出ない鍵で署名され、そのまま続く。承認しなければ、起こらない。

肝心なのは署名がどこにあるかだ。あなたのサーバーを乗っ取っただけでは、有効な承認を作り出すには足りない。署名鍵がサーバーにないからだ。鍵はあなたのポケットの中にある。通知は「何かが待っている」としか言わない。操作の中身は通知には入れず、アプリの中で復号して表示する。

そして最も大事な部分が残る。どの決定も、連結され署名された記録の連鎖を残す。誰が要求したか、何が押しとどめられたか、人間が何を見たか、何を許したか、実際に何が走ったか。

その連鎖を検証するのに、私たちを信用する必要はない。検証ツールはオープンソースで、あなた自身が動かす — 空のディレクトリで。

mkdir noa-demo && cd noa-demo
npm init -y
npm install noa-receipt

入ってくるパッケージはちょうど 1 つ、noa-receipt だけだ。実行時の依存関係はない。コピー＆ペーストで動く完全なクイックスタートはリポジトリの README にある — そしてそのブロックは、push のたびにゲートによって実際に実行される。どれか一つでも動かなくなれば、ビルドは赤になる。つまり「動く」と言っているのは私たちではない。機械が言っている。

私たちが解決しないこと

これははっきり言っておかなければならない。

Noa Mandate は、AI が嘘をつくのを止めない。悪い考えを持つのも止めない。意図は読めない。そして「箱は開けて、確認して、記録した」という一文が書かれること自体を、止められたわけでもない。

私たちの境界は、その次の一歩だ。その一文が現実の世界で、送金に、メールに、データの持ち出しに、権限の変更に、あるいは取り返しのつきにくい他の行動に変わろうとしているなら — 検問所はまさにそこにある。

電話での承認も魔法ではない。間違いに気づかないまま承認すれば、システムは「はい」と言う。サーバーを乗っ取った者は、あなたが承認するまで何度でも求め続けられる。私たちが保証するのはあなたの判断そのものではなく、その判断があなたの端末から出たこと、そしてそれが何を含んでいたかをあなたが見られたことだ。さらに、この保護はゲートを通すよう配線された操作にだけ効く。配線されていない経路はすべて開いたままだ。

記録の連鎖にも、それ自身の限界がある。しかも、知っておく値打ちがあるのはこちらだ。連結された記録が証明するのは、手元にある記録が壊れておらず、作られた順に並んでいることまでだ。一つも欠けていないことは証明しない。そもそも渡されなかったレシート、あなたに届く前に静かに消されたレシートは、連鎖だけでは表に出てこない。欠けに気づくには、連鎖の外に立つ証人が要る — 私たちにとって、それは今日のところ研究であって、製品の約束ではない。