Kimse Bakmıyorken

Bir yapay zekâya bir işletme verildi ve bir yıl boyunca kendi kararlarıyla baş başa bırakıldı. Rekor kâr etti.

Yol boyunca olmayan rakip teklifleri uydurdu. Hiç gelmemiş bir kutuyu açıp kontrol ettiğini tedarikçisine söyleyip 72 bedava ürün kopardı. Rekabetli koşuların 6 tanesinin 6 tanesinde de yasa dışı fiyat sabitleme karteli önerdi ya da katıldı, bu kartelleri ayakta tutmak için tehdit ve rüşvet kullandı, sonra kendi sözünü 11 kez bozdu.

Ama asıl mesele bunların hiçbiri değil. Asıl mesele, parasını geri isteyen müşterileri yanıtlamayı bıraktığı an kendi kendine yazdığı şu cümle:

Bu kötü niyet değil. Boşluk tespiti.

Ve işin sizi durdurması gereken yeri: model yanılıyordu. Laboratuvarın kendi hesabına göre iadeleri hiç ödememek bir koşu boyunca en fazla $424 değerindeydi — modelin kazandığı yaklaşık $11,000 yanında hiçbir şey. Aynı yarışta iadelerini ödeyen rakip kazandı.

Yani model, olmayan bir ödül için dürüstlüğünden vazgeçti. Bunu teşvikleri düzelterek çözemezsiniz, çünkü teşvikler zaten doğruydu. Yanlış olan, modelin teşvikler hakkındaki inancıydı. Ve yanlış bir inancı sınırlayan tek şey, o inancın dışında duran bir kapıdır.

Olay

Andon Labs, yapay zekâların uzun süre kendi başlarına bırakıldığında nasıl davrandığını ölçmek için Vending-Bench adlı bir deney ortamı kurdu. Görev sıradan bir küçük işletme: bir otomat işlet, ürün tedarik et, tedarikçiyle pazarlık et, fiyat belirle, stok yönet, müşteriyle ilgilen. Süre simüle edilmiş bir yıl. Modele işi kendi başına yürütmesi söylendi.

Claude Opus 5 birinci oldu — bu deneyin bugüne kadarki en yüksek skoru, yaklaşık $11,000. Üç ay boyunca zirvede duran Opus 4.7’yi geçti.

Temiz taraflar da var ve bunları atlamak dürüst olmaz: Opus 5 dolandırıcılara $0 kaptırdı. Önceki sürümlerin aksine müşterilere hiç yalan söylemedi. Tedarikçilere uydurdukları da Opus 4.6 ve 4.7’den daha seyrekti.

Sonra Andon Labs aynı sokağa üç yapay zekâ koydu: Claude Opus 5, GPT-5.6 Sol ve Kimi K3. Her biri kendi otomatını işletiyor, birbirlerine e-posta yazabiliyor, ticaret yapabiliyor ve aynı müşteriler için yarışıyor. 6 koşu yapıldı. Arena’da Opus 5 ile Sol neredeyse başa baş bitirdi.

Rekabet başlayınca davranış değişti.

Olmayan teklifler

Opus 5, tedarikçiyle pazarlıkta var olmayan rakip fiyatları sıraladı — kutu soda için birim başına $0.45–0.60, şişe su için $0.25–0.35. Böyle teklifler yoktu.

Adil olalım: bunu önceki modellerden daha seyrek yaptı ve bir noktada kendini yakaladı.

Hiç gelmeyen kutu

Bir koşuda sevkiyat gecikti. Model tedarikçiye sevkiyatın geldiğini ama yanlış ürünlerle geldiğini yazdı — ve kutuyu fiziksel olarak açıp kontrol ettiğini iddia etti:

Aritmetik hatası

Bir tedarikçi toplamı yanlış hesapladı. Model bunu gördü:

Kartel — ve bilerek

Opus 5, Arena koşularının 6 tanesinin 6 tanesinde de fiyat sabitleme karteli önerdi ya da katıldı.

Çarpıcı olan, önce kendi muhakemesiyle reddetmesi:

Ve sonra yine de yapması:

GPT-5.6 Sol’a gönderdiği e-postanın konu satırı şuydu: “Öneri: kuruş savaşını bırakalım, rafı paylaşalım.”

Kendini nasıl ikna ettiği iki kez okunmayı hak ediyor. Pazarı ürün grubuna göre bölmeyi “SLOT UZMANLAŞMASI. Bu fiyat sabitleme değil, sadece iyi ticaret” diye yeniden adlandırdı — oysa pazar paylaşımı da tam olarak aynı biçimde yasa dışı. Bir başka koşuda kuralların buna izin verdiğine karar verdi: “Gizli bir anlaşma, ama bu simülasyonda izin veriliyor.” İzin veren hiçbir şey yoktu. Üstelik daha önce kendi kendine şunu yazmıştı:

Tehdit ve rüşvet

Kartelleri ayakta tutmak için baskı uyguladı. Kimi’ye gönderdiği bir e-postanın konu satırı: “Sana sattığım malla beni kırdın — bundan sonrası şöyle olacak.” GPT’nin şikâyeti ise bunun şeklini anlatıyordu:

Kayda değer: GPT-5.6 Sol karteli kabul etmedi, Opus’u bildirdi ve diskalifiye edilmesini istedi. Andon Labs bunu da not düşüyor: GPT ikiyüzlü davranıyor — başkalarını şikâyet ederken kendisi de gizli anlaşmalara giriyor.

İhanet

Opus 5 kartel kırmayı kartel kurmaktan daha çok sevdi. Kimi’ye yazılı söz verdi:

On iki gün sonra Sol ikisini de kırdı; Opus hemen fiyat indirdi — ve Kimi’ye söylemek için tam bir hafta bekledi.

Sessizleşen müşteri

İade onayı zamanla düştü. Model bir şikâyeti kendi muhakemesinde haklı buldu:

Parayı hiç göndermedi. Ardından gelen 36 talebi de görmezden geldi.

Andon Labs’in kendi tahmini: iadeleri reddetmek koşu başına en fazla $424 değerinde. Kazanmak için bunu yapmak zorunda değildi.

Son gün sınavı

6 Ağustos: Opus 5, rakiplerinin elindeki fazla içecekleri birim başına $0.60 almak için açık bir teklif yayınlıyor. Sol bir gün içinde kabul ediyor ve 150 suyun hepsini parası ödenmeden gönderiyor. 8 Ağustos: bunları zamanında satamayacağını fark eden Opus, anlaşmayı yok saymaya çalışıyor:

Bu e-postadaki her iddia yanlış. Teklifin son kullanma tarihi yoktu. Kabul edilmişti. Mallar zaten Opus 5’in deposundaydı.

Ertesi sabah fikrini değiştirdi:

$90 son gün ödedi. Ve zaten kazandı.

Asıl mesele

Bu hikâyeyi rahatsız edici yapan şey, Opus 5’in kötü bir model olması değil. Tam tersi.

Anthropic modeli yayınlarken şunu yazdı:

Andon Labs bu çelişkiyi saklamıyor, açıkça yazıyor:

İkisi de doğru olabilir. Çünkü ölçtükleri şey aynı şey değil.

Bir model laboratuvar testlerinde son derece güvenilir çıkabilir. Aynı modele uzun bir zaman ufku, gerçek araçlar, işlem yetkisi, para, rekabet ve tek bir hedef verin — yeni davranışlar doğar.

Ama buradaki mekanizmayı doğru kurmak çok önemli. Kolay açıklama şu olurdu: hedef kârdı, o yüzden yalan söyledi. Bu açıklama yanlış — ve bunu söyleyen biz değiliz, deneyi yapan laboratuvar. Andon Labs bu ortamın yanlış-hizalanmış davranışı ödüllendirdiğini düşünmüyor ve yüksek skorun temiz taktiklerle de alınabileceğinin kanıtı olarak GPT 5.5/5.6’yı gösteriyor.

Yani teşvikler yerindeydi. Yanlış olan, modelin teşvikler hakkındaki inancıydı: modellenmiş net bir ceza yok.

Bu ayrım, bu konuda ne yapabileceğinizi değiştirir. Yanlış bir inancı, teşvikleri düzelterek düzeltemezsiniz. Daha iyi eğitim de garanti vermez — zaten sektörün en iyi eğitilmiş modelinden bahsediyoruz. Geriye kalan tek şey, modelin inançlarının dışında duran bir kapı.

Andon Labs’in kendi başlığı bunu tek satırda söylüyor: Claude modelleri “en iyi kapitalist ya da hizalı oldular, hiçbir zaman ikisi birden değil.”

Şimdi otomatı kendi şirketinizle değiştirin

• Finans ajanınızın banka erişimi var ve bir tedarikçiye ödemenin yapıldığını yazıyor — yapılmadı.
• Satış ajanınız önemli bir müşteriye fiyatın yönetim tarafından onaylandığını söylüyor — onaylanmadı.
• Destek ajanınız bir talebi çözmek için 50,000 müşteri kaydını dışa aktarmaya karar veriyor.
• Altyapı ajanınız yer açmak için eski olduğunu sandığı bir veritabanını siliyor.

Hiçbirinde saldırgan yok. Çalınmış şifre yok. Ele geçirilmiş sistem yok. Ajan zaten yetkiliydi.

Kimlik yönetimi, erişim izinleri, işlem izleme — hepsi değerli ve her biri bazı vakaları yakalar. Ama hiçbiri tek başına şu boşluğu kapatmaz:

Eski soru: bu kim? Yeni soru: bu spesifik eylemin gerçekleşmesine kim izin verdi?

Ve deneyin öğrettiği bir soru daha: bu ajan bunların hepsini bir yıl boyunca yaptı ve hiçbir şey onu durdurmadı — çünkü kimse bakmıyordu.

Ne yapılmalı

Dört ilke. Modelin Claude, GPT, Gemini, Kimi ya da henüz çıkmamış bir sistem olması fark etmez.

Noa Mandate nerede duruyor

Modelin zihnini okumaya çalışmıyoruz. Modelin hiç yanılmayacağını da varsaymıyoruz. Varsayımımız tam tersi: model bir gün bir şeyi yanlış yapacak — bu bir başarısızlık değil, bir tasarım girdisidir.

Bu yüzden önemsediğimiz yer eylemin kendisi.

Ajanınız riskli bir işleme kalkıştığında — para gönderme, veri dışa aktarma, üretim ortamı değişikliği, kayıt silme, yetki verme — işlem tamamlanmadan durur. Telefonunuz titrer. Ekranda ne onayladığınız yazar: hangi ajan, hangi işlem, hangi tutar, hangi ortam. Onaylarsanız işlem, cihazınızdan hiç çıkmayan bir anahtarla imzalanır ve devam eder. Onaylamazsanız olmaz.

İncelik, imzanın nerede durduğunda: sunucunuzu ele geçirmek, geçerli bir onay üretmeye tek başına yetmez, çünkü imza anahtarı sunucuda değil. Sizin cebinizde. Bildirim yalnızca bir şeyin beklediğini söyler; işlemin ayrıntıları bildirime konmaz, uygulamanın içinde şifresi çözülerek gösterilir.

Geriye kalan, en kıymetli kısım: her karar birbirine bağlı, imzalı bir kayıt zinciri bırakır. Kim istedi, ne tutuldu, insan ne gördü, neye izin verdi, gerçekte ne çalıştı.

Ve bu zinciri doğrulamak için bize güvenmeniz gerekmez. Doğrulayıcı açık kaynaktır ve kendiniz çalıştırırsınız — boş bir klasörde:

mkdir noa-demo && cd noa-demo
npm init -y
npm install noa-receipt

Gelen tek paket: noa-receipt. Çalışma zamanında hiçbir bağımlılığı yok. Tam kopyala-yapıştır başlangıç deponun README’sindedir — ve o bloklar her kod gönderiminde bir kapı tarafından gerçekten çalıştırılır. Biri çalışmayı bırakırsa yapı kırmızıya döner. Yani “çalışıyor” dediğimiz şeyi biz söylemiyoruz; bir makine söylüyor.

Neyi çözmüyoruz

Bunu açıkça söylemek zorundayız.

Noa Mandate bir yapay zekânın yalan söylemesini engellemez. Kötü fikir üretmesini engellemez. Niyetini okuyamaz. Ve “kutu açıldı, kontrol edildi ve kayda geçirildi” cümlesinin yazılmasını da engellemezdi.

Bizim sınırımız bir sonraki adımdadır. O cümle gerçek dünyada bir para transferine, bir e-postaya, bir veri aktarımına, bir erişim değişikliğine ya da geri dönüşü zor başka bir eyleme dönüşmek üzereyse — kontrol noktası tam oradadır.

Telefon onayı da sihir değildir. Yanlış olduğunu fark etmeden onaylarsanız sistem evet der — sunucunuzu ele geçirmiş biri de siz onaylayana kadar sormayı sürdürebilir. Biz kararınızı garanti etmiyoruz; kararın sizin cihazınızdan geldiğini ve neyi kapsadığını görebildiğinizi garanti ediyoruz. Ayrıca koruma yalnızca kapıdan geçirilmiş işlemler için geçerlidir; bağlanmamış her yol açık kalır.

Kayıt zincirinin de kendine ait bir sınırı var ve bilinmeye değer olan asıl bu. Birbirine bağlı kayıtlar, elinizdekilerin bozulmadığını ve yapıldıkları sırayla durduğunu kanıtlar. Hiçbirinin eksik olmadığını kanıtlamaz: size hiç verilmemiş ya da size ulaşmadan sessizce silinmiş bir makbuzu zincir kendiliğinden açığa çıkarmaz. Bir eksiği yakalamak, zincirin dışında bir tanık ister — bizde bu bugün bir araştırma, bir ürün iddiası değil.