Bir işi yapay zekaya devretmeden önce sorulması gereken soru çoğu zaman atlanıyor. Bu işe gerçekten ajan mı gerekiyor?
Ajan satan bir ekip olarak söylüyoruz. İşlerin büyük kısmı ajan istemiyor, kural istiyor. Yanlış yerde kullanılan bir ajan hem pahalı hem de çalıştığından emin olması zor bir çözüm üretir.
Ayrımı belirleyen şey girdinin biçimi
Adımların sırasını önceden yazabiliyorsanız kod yeter. Sırayı girdinin içeriği değiştiriyorsa ajan gerekir.
Bir fatura dosyasından alan okuyup veritabanına yazmak kural işidir. Alanlar hep aynı yerdedir, işlem hep aynı sırayla yürür ve sonucun her seferinde aynı çıkması gerekir.
Gelen serbest metinli bir talebi okuyup hangi ekibe gideceğine karar vermek farklı bir iş. Talebin biçimi her seferinde değişir, istisnalar sayılamayacak kadar çoktur ve kararı içeriğin kendisi belirler.
Üç soruluk test
Bu işi yeni başlayan bir çalışana "önce şunu, sonra şunu yap" diye tarif edebiliyor musunuz? Edebiliyorsanız o tarif zaten koddur, aradan modeli çıkarın.
Girdi düzenli mi geliyor? Aynı alanlar aynı yerdeyse ayırıcı bir zeka gerekmiyor demektir.
Aynı girdiye her seferinde aynı çıktı gerekiyor mu? Gerekiyorsa modelden uzak durun. Modeller doğaları gereği aynı soruya farklı yollardan cevap verebilir ve bunu tamamen bastırmak mümkün değildir.
Üçüne de "evet" diyorsanız elinizdeki iş otomasyon işidir. Ajan koymak yalnızca faturayı büyütür.
Ajanın gerçek maliyeti
En görünür kalem token harcaması. Anthropic'in kendi ölçümüne göre ajanlar sohbet kullanımına göre yaklaşık dört kat, çok ajanlı sistemler ise yaklaşık on beş kat token harcıyor (Anthropic, How we built our multi-agent research system). Bu fark tek bir çağrıda görünmez, ay sonundaki faturada görünür.
Gecikme de aynı yönde çalışır. Kod yolunda milisaniyeyle ölçülen bir iş, ajan yolunda saniyelerle ölçülür. Kullanıcının ekran başında beklediği bir yerde bu fark başlı başına bir sorun haline gelir.
En az hesaba katılanı ise denetim yükü. Kural tabanlı bir işin doğru çalıştığını log satırından anlarsınız. Ajanın doğru çalıştığını anlamak için koşunun adımlarını okumak, kabul ölçütü tanımlamak ve örnek küme tutmak gerekir. Bu işi kimse yapmazsa sistem çalışıyor gibi görünür ama kimse emin olamaz.
"Basit başla" tavsiyesi neden tekrarlanıyor
Aynı uyarı modeli üreten şirketin kendi mühendislik yazısında da var. Çok adımlı ajan sistemleri "ancak daha basit çözümler yetersiz kalınca" eklenmeli deniyor ve çoğu uygulama için "tek bir model çağrısını iyileştirmenin genellikle yeterli olduğu" belirtiliyor (Anthropic, Building Effective Agents).
Bunu ajan satan bir şirketin söylemesi dikkat çekici, ama yanlış yere konmuş bir ajan teknolojiye güveni tümüyle sarsan bir başarısızlık üretiyor.
Çoğu zaman doğru cevap ikisi birden
Sağlam kurulumlarda işin iskeletini kod tutar ve model yalnızca kararın verildiği yere konur.
Gelen bir destek talebini düşünün. Talebi almak, kaydetmek, kimden geldiğini bulmak ve bildirim göndermek kod işidir. Talebin neyle ilgili olduğuna karar vermek model işidir. Karardan sonraki yönlendirme yine kod işine döner.
Böyle kurulan bir sistemde modelin dokunduğu yüzey küçülür. Küçülen yüzey hem ucuzlar hem de yanlış gittiğinde nereye bakacağınızı bilirsiniz.
Aynı işi iki biçimde kurup karşılaştırma imkanı bulduk. Tekrar eden bir işi her seferinde ajana boştan yorumlatmak yerine adım sırasını sabitleyip yalnızca değişen kısmı modele bırakmak hem daha ucuz hem daha tekrarlanabilir çıkıyor. Ajanın asıl değeri, girdinin biçimi bozulduğunda ortaya çıkıyor.
Ajan istediğinizi sandığınız ama aslında kod isteyen beş belirti
Prompt'unuz "eğer şu varsa şunu yap" listesine dönüştüyse, o listeyi koda yazmak hem daha ucuz hem daha güvenilir olur.
Aynı girdiye farklı cevap geldiğinde bunu hata sayıyorsanız, aslında modelden kural bekliyorsunuz demektir.
Çıktıyı her seferinde katı bir şablona zorluyorsanız, şablonu üreten şeyin model olması gerekmiyor.
Ajanın araç listesinde tek araç varsa ortada seçim yok demektir, seçim yoksa ajana da gerek yoktur.
Modeli yalnızca metni bir biçimden diğerine çevirmek için çağırıyorsanız, bu işi yapan kütüphaneler zaten var.
Tersi de pahalıya patlıyor
Kurala inatla sarılmak da bedava değil. İstisna listesi büyüdükçe bakım maliyeti artıyor ve bir noktadan sonra kimse o kod parçasına dokunmak istemiyor.
Yüzlerce kuralı olan bir yönlendirme tablosu artık okunmuyorsa, orada model gerçekten kazandırır. Çünkü model istisnaları tek tek yazmadan da benzer durumları ayırt edebilir.
Kuralı yazan kişi "bu durumu da eklemem lazım" demeyi ayın her haftası tekrarlıyorsa, iş kuralın kaldıracağından ağırlaşmış demektir.
Kararsız kaldığınızda
Önce ucuz olanı deneyin. Kuralı yazın, tutmadığı yerleri bir ay boyunca not edin ve o notlara bakıp karar verin.
Tutmayan yerler birbirine benziyorsa yeni bir kural yeter. Tutmayan yerlerin hepsi birbirinden farklıysa, ajanın kazandıracağı yeri bulmuşsunuz demektir.
Kaynaklar
Anthropic, Building Effective Agents
Anthropic, How we built our multi-agent research system