Piyasada aynı kelime iki ayrı şeyi anlatıyor. Bir yanda soru sorup cevap aldığınız sohbet arayüzleri duruyor, diğer yanda kendi başına iş bitirdiği söylenen ajanlar. İkisi de büyük ihtimalle aynı modeli çağırıyor, hatta çoğu zaman aynı sağlayıcının aynı sürümünü.
Farkı yaratan model değil, modelin etrafına kurulan düzen. Dört davranışa bakarak ayırt edebilirsiniz.
Araç çağırma
Chatbot metin üretir ve orada durur. Ajanın ürettiği metnin bir kısmı ise metin olarak kalmaz, bir işleme dönüşür.
Teknik tarafta model yine yazı yazıyor. Ama bu yazı "şu aracı şu parametrelerle çalıştır" anlamına gelen yapılandırılmış bir istek oluyor, dışarıdaki sistem isteği çalıştırıyor ve sonucu modele geri veriyor. Model sonucu gördükten sonra bir sonraki adıma karar veriyor.
Chatbot size "şu kaydı güncelleyin" der. Ajan kaydı günceller.
Çok adımlı çalışma
Chatbot bir turda başlar ve biter. Sorunun cevabı neyse onu verir, sonraki adımı siz açarsınız.
Ajan işi kendi böler. Önce ne yapacağına karar verir, bir adımı çalıştırır, çıkan sonuca bakar ve planını gerekirse değiştirir. Yolun ortasında beklemediği bir şeyle karşılaşırsa geri dönüp başka bir yol dener.
Burada dışarıdan görünmeyen bir taraf var. Bir ajan koşusunda üretilen metnin çok küçük bir kısmı kullanıcıya ulaşır. Geri kalanı araç çağrıları, ara sonuçlar, ajanın kendine tuttuğu notlar ve alt görev tarifleridir. Okuduğunuz tek paragrafın arkasında onlarca adım durur ve maliyeti asıl bu görünmeyen kısım yaratır.
Kendi çıktısını denetlemesi
Chatbot doğruluğu size bırakır. Cevabı okursunuz, beğenmezseniz yeniden sorarsınız, düzeltme döngüsünü yürüten sizsiniz.
Ajanda bu döngü içeride kurulur. Kabul ölçütü baştan tanımlanır, üretilen çıktı bu ölçüte göre sınanır ve tutmazsa yeniden denenir. Testi çalıştırmak, sonucu okumak ve düzeltmek aynı koşunun içinde olur.
Her ajan bunu yapmaz. Ama hiç yapmayan bir sisteme ajan demek zorlaşır, çünkü kendi işini denetlemeyen bir düzen aslında araya araç sıkıştırılmış bir chatbottan ibaret kalır.
Durmayı kendi seçmesi
Bu dördüncü fark hem en az konuşulanı hem de kurması en zor olanı.
Chatbot'un durma sorunu yoktur. Cevabı verir ve turu kapatır, yeni turu açmak sizin işinizdir.
Ajanın böyle doğal bir sonu yok. İşin bittiğine kendi karar vermek zorunda kalır. Bu karar yanlış verildiğinde zarar iki yönden gelir. Erken durursa iş yarım kalır, hiç durmazsa aynı adımı döndürüp durur ve harcamayı büyütür.
Ajan çalıştıran ekiplerin en çok uğraştığı yer üretim değil, tam olarak burasıdır. Sağlam kurulmuş sistemlerde durma kararı yalnızca modele bırakılmaz, dışarıdan da bir tavan konur. Adım sayısı, harcama sınırı ve süre sınırı bunun için vardır.
Aradaki gri bölge
Ürünlerin çoğu bu dört davranışın hepsini taşımıyor. Araç çağırabilen ama adımlarının sırasını kendi seçmeyen sistemler var ve piyasadaki ajan etiketlerinin büyük kısmı aslında burayı tarif ediyor.
Anthropic'in mühendislik yazısı çizgiyi net koyuyor. İş akışlarında model ve araçlar "önceden tanımlanmış kod yollarında" yürütülür, ajanlarda ise model "kendi sürecini ve araç kullanımını dinamik olarak yönetir" (Building Effective Agents).
Ayrım da buraya iniyor. Adımların sırasını kod mu belirliyor, model mi?
Bu bir kalite sıralaması sayılmaz. Sırası önceden belli işlerde kodun yönettiği düzen daha ucuz, daha hızlı ve daha öngörülebilir çalışır.
Ayrım neden alıcıyı ilgilendiriyor
Hata maliyeti iki tarafta aynı değil.
Chatbot yanlış cevap verdiğinde yanlış bir metin okursunuz. Fark ederseniz düzeltirsiniz, fark etmezseniz yanlış bilgiyle devam edersiniz.
Ajan yanlış karar verdiğinde bir işlem gerçekleşir. Kayıt güncellenir, mesaj gider, dosya yazılır. Geri alması her zaman mümkün olmaz.
Bu yüzden ajan alırken sorulacak sorular chatbot alırkenkinden farklıdır. Cevabın kalitesini değil, sistemin yetkisini ve sınırını sormanız gerekir.
Satıcıya sorulacak üç soru
Sistem hangi araçları kendi kararıyla çağırabiliyor ve bu listeyi kim belirliyor?
Bir iş en fazla kaç adım sürebiliyor, neye göre duruyor ve durmadığında ne oluyor?
Biten bir koşuda hangi adımların atıldığını sonradan görebiliyor muyum?
Üçüne de net cevap alamıyorsanız elinizdeki büyük ihtimalle araç kullanan bir chatbottur. Bu kötü bir ürün olduğu anlamına gelmez, ama başka bir kategoridir ve bütçesi de ona göre değerlendirilmelidir.
Kaynaklar
Anthropic, Building Effective Agents