Çok ajanlı mimari son iki yılın en hızlı yayılan fikri. Tek bir ajanı bölüp uzmanlaştırmak kulağa doğru geliyor, çünkü insan ekipleri de böyle çalışıyor.
Sahadan gelen iki büyük rapor ise birbirinin tersini söylüyor. İlginç olanı da ikisinin aynı anda haklı olması.
İki karşıt deneyim
Anthropic, araştırma işi için kurduğu çok ajanlı sistemi anlattı. Bir yönetici ajan işi bölüyor, alt ajanlar parçaları aynı anda çalışıyor. Sonuç kendi iç değerlendirmelerinde tek ajanlı kuruluma göre yüzde 90,2 daha iyi çıkmış (Anthropic).
Cognition ise tam tersini yazdı ve yazının başlığı doğrudan "çok ajanlı sistem kurmayın" idi. Paralel çalışan alt ajanlar bağımsız kararlar veriyor, aynı problem üzerinde verilen bağımsız kararlar birbiriyle çelişen çıktılar üretiyor ve ajanlar arasında bağlam yeterince paylaşılamıyor (Cognition).
Çelişki değil, farklı iş
İki raporu yan yana koyunca ayrım netleşiyor. Belirleyici olan şey işin gerçekten paralelleşebilir olup olmadığı.
Araştırma paralelleşiyor. On farklı kaynağı aynı anda taramak mümkün, alt işler birbirinin sonucunu beklemiyor ve toplanan parçalar sonunda birleştirilebiliyor.
Kod yazmak paralelleşmiyor. Her karar bir sonrakini kısıtlıyor, aynı dosyaya iki ayrı ajanın ayrı ayrı karar vermesi çelişki üretiyor.
Bunu Anthropic'in kendi yazısı da söylüyor. Aynı bağlamı paylaşması gereken ve ajanlar arası bağımlılığı yüksek olan alanların bugün için uygun olmadığı ve çoğu kodlama işinin araştırmaya göre çok daha az paralelleşebilir parça içerdiği belirtiliyor.
Kazancın bedeli ölçülüyor
Aynı yazıda çok konuşulmayan bir rakam daha var. Çok ajanlı sistemler sohbet kullanımına göre yaklaşık on beş kat token harcıyor. Tek ajanlı bir ajan kurulumu bile sohbete göre dört kat harcıyor.
Daha da dikkat çekeni, bir değerlendirmede başarı farkının yüzde 80'ini tek başına harcanan token miktarının açıklaması.
Bu bulgu çok ajanlı mimariyi değersizleştirmiyor ama beklentiyi yerine oturtuyor. Sistem daha iyi sonuç veriyor çünkü aynı problem üzerine çok daha fazla hesap harcıyor. Ortada mimarinin kendisinden gelen bedava bir kazanç yok.
Böyle bakınca işin değerinin bu maliyeti karşılaması gerekiyor. Hukuki inceleme ya da rakip analizi gibi çıktısı pahalı işlerde hesap tutuyor. Günlük rutin işlerde tutmuyor.
Asıl zorluk bağlamı paylaşmak
Cognition'ın en önemli uyarısı maliyetle ilgili değil. Alt ajanlara yalnızca son mesajı değil tüm izi vermek gerektiğini söylüyorlar, çünkü işin nasıl bölündüğüne dair kararların ayrıntıları görevin yorumunu değiştiriyor.
Burada ince bir denge var ve biz de aynı dengeyle uğraşıyoruz. Alt göreve her şeyi vermek pahalıya patlıyor ve dikkati dağıtıyor, çok az vermek ise makul görünen ama yanlış bir iş üretiyor.
Bizde işe yarayan ayrım, alt ajana yalnızca "ne yapacağını" değil "bu işin neden yapıldığını" da vermek oldu. Amacı bilen bir alt ajan eksik bilgiyle karşılaştığında makul bir karar veriyor, amacı bilmeyen ise kendi kafasına göre bir yol seçiyor.
Brifingin dışında kalanları da bilerek seçiyoruz. Alt görevler ana koşunun birçok arka plan bilgisini hiç görmüyor, çünkü o bilgi onların kararını değiştirmiyor ve yalnızca yer kaplıyor.
Bölmeden önce üç soru
Alt işler birbirinin çıktısına ihtiyaç duyuyor mu? Duyuyorsa bölmeyin, sırayla çalışan tek bir ajan daha iyi sonuç verir.
Sonuçlar birleştirilebilir mi? Alt ajanların çıktıları birbiriyle çelişebiliyorsa, o çelişkiyi çözecek olan şey de bir maliyet kalemidir.
İşin değeri on beş kat maliyeti karşılıyor mu? Bu soruyu başta sormak, altı ay sonra faturaya bakıp sormaktan daha ucuz.
Başlamanın doğru sırası
Tek ajanla başlayın ve sınırına vurana kadar bölmeyin. Sınır genelde kendini belli eder, çünkü ajan aynı koşuda çok farklı türde iş yapmaya çalışırken bağlamı kaybetmeye başlar.
Bölerken en doğal sınır birbirine ihtiyaç duymayan tarama ve toplama işleridir. Aynı anda beş farklı kaynağı okumak bölünmeye uygundur, aynı metni beş kişinin birlikte yazması değildir.
Yapıyı da eşitler arası kurmayın. Bir yöneten ve işi dağıtan, altında işi yapanlar şeklindeki düzen çalışıyor. Birbiriyle serbestçe konuşan eşit ajanlar bugünün modelleriyle koordinasyonu başaramıyor.
Kaynaklar
Anthropic, How we built our multi-agent research system
Cognition, Don't Build Multi-Agents