Yapay zeka araçlarına yöneltilen en yaygın şikayet, ne yaptıklarını söylememeleri. Bir metin geliyor, güzel görünüyor, ama neye dayandığını bilmiyorsunuz. Beğenmediyseniz de nereyi düzelteceğinizi bilmiyorsunuz.
Orbi'de bir ajanın işi kartın içinde dört ayrı yerde görünür. Hangisine bakacağınızı bilmek, ajanla çalışmayı tahmin işi olmaktan çıkarıyor.
Kontrol listesi işin ne kadarının bittiğini söyler
Uzun bir işi ajan kendisi adımlara böler ve her adımı kartın kontrol listesine yazar. Adımları siz eklemezsiniz, ajan açar ve işaretler.
Her adımın durumu ve kısa bir çıktı özeti tutulur. Bir adıma bakıp ne yapıldığını anlarsınız, tamamını okumak zorunda kalmazsınız.
Adımlar silinmez. Başarısız olan bir adım listeden kaldırılmıyor, hata olarak işaretleniyor. Böylece "denendi ve olmadı" ile "hiç denenmedi" birbirine karışmaz. İki durum arasındaki fark, bir işi ikinci kez verirken çok işe yarar.
Kartı açmadan da nerede olduğunu görebilirsiniz. Kontrol listesinin ilerlemesi kartın üzerinde kesikli bir çubuk ve bir sayac olarak durur, yani panoya baktığınızda hangi kartın ne kadar ilerlediği listeyi açmadan görünür.
Çıktı ile yorumu karıştırmayın
Kartın iki ayrı yazı alanı var ve ikisi ayrı işe yarıyor.
Çıktılar alanı teslimat içindir. Ajanın ürettiği nihai içerik oraya yazılır. Rapor, tablo, metin, ne üretildiyse.
Yorum ise iletişim içindir. Ajanın hangi varsayımı yaptığı, neyi bulamadığı, size sorduğu soru oraya düşer.
Bu ayrımı bilmek, bir kartı hızlı okumanızı sağlar. İşin sonucunu merak ediyorsanız çıktıya, işin nasıl gittiğini merak ediyorsanız yorumlara bakarsınız.
Geçmiş, kartın bütün hayatı
Geçmiş sekmesi tek bir zaman çizgisi gösterir ve içinde iki tür kayıt birlikte akar.
Etkinlik kayıtları karta ne olduğunu söyler. Durum değişti, atama değişti, yorum yazıldı ya da silindi, kontrol listesine adım eklendi, çıktı geldi. Her satırda kimin yaptığı ve ne zaman yaptığı yazar.
Ajan koşusu ise tek satırdır. "Şu kartın üzerinde çalıştı, üç kayıt güncelledi, kartı incelemeye aldı" cümlesi koşunun tamamını anlatır. Koşu içindeki her yazım ayrı bir satır olsaydı on adımlık bir koşu listeyi tek başına doldururdu. O ayrıntı satırın altındadır ve siz isteyince açılır.
Koşu satırları solundaki ince mor çizgiden tanınır. Çizgi "bunu bir ajan yaptı" demektir. Koşu hata aldıysa çizgi kırmızıya döner, çünkü orada söylenmesi gereken şey artık kimin yaptığı değil, nasıl bittiğidir.
Teşhis izi teknik soruya cevap verir
Bir çıktı beklenenden zayıf geldiğinde sorulacak sorular bellidir. Hangi ajan çalıştı, hangi modelle çalıştı, yedek modele düşüldü mü, alt ajan çağırıldı mı, ne kadar token harcandı.
Bu bilgilerin hepsi ajan turunun altında duruyor. Yani "model mi zayıftı yoksa brief mi eksikti" sorusunu tahminle değil kayıtla cevaplarsınız.
Aynı iz maliyet tarafında da işe yarar. Bir kart beklenenden pahalıya mal olduysa hangi turun ne kadar harcadığı görünür.
Ajan bir konektöre dokunduğunda, o adımın yanında servisin kendi işareti durur, yani satırı okumadan hangi sisteme temas edildiğini görürsünüz.
Aynı liste yalnız kartta durmuyor
Kartın Geçmiş sekmesindeki liste, başka dört yerde daha aynı dille çiziliyor. Bir ajanın kendi sayfasında yalnız onun işleri, bir koleksiyon ekranında o koleksiyonda olan bitenler, bir kaydın içinde o tek kaydın geçmişi ve Gelen kutusundaki Etkinlik sekmesinde çalışma alanının tamamı.
Sonuncusu sabah ilk bakılacak yerdir. "Ajanlar gece ne yaptı" sorusu tek bir listede cevaplanıyor ve görünümlerden biri doğrudan dikkat isteyenleri süzüyor, yani hata alan koşular ile incelemeye düşen kartları.
Geçmiş değiştirilemez
Etkinlik günlüğü silinmez ve düzenlenmez. Bir yorum silindiğinde bile günlükte "şu yorum silindi" kaydı metin özetiyle birlikte kalır.
"Bir şey silindi" cümlesinin anlamlı olması için neyin silindiğinin bilinmesi gerekir. Silinen şeyin izini de silen bir günlük, denetim izi olmaktan çıkar.
Kimseye atfedilemeyen otomatik hareketler de kaybolmaz, sistem tarafından yapılmış olarak görünür. Bir akışın tetiklediği durum değişikliği ya da bir tavan aşıldığı için yapılan geçiş böyle işaretlenir.
Saklama süreleri de ikiye ayrılıyor. Koşu içindeki adım izi 180 gün, koşunun kendisi ve tek başına yapılan işlemler 400 gün saklanır. Yani "kim ne yaptı" sorusu aylar sonra da cevaplanır, "hangi adımda ne olmuştu" ayrıntısı daha erken temizlenir.
Revizyon istemek işi başa sarmaz
Bir kart incelemeye düştüğünde beğenmediğiniz yeri yorumla söyler ve kartı yeniden kuyruğa alırsınız.
Ajan işi baştan yapmaz. Kontrol listesinde tamamlanmış duran adımlar tekrar edilmez, yalnızca ilgili adım yeniden çalışır. "Üçüncü bölüm zayıf" demek, bütün yazının yeniden yazılmasına yol açmaz.
Aynı anda iki kişi ya da bir kişi ile bir ajan kartı düzenlerse çakışma sessizce üzerine yazılmaz, tespit edilir.
Kod işiyse PR de kartta görünür
Kartı anan bir pull request varsa kartın üst şeridinde bir işaret durur ve rengi PR'ın durumunu söyler. Gri açık, yeşil merge edilmiş, kırmızı merge edilmeden kapanmış demektir. Aynı işaret liste görünümünde de durur, yani kartı açmadan görürsünüz.
Merge kartı kapatmaz. Kartın tamamlandı olması insanın kararıdır, PR merge edilince yalnızca işaret yeşile döner.
Nereden başlanır
Bir sonraki ajan kartını onaylamadan önce sırayla üç yere bakın. Önce kontrol listesine, işin kaç adımda yapıldığını ve hata işaretli adım olup olmadığını görün. Sonra çıktıya, teslimatın kendisini okuyun. En son yorumlara, ajanın hangi varsayımla ilerlediğini anlayın.
Üçü birden birkaç dakika sürer ve "bu işe güvenebilir miyim" sorusunu tahminden çıkarır.
Kontrol listesi, geçmiş ve revizyon döngüsü yardım merkezindeki Görevler sayfasında ayrıntılı duruyor. Çalışma alanının tamamını tek listede görmek için Gelen kutusu, işin nasıl bölündüğü için Orchestrator sayfasına bakabilirsiniz.
Denemek isterseniz ücretsiz bir hesap açıp ilk kartınızı bir ajana verebilirsiniz.