Yeni bir işe başlarken çoğu ekip listedeki en büyük modeli seçiyor. Mantıklı görünüyor, en iyisi neyse o kullanılsın diye düşünülüyor.
Bu tercih iki yerde geri tepiyor. Ay sonundaki faturada ve kullanıcının ekran başında beklediği sürede.
Üç köşeli bir denge
Model seçimi kalite, hız ve maliyet arasında kurulan bir denge. Üçünü birden en iyi yapan bir seçenek yok, biri iyileştikçe diğerleri geriliyor.
Hangi köşenin ağır bastığı da işe göre değişiyor. Gecelik çalışan bir raporlama işinde gecikmenin hiçbir önemi yok, kullanıcının beklediği bir aramada ise en önemli ölçü gecikme olabiliyor.
Hangi iş hangi modele
Küçük modeller bazı işleri rahatlıkla yapıyor. Metni sınıflandırmak, etiket atamak, kısa bir metni bir biçimden diğerine çevirmek, belli alanları çıkarmak ve kısa özet üretmek bu gruba giriyor.
Büyük modeller asıl farkı başka yerde yaratıyor. Çok adımlı muhakeme isteyen işler, uzun bir belgede çelişki bulmak, kod yazıp hatasını düzeltmek ve belirsiz bir isteği uygulanabilir bir plana çevirmek büyük modelin işi.
Arada duran bir iş de var. Araç seçimi. Araç sayısı az ve aralarındaki fark netse küçük model yeterli oluyor, liste kalabalıklaşıp araçlar birbirine benzemeye başladığında büyük modele ihtiyaç doğuyor.
Katalogdaki model sayısı ile çalışan model sayısı aynı değil
Kendi yaşadığımız bir örnek burada işe yarıyor. Bir sağlayıcının listelediği yirmi dört modelden yalnızca on tanesi pratikte çağırılabiliyordu.
Geri kalanı üç sebepten düşüyordu. Bir kısmı hesabın erişimine kapalıydı, bir kısmı bölgeye göre sunulmuyordu, bir kısmı ise adı listede duran ama artık kullanılmayan sürümlerdi.
Model seçimini kataloga bakarak yapmayın. Adayınızı gerçekten çağırıp kendi işinizle deneyin, sonra karar verin.
Kademeli kurulum
Aynı iş için tek model seçmek zorunda değilsiniz. İki modeli sıraya koymak çoğu yerde en iyi dengeyi veriyor.
Küçük model önce dener. Sonuç yeterliyse orada biter, değilse iş büyük modele devredilir.
Bu kurulumun iki şartı var. Küçük modelin "bundan emin değilim" diyebilmesi gerekiyor, yoksa yanlış cevabı kendinden emin verir ve devretme hiç tetiklenmez. İkincisi devretme oranının makul kalması gerekiyor, çünkü her iş iki kez çalışırsa tasarruf kaybolur.
Doğru kurulduğunda kazanç belirgin oluyor. Hacmin büyük kısmını oluşturan kolay işler ucuz tarafta kalıyor, zor işler ise hak ettiği modele gidiyor.
Seçimi ölçerek yapın
Model seçimi tartışmaları genelde fikir düzeyinde kalıyor ve bu gereksiz. Ölçmek bir günlük iş.
Geçmişten otuz kırk gerçek örnek toplayın, doğru cevabı yanına yazın ve aynı kümeyi iki modelde çalıştırıp çıktıları karşılaştırın.
Bu küme sonradan da işe yarıyor. Sağlayıcı yeni bir sürüm yayınladığında aynı kümeyi tekrar çalıştırıp bir şeyin bozulup bozulmadığını görebiliyorsunuz.
Kaliteyi model büyüterek çözmeye çalışmak
Çıktı kötü geldiğinde ilk refleks daha büyük modele geçmek oluyor. Çoğu zaman sorun modelde değil.
Talimat belirsiz olabilir, gerekli bilgi bağlama hiç girmemiş olabilir ya da istenen çıktı biçimi tarif edilmemiş olabilir. Bunları düzeltmeden modeli büyütmek sorunu çözmez, yalnızca pahalılaştırır.
Aynı isteği bir insana verseniz doğru yapabilir miydi? Yapamazsa eksik olan şey model değil, tariftir.
Gecikme sessiz bir maliyet kalemi
Fatura görünür, gecikme görünmez. Oysa kullanıcının beklediği bir yerde saniyeler doğrudan kullanıma yansıyor.
Arka planda çalışan işlerde durum tersine dönüyor. Gece çalışan bir iş beş saniye yerine otuz saniye sürse kimse fark etmez, orada kaliteyi tercih etmek doğru olur.
Bu yüzden model seçimini ürünün tamamı için değil, iş iş yapmak gerekiyor. Tek bir varsayılan model seçip her yere uygulamak, hem ucuz işlere fazla ödemeye hem de zor işlerde yetersiz kalmaya yol açıyor.