İçeriğe geç

Raporlar ve analiz

Yapay Zekâ Kullanımı

Yönetici Asistanı'nın sorulara nasıl yanıt verdiğini sayılarla gösterir; yanıt ve doğrulama oranları, süreler, token kullanımı ve yapay zekâ sağlayıcısının durumu.

Menüdeki yeri
Raporlar › Yapay Zekâ Kullanımı
Gerekli yetki
Yapay zekâ sağlayıcı ayarlarını yönetme

Ne işe yarar

Bu ekran (sayfa başlığında Yapay Zekâ Kullanımı ve Sağlığı), Yönetici Asistanı'nın son sorulardaki davranışını sayılarla gösterir: kaç soru sorulduğu, kaçının yanıtlandığı, kaçının doğrulanamadığı için gösterilmediği, sağlayıcıya ulaşılamayan durumlar, yanıt süreleri ve kullanılan token miktarı. Asistanı kuran ve yapay zekâ sağlayıcısını yöneten kişi içindir; örneğin modeli değiştirdikten sonra yanıt oranlarının düşüp düşmediğini ya da sağlayıcının hata verip vermediğini buradan izlersiniz.

Ekran yalnız sayaçları okur. Soruların, yanıtların ve asistanın okuduğu verilerin metni burada yer almaz.

Ekranda neler var

Süzgeçler

  • Son: 1 saat, 24 saat ya da 7 gün.
  • Ekran: sorunun sorulduğu yer; Asistan sayfası, Yönetim panosu ya da Benim İşlerim.
  • Sonuç: Cevaplandı, Gösterilmedi, Tamamlanamadı ya da Sağlayıcı hatası.
  • Sağlayıcı ve Model: belirli bir sağlayıcının ya da modelin soruları.
  • İşlem no: asistanın bir sorun yaşadığında yanıtın altında gösterdiği numara.

Listelerden biri değiştiğinde süzgeç hemen uygulanır. Model ya da İşlem no kutusuna yazdıktan sonra Uygula'ya basın.

Sonuç Anlamı
Cevaplandı Doğrulamadan geçen yanıt soran kişiye ulaştı.
Gösterilmedi Yanıt doğrulanamadı ve hiçbir şey gösterilmedi. Kartlarda Engellenen olarak sayılır.
Tamamlanamadı Asistan, izin verilen deneme sayısı içinde bir yanıta ulaşamadı.
Sağlayıcı hatası Yapay zekâ sağlayıcısına ulaşılamadı ya da sağlayıcı isteği reddetti.

Sorular

Kartın başlığının yanında sayaçların hangi andan beri tutulduğu yazar ("Kayıtlar … itibarıyla tutuluyor"). Üstte Toplam soru ile Cevaplanan, Engellenen ve Sağlayıcı hatası oranları, altında şu ölçümler bulunur:

Ölçüm Anlamı
İlk denemede araç Asistanın, kimse hatırlatmadan kayıtları okuyarak (bir araç kullanarak) yanıt verdiği soruların oranı.
Araca geri gönderilen Asistanın kayıtlara bakmadan rakam içeren bir yanıt yazdığı ve platformun onu önce kayıtları okumaya geri gönderdiği soruların oranı.
Geri gönderme sonrası cevap Geri gönderildikten sonra kayıtları okuyup yanıtlanan soru sayısı.
Onarılan cevap Yanıttaki bir bilgi okunan kayıtlarda bulunamadığı için asistandan yanıtı bir kez düzeltmesinin istendiği soruların oranı.
Doğrulanamayan iddia Düzeltme istendikten sonra da kayıtlarla doğrulanamayan bilgi sayısı; bu bilgiler soran kişiye gösterilmez.
Araç hatası Kayıtları okuyan araçlardan birinin hata verdiği durumların sayısı.
Ortalama süre / P95 süre Bir sorunun yanıtlanma süresi, milisaniye olarak; P95, soruların yüzde 95'inin bu süreden kısa sürede yanıtlandığını gösterir.
Token (giriş / çıkış) Sağlayıcıya gönderilen ve sağlayıcıdan gelen metin miktarı.

Seçilen süzgeçlere uyan soru yoksa oranlar, sayılar ve süreler sıfır yerine "-" olarak görünür.

Model ve ekran dağılımı

Her model ve her ekran için ayrı bir satır: Soru, Engellenen ve Ortalama süre. Birden çok model denediyseniz hangisinin daha sık engellendiğini ya da daha yavaş yanıt verdiğini buradan karşılaştırırsınız.

Sağlayıcı

  • Durum: Kullanılabilir, Kullanılamıyor (aktif servisin son bağlantı testi başarısız) ya da Tanımlı değil (aktif ve bilgileri tam bir servis yok).
  • Sağlayıcı ve Model: aktif servisin sağlayıcısı ve modeli.
  • Prompt: asistanın kullandığı talimatların sürümü.
  • Son başarılı ve Son hata: son yanıtlanan ve son başarısız sorunun zamanı.
  • Konuşma deposu: Paylaşımlı ya da Yerel bellek; asistanla süren konuşmaların sunucular arasında paylaşılan bir yerde mi, yalnız bu sunucunun belleğinde mi tutulduğunu gösteren teknik bir bilgi.

İşlem

İşlem no süzgecine bir numara yazdığınızda, numara bulunursa sağda İşlem kartı açılır: Sonuç, Ekran, Araç (asistanın kullandığı araç sayısı), Tur (sağlayıcıya kaç kez sorulduğu) ve Süre. Sorunun kendisi burada da görünmez.

Kalıcı metrikler

Son 24 saat, 7 gün ve 30 gün için Soru, İlk denemede araç, Onarılan cevap, Engellenen, Sağlayıcı hatası, Ortalama süre ve En yavaş değerleri. Bu tablo kuruluşunuzun saatlik sayaçlarından okunur ve sunucunun yeniden başlatılmasından etkilenmez. Henüz hiç soru sorulmadıysa görünmez.

Model değerlendirmesi

Modeller sabit bir soru setiyle ayrıca ölçüldüyse sonuçları bu kartta yer alır: doğru araç seçimi, ilk denemede araç kullanımı, doğrulama ve devam sorularındaki başarı oranları, ortalama süre ve son test tarihi, altında en zayıf üç konu. Ölçüm bu ekrandan başlatılmaz; sonuç yoksa kart görünmez.

Nasıl yapılır

Asistanın genel durumunu okumak

  1. Raporlar › Yapay Zekâ Kullanımı'nı açın; ekran son 24 saatle açılır.
  2. Önce Sağlayıcı kartında durumun Kullanılabilir olduğuna bakın.
  3. Sorular kartında Engellenen ve Sağlayıcı hatası oranlarını, Kalıcı metrikler tablosunda aynı oranların son 7 ve 30 gündeki değerleriyle karşılaştırın. Belirgin bir artış, modelin, sağlayıcının ya da bağlantının incelenmesi gerektiğini gösterir.

Bir kullanıcının bildirdiği sorunu bulmak

  1. Kullanıcıdan, asistanın yanıtının altında gördüğü İşlem no'yu isteyin.
  2. Numarayı İşlem no kutusuna yazın, Son listesinden 7 gün'ü seçin ve Uygula'ya basın.
  3. Sağdaki İşlem kartında sorunun sonucunu, kaç araç kullanıldığını ve ne kadar sürdüğünü görün.

Numara bulunamazsa sunucu o arada yeniden başlatılmış olabilir; bu kart, sunucunun belleğindeki yakın geçmişten okunur.

Kurallar ve dikkat edilecekler

  • Metin yoktur. Ekran yalnız sayıları gösterir; soru ve yanıt metinleri bu sayaçlara yazılmaz.
  • İki tür sayaç vardır. Sorular, Model ve ekran dağılımı ve İşlem kartları sunucunun belleğindeki sayaçlardan okunur: sunucu yeniden başlatıldığında sıfırlanır ve en çok yakın geçmişi tutar. Daha uzun dönem için Kalıcı metrikler tablosuna bakın.
  • Yalnız sizin sorularınız. Bütün sayaçlar, işlem numaraları ve kalıcı metrikler yalnız sizin organizatör hesabınızın sorularından okunur; aynı sunucuyu kullanan başka organizatörlerin soruları burada görünmez ve numarasıyla da aranamaz.
  • Sağlayıcı durumu tanımlı servisin durumunu gösterir; asistanı kullanma yetkiniz olup olmamasına bakmaz.
  • Yetki. Ekranı Yapay zekâ sağlayıcı ayarlarını yönetme yetkisi açar; asistanı kullanmak ayrı bir yetkidir (Yönetici asistanına soru sorma).

Not: Bu ekran ücret hesaplamaz; yalnız soru, oran, süre ve token sayılarını gösterir.

İlgili sayfalar