Genie alanında karşılaştırmaları kullanma

Bu makalede Genie alanınızın doğruluğunu değerlendirmek için karşılaştırmaların nasıl kullanılacağı açıklanmaktadır.

Karşılaştırmalar, Genie'nin genel yanıt doğruluğunu değerlendirmek için çalıştırabileceğiniz bir dizi test sorusu oluşturmanıza olanak sağlar. En sık sorulan kullanıcı sorularını kapsayan iyi tasarlanmış bir karşılaştırma kümesi, genie alanınızı daralttıkça doğruluğunu değerlendirmenize yardımcı olur.

Karşılaştırma soruları ekleme

Karşılaştırma soruları, kullanıcılarınızın sordığı yaygın soruları ifade etmenin farklı yollarını yansıtmalıdır. Genie'nin söz konusu ifadelerdeki çeşitlemelere veya farklı soru biçimlerine verdiği yanıtı denetlemek için bunları kullanabilirsiniz.

Karşılaştırma sorusu oluştururken, isteğe bağlı olarak sonuç kümesi doğru yanıt olan bir SQL sorgusu ekleyebilirsiniz. Karşılaştırma çalıştırmaları sırasında doğruluk, SQL sorgunuzdaki sonuç kümesi Genie tarafından oluşturulan sorguyla karşılaştırılarak değerlendirilir.

Karşılaştırma sorusu eklemek için aşağıdaki adımları uygulayın:

1. Genie alanında sol kenar çubuğundaki öğesine tıklayın.

2. Sorular sekmesine tıklayın. Ardından Karşılaştırma ekle'ye tıklayın.

3. Soru alanına test etmek için bir karşılaştırma sorusu girin.

4. (İsteğe bağlı) Girdiğiniz soruyu doğru yanıtlayan SQL deyimini girin.

   Not

   Bu adım önerilir. Yalnızca bu örnek SQL deyimini içeren sorular doğruluk açısından otomatik olarak değerlendirilebilir. SQL Yanıtı içermeyen tüm soruların puanlanması için el ile gözden geçirme gerekir.

5. (İsteğe bağlı) Sorgunuzu çalıştırmak ve sonuçları görüntülemek için Önizleme'ye tıklayın.

6. Düzenlemeyi bitirdiğinizde Karşılaştırma ekle'ye tıklayın.

7. Bir soruyu kaydettikten sonra güncelleştirmek için, soruyu güncelleştir iletişim kutusunu açmak için kalem simgesine tıklayın.

Alternatif soru ifadelerini test etmek için karşılaştırmaları kullanma

Genie alanınızın doğruluğunu değerlendirirken testleri gerçekçi senaryoları yansıtacak şekilde yapılandırmak önemlidir. Kullanıcılar aynı soruyu farklı şekillerde sorabilir. Databricks, doğruluğu tam olarak değerlendirmek için aynı sorunun birden çok tümcesini eklemeyi ve karşılaştırma testlerinizde aynı örnek SQL'i kullanmanızı önerir. Genie alanlarının çoğu aynı sorunun 2 - 4 tümcesini içermelidir.

Karşılaştırma sorularını çalıştırma

Genie alanında en az CAN EDIT izinleri olan kullanıcılar, her zaman bir kıyaslama çalıştırması oluşturabilir ve bu da tüm karşılaştırma sorularını otomatik olarak değerlendirir. Her kıyaslama sorusunu değerlendirmek için önce soruyu Genie'ye göndereceğiz, ardından Genie sonuçlarını karşılaştırma karşılaştırması yapacağız. Her karşılaştırmaya aşağıdaki etiketlerden biri uygulanır:

• İyi: Genie tarafından oluşturulan sorgu sonucu sağlanan SQL Yanıtından elde edilen sonuçlarla eşleştiğinde yanıtlar bu etiketle işaretlenir. Yanıt İyi olarak işaretlendiğinde, sıralama düzeni veya sütun adlarından bağımsız olarak satır değerlerinin tam olarak eşleştiği anlamına gelir.
• Gözden geçirilmesi gerekiyor: Genie doğruluğu değerlendiremediğinde veya Genie tarafından oluşturulan sorgu sonuçları sağlanan SQL Yanıtından alınan sonuçlarla eşleşmediğinde yanıtlar bu etiketle işaretlenir. Oluşturulan yanıtta veya sağlanan SQL yanıtında tablo boyutlarında beklenmeyen değişiklikler varsa, soru gözden geçirilmek üzere işaretlenebilir. SQL Yanıtı içermeyen karşılaştırma soruları el ile gözden geçirilmelidir.
• Hatalı: Yanıtlar hiçbir zaman otomatik olarak Hatalı olarak etiketlenmemiştir. Genie tarafından oluşturulan sorgu sonuçları, sağlanan SQL Yanıtından alınan sonuç kümesiyle eşleşmiyorsa, soru Gözden geçirme gerekiyor olarak işaretlenir. Bu karşılaştırmaları gözden geçirirken Genie'nin oluşturduğu sorgu sonuçlarının soruyu yanıtlamadığını düşünüyorsanız bir sonucu Hatalı olarak işaretleyebilirsiniz.

Tüm karşılaştırma sorularını çalıştırmak için:

1. Ekranın sol tarafındaki Genie boşluk kenar çubuğunda Karşılaştırmalar'a tıklayın .
2. Test çalıştırmasını başlatmak için Karşılaştırmaları çalıştır'a tıklayın.

Erişim karşılaştırması değerlendirmeleri

Genie alanınızdaki doğruluğu zaman içinde izlemek için tüm kıyaslama değerlendirmelerinize erişebilirsiniz. Genie alanında sol kenar çubuğundaki öğesine tıkladığınızda Değerlendirmeler sekmesinde zaman damgalı değerlendirme çalıştırmaları listesi görüntülenir. Değerlendirme çalıştırması bulunamazsa bkz. Karşılaştırma soruları ekleme veya Karşılaştırma soruları çalıştırma.

Değerlendirmeler sekmesi, follwong kategorilerinde bildirilen değerlendirmelere ve performanslarına genel bir bakış sunar:

Değerlendirme adı: Değerlendirme çalıştırmalarının ne zaman gerçekleştiğini gösteren zaman damgası. Bu değerlendirmenin ayrıntılarını görmek için zaman damgasına tıklayın. Yürütme durumu: Değerlendirmenin tamamlandığını, duraklatıldığını veya başarısız olduğunu gösterir. Değerlendirme çalıştırması önceden tanımlanmış SQL yanıtları olmayan karşılaştırma soruları içeriyorsa, bu sütunda gözden geçirilmeye işaretlenir. Doğruluk: Tüm karşılaştırma sorularının doğruluğunun sayısal değerlendirmesi. El ile gözden geçirme gerektiren değerlendirme çalıştırmaları için doğruluk ölçüsü ancak bu sorular gözden geçirildikten sonra görüntülenir. Oluşturan: Değerlendirmeyi çalıştıran kullanıcının adını gösterir.

Bireysel değerlendirmeleri gözden geçirme

Her yanıta ayrıntılı bir bakış elde etmek için bireysel değerlendirmeleri gözden geçirebilirsiniz. Herhangi bir soru için değerlendirmeyi düzenleyebilir ve el ile gözden geçirilmesi gereken tüm öğeleri güncelleştirebilirsiniz.

Bireysel değerlendirmeleri gözden geçirmek için:

1. Ekranın sol tarafındaki Genie boşluk kenar çubuğunda Karşılaştırmalar'a tıklayın .

2. Bu test çalıştırmasının ayrıntılı bir görünümünü açmak için Değerlendirme adı sütunundaki herhangi bir değerlendirmenin zaman damgasına tıklayın.

   

3. İlişkili ayrıntıları görmek için ekranın sol tarafındaki bir soruya tıklayın. Sonraki adımları gerçekleştirmek için değerlendirme ayrıntı ekranını kullanın.

4. Model çıkış yanıtını Temel gerçeklik yanıtıyla gözden geçirin ve karşılaştırın.

   Not

   Bu yanıtların sonuçları bir hafta boyunca değerlendirme ayrıntılarında görünür. Bir hafta sonra sonuçlar artık görünmez. Oluşturulan SQL deyimi ve örnek SQL deyimi kalır.

5. Değerlendirmeyi düzenlemek için etikete tıklayın.

   Bu değerlendirme için doğru bir puan almak için her sonucu İyi veya Kötü olarak işaretleyin.