Önereni Değerlendirme

Bu makalede, Azure Machine Learning tasarımcısında Evaluate Recommender bileşeninin nasıl kullanılacağı açıklanmaktadır. Amaç, bir öneri modelinin yaptığı tahminlerin doğruluğunu ölçmektir. Bu bileşeni kullanarak farklı öneri türlerini değerlendirebilirsiniz:

• Kullanıcı ve öğe için tahmin edilen derecelendirmeler
• Kullanıcı için önerilen öğeler

Bir öneri modeli kullanarak tahmin oluşturduğunuzda, desteklenen bu tahmin türlerinin her biri için biraz farklı sonuçlar döndürülür. Evaluate Recommender bileşeni, puanlanan veri kümesinin sütun biçimindeki tahmin türünü gösterir. Örneğin, puanlanan veri kümesi şunları içerebilir:

• Kullanıcı öğesi derecelendirme üçlüleri
• Kullanıcılar ve önerilen öğeleri

Bileşen, yapılan tahmin türüne göre uygun performans ölçümlerini de uygular.

Evaluate Recommender'ı yapılandırma

Evaluate Recommender bileşeni, bir öneri modeli kullanarak tahmin çıkışını ilgili "temel gerçek" verilerle karşılaştırır. Örneğin Score SVD Recommender bileşeni, Evaluate Recommender kullanarak çözümleyebileceğiniz puanlanmış veri kümeleri oluşturur.

Gereksinimler

Evaluate Recommender, giriş olarak aşağıdaki veri kümelerini gerektirir.

Test veri kümesi

Test veri kümesi, "temel gerçek" verilerini kullanıcı-öğe derecelendirme üçlüleri biçiminde içerir.

Puanlanan veri kümesi

Puanlanan veri kümesi, öneri modelinin oluşturduğu tahminleri içerir.

Bu ikinci veri kümesindeki sütunlar, puanlama işlemi sırasında gerçekleştirdiğiniz tahmin türüne bağlıdır. Örneğin, puanlanan veri kümesi aşağıdakilerden birini içerebilir:

• Kullanıcının öğe için verme olasılığı olan kullanıcılar, öğeler ve derecelendirmeler
• Kullanıcılar ve bunlar için önerilen öğelerin listesi

Ölçümler

Modelin performans ölçümleri giriş türüne göre oluşturulur. Aşağıdaki bölümlerde ayrıntılar verebilirsiniz.

Tahmin edilen derecelendirmeleri değerlendirme

Tahmin edilen derecelendirmeleri değerlendirirken, puanlanan veri kümesi (Öneriyi Değerlendir'e ikinci giriş) şu gereksinimleri karşılayan kullanıcı öğesi derecelendirme üçlüleri içermelidir:

• Veri kümesinin ilk sütunu kullanıcı tanımlayıcılarını içerir.
• İkinci sütun öğe tanımlayıcılarını içerir.
• Üçüncü sütun, ilgili kullanıcı öğesi derecelendirmelerini içerir.

Evaluate Recommender, "temel gerçek" veri kümesindeki derecelendirmeleri puanlanan veri kümesinin tahmin edilen derecelendirmeleriyle karşılaştırır. Ardından ortalama mutlak hatayı (MAE) ve kök ortalama kare hatasını (RMSE) hesaplar.

Öğe önerilerini değerlendirme

Öğe önerilerini değerlendirirken, her kullanıcı için önerilen öğeleri içeren puanlanmış bir veri kümesi kullanın:

• Veri kümesinin ilk sütunu kullanıcı tanımlayıcısını içermelidir.
• Sonraki tüm sütunlar, bir öğenin kullanıcıya ne kadar uygun olduğuna göre sıralanmış, ilgili önerilen öğe tanımlayıcılarını içermelidir.

Bu veri kümesini bağlamadan önce, en ilgili öğelerin önce gelmesi için veri kümesini sıralamanızı öneririz.

Evaluate Recommender, ortalama normalleştirilmiş indirimli kümülatif kazancı (NDCG) hesaplar ve çıkış veri kümesinde döndürür.

Önerilen öğeler için gerçek "temel gerçeği" bilmek mümkün olmadığından, Evaluate Recommender test veri kümesindeki kullanıcı öğesi derecelendirmelerini NDCG'nin hesaplamasında kazanç olarak kullanır. Değerlendirme yapmak için, önerilen puanlama bileşeni yalnızca "temel gerçek" derecelendirmesine sahip öğeler için öneriler üretmelidir (test veri kümesinde).

Sonraki adımlar

Bkz. Azure Machine Learning için kullanılabilen bileşenler kümesi.