Maliyet işlevleri ile değerlendirme ölçümleri karşılaştırması
Son birkaç ünitede, modeli ve değerlendirme ölçümlerini öğreten maliyet işlevlerinde bir bölünme görmeye başladık. Bu da modeli değerlendirme yöntemimizdir.
Tüm maliyet işlevleri değerlendirme ölçümleri olabilir
Tüm maliyet işlevleri, sezgisel ölçümler olmasa da değerlendirme ölçümleri olabilir. Örneğin günlük kaybı: değerler sezgisel değildir.
Bazı değerlendirme ölçümleri maliyet işlevleri olamaz
- Bazı değerlendirme ölçümlerinin maliyet işlevlerine dönüşme durumu zordur
- Bunun nedeni pratik ve matematiksel kısıtlamalardır
- Bazen öğeleri hesaplamak kolay değildir (örneğin, "bir şeyin nasıl köpek gibi olduğu")
- Maliyet işlevleri ideal olarak sorunsuz bir şekilde çalışır. Örneğin doğruluk yararlıdır, ancak modelimizi biraz değiştirirsek fark etmez. Bu uyumun çok sayıda küçük değişiklik içeren bir prosedür olduğu göz önüne alındığında, bu, değişikliklerin iyileştirmeye yol açmayacağı izlenimi verir.
- Çok sayıda düz bit içeren maliyet işlevi grafı
- Daha önceki ROC eğrilerinde yenileme. Bunun için eşiğin her tür değerle değiştirilmesi gerekir, ancak günün sonunda modelimizin yalnızca bir değeri (0,5) olacaktır
O kadar da kötü değil!
Sık kullanılan ölçümleri maliyet işlevi olarak kullanamamamız sinir bozucu olabilir. Bununla birlikte, tüm ölçümlerin elde etmek istediklerimizi basitleştirmesi ile ilgili olan bir avantaj vardır; Hiçbiri mükemmel değil. Bunun anlamı, karmaşık modellerin genellikle "hile" olmasıdır: sorunumuzu çözen genel bir kural bulmadan düşük maliyetler elde etmenin bir yolunu bulurlar. Maliyet işlevi olarak çalışmayan bir ölçüme sahip olmak, modelin hile yapmak için bir yol bulamadığını belirten bir "akıl sağlığı denetimi" sağlar. Bir modelin kısayollar aldığını biliyorsak eğitim stratejimizi yeniden düşünebiliriz.
Bu "hileyi" birkaç kez gördük. Örneğin, modeller eğitim verilerine büyük ölçüde fazla uygun olduğunda, diğer verilere başarıyla uygulayabileceğiniz genel bir kural bulmak yerine temelde doğru yanıtları "ezberler". Modelin bunu henüz yapmamış olup olmadığını denetlemek için "akıllılık denetimi" olarak test veri kümelerini kullanırız. Ayrıca, dengesiz verilerle modellerin özelliklere bakmadan her zaman aynı yanıtı vermeyi ("yanlış" gibi) öğrenebildiğini de gördük, çünkü ortalama olarak bu doğru ve küçük bir hata veriyor.
Karmaşık modeller kısayolları başka yollarla da bulur. Karmaşık modeller bazen maliyet işlevinin kendisini aşırı sığdırabilir. Örneğin, köpek çizebilen bir model oluşturmaya çalıştığımızı düşünün. Görüntünün kahverengi olup olmadığını denetleen, kürklü bir doku gösteren ve doğru boyutta bir nesne içeren bir maliyet işlevimiz var. Bu maliyet işleviyle karmaşık bir model, köpek gibi göründüğü için değil, düşük maliyet verdiği ve kolayca üretildiği için kahverengi bir kürk topu oluşturmayı öğrenebilir. Bacak ve kafa sayısını sayan bir dış ölçümümüz varsa (bunlar sorunsuz ölçümler olmadığından maliyet işlevi olarak kolayca kullanılamaz) modelimizin hile yapıp yapmadığını hemen fark eder ve modeli nasıl eğittiğimizi yeniden düşünüriz. Buna karşılık, alternatif ölçümümüz iyi puanlarsa, modelin maliyet işlevini düşük bir değer elde etmesi için kandırmak yerine bir köpeğin nasıl görünmesi gerektiği fikrini kavramış olduğuna güvenebiliriz.