Tahmin Modeli Kalibrasyonu: "%75" Dediğinde Gerçekten %75 mi?

Bir tahmin modelini değerlendirmenin en yaygın yolu isabet oranına bakmaktır. Ama bu tek başına yanıltıcıdır. Asıl soru şudur: model "%75" dediğinde, o tahminlerin gerçekten %75'i tutuyor mu? Bu ölçüye kalibrasyon denir.

İki farklı beceri

Bir model iki ayrı konuda iyi ya da kötü olabilir. Birincisi ayırt etme: doğru sonucu diğerlerinden ayırabiliyor mu? İkincisi kalibrasyon: verdiği olasılıklar gerçek sıklıklarla örtüşüyor mu? Bir model kimin kazanacağını iyi bilip yine de sürekli fazla iddialı konuşuyor olabilir.

Kalibrasyon nasıl ölçülür?

Tahminler güven bantlarına ayrılır: %50-59, %60-69, %70-79, %80+. Her bant için gerçek isabet oranı hesaplanır. İyi kalibre edilmiş bir modelde %70-79 bandındaki tahminlerin yaklaşık %74'ü tutar. Gerçek oran belirgin biçimde düşükse model fazla iddialıdır; belirgin biçimde yüksekse gereğinden fazla temkinlidir.

Fazla iddialılığın kaynağı: küçük örneklem

Modeller genellikle az veriyle çalışırken aşırı güvenli konuşur. Sezonun 3. haftasında bir takımın gol ortalaması neredeyse tesadüftür, ama model onu gerçek bir güç farkı sanabilir. Çözüm küçülmedir: güç oranları, örneklem büyüdükçe artan bir ağırlıkla lig ortalamasına doğru çekilir.

Kendini düzelten model

Kalibrasyon verisi biriktikçe model kendi çıktısını düzeltebilir. Tahminden, her pazar (maç sonucu, alt/üst, karşılıklı gol) ve her lig için ayrı kalibrasyon tablosu tutar; ham olasılık ile o bandın gerçek isabet oranını harmanlayarak nihai güven skorunu üretir. Bir bantta en az 15 sonuç birikmeden bu düzeltme devreye girmez.

Şeffaflığın anlamı

Tutmayan tahminleri göstermeyen bir karne, karne değildir. Bir modelin değeri hatalarını ölçebilmesiyle başlar. Tahminden'in karne bölümünde her maç, her pazar ve tuttu/tutmadı bilgisi açıkça yer alır.

← Tüm yazılar