Tahmin Doğruluğunu Nasıl Ölçüyoruz? Kalibrasyon ve Dürüst Karne

Tahmin yayınlayan çoğu site tek bir sayı gösterir: isabet oranı. Bu sayı tek başına neredeyse hiçbir şey anlatmaz. Bir modelin %60 isabet etmesi iyi mi kötü mü, ancak hangi maçlarda ne kadar iddialı olduğunu bilirseniz cevaplanabilir.

İsabet oranı neden yetmez?

Yalnızca çok güvendiği maçlarda tahmin veren bir model yüksek isabet elde eder ama az sayıda maç kapsar. Her maça tahmin veren bir model daha düşük isabet gösterir, üstelik daha faydalı olabilir. İki modeli aynı sayıyla karşılaştırmak yanıltıcıdır.

Kalibrasyon: söylediğin oran, çıkan oran

Kalibrasyon, modelin verdiği olasılığın gerçekleşme oranıyla ne kadar örtüştüğüdür. Model %70 dediği maçların yaklaşık %70'i tutuyorsa model kalibredir. %70 dediklerinin %50'si tutuyorsa model kendine fazla güveniyordur; %85'i tutuyorsa fazla temkinlidir.

Bu yüzden doğruluk karnemizi güven bantlarına ayırarak yayınlıyoruz: %50-60 bandında ne dedik ne çıktı, %60-70 bandında ne dedik ne çıktı. Sapma puanı her bant için ayrı görünüyor.

Örneklem sayısı neden hep yazılı?

Yirmi maçlık bir örneklemde %65 isabet, iki bin maçlık örneklemde %65 isabetle aynı şey değildir. Küçük örneklemde şans payı büyüktür. Bu yüzden her oranın yanında kaç tahmin üzerinden hesaplandığı yazıyor — bağlamsız yüzde, yarım bilgidir.

Donmuş tahmin ilkesi

Bir maç için tahmin bir kez hesaplanır ve dondurulur. Maç sonrasında geriye dönük düzeltme yapılmaz. Aksi hâlde karne kendi kendini iyileştirir ve ölçüm anlamını yitirir.

Güncel karneyi Doğruluk ekranından her zaman görebilirsiniz — iyi giden bantlar da kötü gidenler de aynı yerde.

← Tüm yazılar