F1 Skoru Nedir?
F1 skoru, precision (kesinlik) ve recall (duyarlılık) değerlerini tek bir sayıda birleştiren bir metriktir. Bu özelliğiyle makine öğrenmesi, bilgi erişimi (information retrieval) ve istatistik alanlarında sınıflandırma modellerini değerlendirmek için sıkça tercih edilir. F1; precision ile recall'un harmonik ortalaması olduğu için, yalnızca birinde başarılı olan değil, ikisini de dengeleyen modelleri ödüllendirir.
Hesaplama Aracı Nasıl Kullanılır?
Karmaşıklık matrisinizden (confusion matrix) üç değeri girin: True Positive (TP, doğru tahmin edilen pozitifler), False Positive (FP, yanlışlıkla pozitif tahmin edilen negatifler) ve False Negative (FN, kaçırılan pozitifler). Araç, precision, recall ve bunlara bağlı F1 skorunu anında hesaplar.
Formül Açıklaması
Precision = \(\frac{\text{TP}}{\text{TP} + \text{FP}}\), pozitif tahminlerin ne kadarının doğru olduğunu gösterir. Recall = \(\frac{\text{TP}}{\text{TP} + \text{FN}}\) ise gerçek pozitiflerin ne kadarının yakalandığını ölçer. F1 skoru da şöyle hesaplanır:
$$F_1 = \frac{2 \cdot (\text{precision} \cdot \text{recall})}{\text{precision} + \text{recall}}$$Harmonik ortalama olduğu için, precision veya recall'dan herhangi birinin düşük olması F1 skorunu belirgin biçimde aşağı çeker.
Örnek Hesaplama
Diyelim ki \(\text{TP} = 70\), \(\text{FP} = 30\), \(\text{FN} = 10\) olsun. Precision = \(\frac{70}{100} = 0{,}70\). Recall = \(\frac{70}{80} = 0{,}875\).
$$F_1 = \frac{2 \cdot (0{,}70 \cdot 0{,}875)}{0{,}70 + 0{,}875} = \frac{2 \cdot 0{,}6125}{1{,}575} \approx 0{,}7778$$yani yaklaşık %77,78 olur.
Farklı Kesinlik ve Duyarlılık Senaryolarında F1 Skoru
F1, kesinlik ve duyarlılığın harmonik ortalamasıdır: \(F_1 = \frac{2PR}{P+R}\). Tablo, birkaç kesinlik (P) ve duyarlılık (R) çifti için bunu basit aritmetik ortalama ile karşılaştırmaktadır.
| Kesinlik | Duyarlılık | Aritmetik Ortalama | F1 |
|---|---|---|---|
| 0.90 | 0.90 | 0.900 | 0.900 |
| 0.99 | 0.50 | 0.745 | ≈ 0.664 |
| 0.80 | 0.60 | 0.700 | ≈ 0.686 |
| 1.00 | 0.10 | 0.550 | ≈ 0.182 |
| 0.50 | 0.50 | 0.500 | 0.500 |
0.80/0.60 satırı, örneğin TP = 60, FP = 15, FN = 40 değerlerine karşılık gelir: kesinlik = 60/75 = 0.80, duyarlılık = 60/100 = 0.60 ve \(F_1 = \frac{2 \cdot 60}{2 \cdot 60 + 15 + 40} = \frac{120}{175} \approx 0.686\).
Not: F1, her zaman aritmetik ortalamaya kıyasla iki değerin daha küçüğüne daha yakındır. Kesinlik ve duyarlılık eşit olduğunda F1, ikisine de eşittir. İki değer birbirinden ne kadar farklıysa F1, o kadar zayıf olan değere doğru çekilir; dolayısıyla bir model, mükemmel kesinlik arkasına zayıf duyarlılığı (ya da tersini) gizleyemez.
Karışıklık Matrisi Terimleri ve İlgili Metrikler
- Gerçek Pozitif (TP): modelin doğru şekilde pozitif olarak tahmin ettiği pozitif bir durum.
- Yanlış Pozitif (FP): yanlış şekilde pozitif olarak tahmin edilen negatif bir durum (yanlış alarm, Tip I hata).
- Yanlış Negatif (FN): yanlış şekilde negatif olarak tahmin edilen pozitif bir durum (kaçırma, Tip II hata).
- Gerçek Negatif (TN): doğru şekilde negatif olarak tahmin edilen negatif bir durum. TN, F1 formülünde kullanılmaz.
- Kesinlik (pozitif öngörü değeri): \(\frac{TP}{TP + FP}\), pozitif olarak tahmin edilenlerin gerçekte pozitif olan oranı.
- Duyarlılık (hassasiyet, gerçek pozitif oranı): \(\frac{TP}{TP + FN}\), gerçek pozitiflerin modelin bulduğu oran.
- Doğruluk: \(\frac{TP + TN}{TP + TN + FP + FN}\), tüm tahminlerin doğru olan oranı. Dengesiz verilerde yanıltıcı olabilir.
- Özgüllük (gerçek negatif oranı): \(\frac{TN}{TN + FP}\), gerçek negatiflerin doğru tanımlanma oranı.
- F-beta skoru: \(F_\beta = \frac{(1+\beta^2) PR}{\beta^2 P + R}\). F1, \(\beta = 1\) durumudur. F2 (\(\beta = 2\)) duyarlılığa daha fazla ağırlık verir; F0.5 (\(\beta = 0.5\)) kesinliğe daha fazla ağırlık verir.
- Makro ortalama: her sınıf için F1 hesaplanır ve ağırlıksız ortalama alınır; böylece her sınıf eşit sayılır.
- Mikro ortalama: tüm sınıflardaki TP, FP ve FN değerleri birleştirilir ve tek bir F1 hesaplanır; dolayısıyla sık görülen sınıflar baskın olur.
- Ağırlıklı ortalama: sınıf başına F1 skorları, her sınıfın gerçek örnek sayısına (destek) göre ağırlıklandırılarak ortalaması alınır.
F1 Skorunuzu Yorumlamak
F1, 0 (gerçek pozitif yok) ile 1 (yanlış pozitif ve yanlış negatif yok) arasında değişir. Kaba, gayriresmi bir rehber olarak:
- Yaklaşık 0 ila 0.5: zayıf
- 0.5 ila 0.7: orta
- 0.7 ila 0.9: iyi
- 0.9 üzeri: çok güçlü
Bu aralıklar bağlama bağlıdır ve evrensel bir standart yoktur. Gürültülü etiketlerle nadir olay tespiti gibi zor bir görev için 0.6 F1 mükemmel olabilirken, güvenlik kritik bir ortamda 0.95 yetersiz kalabilir.
Kesinlik ile duyarlılık arasındaki fark ne anlama gelir
- Düşük kesinlik, daha yüksek duyarlılık: model pozitiflerin çoğunu bulur ancak birçok yanlış alarm üretir.
- Düşük duyarlılık, daha yüksek kesinlik: modelin pozitif tahminleri güvenilirdir, ancak birçok gerçek pozitifi kaçırır.
Yalnızca F1'e güvenmek yerine her iki değeri de kontrol edin; çünkü aynı F1, çok farklı kesinlik/duyarlılık kombinasyonlarından gelebilir.
Akılda tutulması gereken sınırlamalar
- F1, gerçek negatifleri yok sayar; bu nedenle modelin negatif sınıfı ne kadar iyi ele aldığı hakkında bir şey söylemez.
- Sınıf dengesine bağlıdır. Aynı model, farklı pozitif oranlara sahip veri kümelerinde farklı skorlar alabilir.
- Karar eşiğine bağlıdır. Eşiği değiştirmek kesinlik ile duyarlılık arasında denge kurar ve F1'i değiştirir.
- Skorun gerçek bir iyileştirme olup olmadığını değerlendirmek için her zaman bir temel ile karşılaştırın; örneğin çoğunluk sınıfı ya da her zaman pozitif tahmin eden bir model veya basit mevcut bir model.
Sıkça Sorulan Sorular
F1 skorunu doğruluk (accuracy) yerine ne zaman kullanmalıyım? Sınıflar dengesiz olduğunda F1 tercih edilir; çünkü bir sınıf baskın olduğunda doğruluk değeri yanıltıcı şekilde yüksek çıkabilir.
İyi bir F1 skoru nedir? F1 skoru 0 ile 1 arasında değişir; 1'e yaklaştıkça daha iyidir. Neyin "iyi" sayılacağı göreve göre değişse de, 0,8'in üzerindeki değerler genellikle güçlü kabul edilir.
Neden harmonik ortalama kullanılır? Harmonik ortalama, precision ile recall arasındaki aşırı dengesizlikleri basit bir ortalamaya kıyasla daha sert cezalandırır; böylece her iki değerin de makul ölçüde yüksek olması gerekir.