a jak te metryki mają się do accuracy?
- User
a jak te metryki mają się do accuracy?
Assistant
Accuracy (dokładność) to najprostsza metryka - pokazuje ogólny procent poprawnych przewidywań, ale może być myląca. Wyjaśnię to na przykładach:
Accuracy vs Precision/Recall
Wzór na accuracy:
Accuracy = (TP + TN) / (TP + TN + FP + FN)gdzie:
- TP (True Positives) - poprawnie wykryte pozytywy
- TN (True Negatives) - poprawnie wykryte negatywy
- FP (False Positives) - błędne pozytywy
- FN (False Negatives) - przeoczone pozytywy
Przykład 1: Wykrywanie rzadkiej choroby
Mamy 1000 pacjentów, z czego tylko 10 jest chorych.
Model 1 (naiwny):
- Przewiduje "zdrowy" dla wszystkich
- Accuracy = 990/1000 = 99%
- Precision = 0% (nie wykrył żadnego chorego)
- Recall = 0% (nie wykrył żadnego chorego)
Model 2 (lepszy):
- Wykrył 8 chorych, ale wskazał też 2 zdrowych jako chorych
- Accuracy = (8 + 988)/1000 = 99.6%
- Precision = 8/(8+2) = 80%
- Recall = 8/10 = 80%
Mimo że różnica w accuracy jest minimalna (0.6%), drugi model jest znacznie lepszy!
Kiedy accuracy zawodzi?
- Niezbalansowane klasy (jak w przykładzie wyżej)
- Różne koszty błędów (np. przeoczenie choroby vs niepotrzebne badania)
Praktyczne zastosowanie:
1. Wykrywanie spamu:
- Accuracy = 98% (brzmi świetnie!)
- Ale jeśli spam to tylko 2% maili:
- Model może po prostu oznaczać wszystko jako "nie-spam"
- Precision i recall = 0% dla spamu
2. Wykrywanie oszustw bankowych:
- Accuracy = 99.9%
- Ale jeśli oszustwa to 0.1% transakcji:
- Model może przeoczyć wszystkie oszustwa
- Potrzebujemy wysokiego recall dla oszustw
Podsumowanie:
- Accuracy - dobra dla zbalansowanych danych
- Precision/Recall - lepsze dla niezbalansowanych danych
- F1-score (średnia harmoniczna precision i recall) - często używany kompromis
Dlatego zawsze warto patrzeć na wszystkie metryki i rozumieć kontekst problemu!
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.