Skip to content
TheChatArchiveThe Chat Archive
Claudeclaude-3-5-sonnet-20241022· AnthropicHugging Face LMArena Human Preference 140K

a jak te metryki mają się do accuracy?

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Geminigemini-2.0-flash-001’s answer.
  1. User

    a jak te metryki mają się do accuracy?

  2. Claude Assistant

    Accuracy (dokładność) to najprostsza metryka - pokazuje ogólny procent poprawnych przewidywań, ale może być myląca. Wyjaśnię to na przykładach:

    Accuracy vs Precision/Recall

    Wzór na accuracy:

    Accuracy = (TP + TN) / (TP + TN + FP + FN)
    

    gdzie:

    • TP (True Positives) - poprawnie wykryte pozytywy
    • TN (True Negatives) - poprawnie wykryte negatywy
    • FP (False Positives) - błędne pozytywy
    • FN (False Negatives) - przeoczone pozytywy

    Przykład 1: Wykrywanie rzadkiej choroby

    Mamy 1000 pacjentów, z czego tylko 10 jest chorych.

    Model 1 (naiwny):

    • Przewiduje "zdrowy" dla wszystkich
    • Accuracy = 990/1000 = 99%
    • Precision = 0% (nie wykrył żadnego chorego)
    • Recall = 0% (nie wykrył żadnego chorego)

    Model 2 (lepszy):

    • Wykrył 8 chorych, ale wskazał też 2 zdrowych jako chorych
    • Accuracy = (8 + 988)/1000 = 99.6%
    • Precision = 8/(8+2) = 80%
    • Recall = 8/10 = 80%

    Mimo że różnica w accuracy jest minimalna (0.6%), drugi model jest znacznie lepszy!

    Kiedy accuracy zawodzi?

    1. Niezbalansowane klasy (jak w przykładzie wyżej)
    2. Różne koszty błędów (np. przeoczenie choroby vs niepotrzebne badania)

    Praktyczne zastosowanie:

    1. Wykrywanie spamu:

    • Accuracy = 98% (brzmi świetnie!)
    • Ale jeśli spam to tylko 2% maili:
      • Model może po prostu oznaczać wszystko jako "nie-spam"
      • Precision i recall = 0% dla spamu

    2. Wykrywanie oszustw bankowych:

    • Accuracy = 99.9%
    • Ale jeśli oszustwa to 0.1% transakcji:
      • Model może przeoczyć wszystkie oszustwa
      • Potrzebujemy wysokiego recall dla oszustw

    Podsumowanie:

    • Accuracy - dobra dla zbalansowanych danych
    • Precision/Recall - lepsze dla niezbalansowanych danych
    • F1-score (średnia harmoniczna precision i recall) - często używany kompromis

    Dlatego zawsze warto patrzeć na wszystkie metryki i rozumieć kontekst problemu!

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.