Macierz pomyłek

Macierz pomyłek to narzędzie stosowane w uczeniu maszynowym do oceny wydajności modelu klasyfikacyjnego. Jest to specyficzny układ tabelaryczny umożliwiający wizualizację działania algorytmu, zazwyczaj nadzorowanego. W macierzy pomyłek każdy wiersz odpowiada przypadkom rzeczywistej klasy, a każda kolumna — przewidywanej klasie. Ta macierz jest szczególnie przydatna do zrozumienia trafnych pozytywnych, trafnych negatywnych, fałszywych pozytywnych i fałszywych negatywnych przewidywań modelu.

Macierz pomyłek dostarcza rozkładu wyników klasyfikacji według klas, co pozwala na bardziej kompleksową ocenę działania modelu i daje wgląd w miejsca, w których model popełnia błędy. W przeciwieństwie do prostej dokładności, która może być myląca w niezrównoważonych zbiorach danych, macierz pomyłek oferuje bardziej szczegółowy obraz wydajności modelu.

Składowe macierzy pomyłek

1. True Positive (TP): Przypadki, w których model poprawnie przewidział klasę pozytywną. Na przykład w teście wykrywającym chorobę, trafny pozytyw to sytuacja, gdy test prawidłowo wskazuje chorego pacjenta.
2. True Negative (TN): Przypadki, w których model poprawnie przewidział klasę negatywną. Na przykład test prawidłowo rozpoznaje zdrową osobę jako niechorą.
3. False Positive (FP): Przypadki, w których model błędnie przewidział klasę pozytywną. W przykładzie testu choroby byłaby to zdrowa osoba błędnie zidentyfikowana jako chora (błąd typu I).
4. False Negative (FN): Przypadki, w których model błędnie przewidział klasę negatywną. W naszym przykładzie byłby to chory błędnie uznany za zdrowego (błąd typu II).

Znaczenie macierzy pomyłek

Macierz pomyłek daje pełniejszy obraz działania modelu niż sama dokładność. Pozwala zidentyfikować, czy model myli dwie klasy, co jest szczególnie ważne w przypadkach niezrównoważonych zbiorów danych, gdzie jedna klasa znacząco przeważa nad drugą. Jest niezbędna do obliczania innych ważnych metryk, takich jak precyzja, czułość i F1 score.

Macierz pomyłek umożliwia nie tylko obliczenie dokładności klasyfikatora (globalnej lub dla poszczególnych klas), ale także innych ważnych miar używanych przez twórców do oceny swoich modeli. Ułatwia również porównanie mocnych i słabych stron różnych klasyfikatorów.

Kluczowe metryki wyliczane z macierzy pomyłek

• Accuracy (Dokładność): Stosunek poprawnych przewidywań (trafnych pozytywów i trafnych negatywów) do wszystkich przypadków. Dokładność daje ogólne pojęcie o wydajności modelu, ale może być myląca przy niezrównoważonych danych.

• Precision (Precyzja): Stosunek trafnych pozytywnych przewidywań do wszystkich przewidzianych jako pozytywne. Precyzja jest kluczowa, gdy koszt fałszywego pozytywu jest wysoki.

  $$ \text{Precision} = \frac{TP}{TP + FP} $$

• Recall (Czułość): Stosunek trafnych pozytywnych przewidywań do wszystkich rzeczywistych pozytywów. Czułość jest ważna, gdy koszt przeoczenia pozytywnego przypadku jest wysoki.

  $$ \text{Recall} = \frac{TP}{TP + FN} $$

• F1 Score: Średnia harmoniczna precyzji i czułości. F1 balance’uje obie metryki i jest użyteczna, gdy zarówno fałszywe pozytywy, jak i negatywy mają znaczenie.

  $$ \text{F1 Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} $$

• Specificity (Swoistość): Stosunek trafnych negatywnych przewidywań do wszystkich rzeczywistych negatywów. Swoistość jest istotna, gdy skupiamy się na poprawnym rozpoznaniu klasy negatywnej.

  $$ \text{Specificity} = \frac{TN}{TN + FP} $$

Przykłady zastosowania macierzy pomyłek

1. Diagnoza medyczna: W przypadkach takich jak wykrywanie chorób, gdzie kluczowe jest wychwycenie wszystkich przypadków choroby (wysoka czułość), nawet jeśli oznacza to, że kilka zdrowych osób zostanie błędnie uznanych za chore (niższa precyzja).
2. Wykrywanie spamu: Gdy ważne jest minimalizowanie fałszywych pozytywów (niespamowe e-maile oznaczone jako spam).
3. Wykrywanie oszustw: W transakcjach finansowych, gdzie przeoczenie oszukańczej transakcji (fałszywy negatyw) może być bardziej kosztowne niż błędne oznaczenie legalnej transakcji jako oszukańczej (fałszywy pozytyw).
4. Rozpoznawanie obrazów: Na przykład rozpoznawanie różnych gatunków zwierząt na zdjęciach, gdzie każda klasa to inny gatunek.

Macierz pomyłek w klasyfikacji wieloklasowej

W klasyfikacji wieloklasowej macierz pomyłek rozszerza się do macierzy N x N, gdzie N to liczba klas. Każda komórka macierzy wskazuje liczbę przypadków, gdzie rzeczywista klasa to wiersz, a przewidywana to kolumna. Rozszerzenie to pozwala zrozumieć błędy klasyfikacji pomiędzy wieloma klasami.

Implementacja macierzy pomyłek w Pythonie

Narzędzia takie jak scikit-learn w Pythonie udostępniają funkcje takie jak confusion_matrix() i classification_report(), które umożliwiają łatwe obliczanie i wizualizację macierzy pomyłek. Oto przykład utworzenia macierzy pomyłek dla problemu klasyfikacji binarnej:

from sklearn.metrics import confusion_matrix, classification_report

# Wartości rzeczywiste i przewidywane
actual = ['Dog', 'Dog', 'Cat', 'Dog', 'Cat']
predicted = ['Dog', 'Cat', 'Cat', 'Dog', 'Cat']

# Generowanie macierzy pomyłek
cm = confusion_matrix(actual, predicted, labels=['Dog', 'Cat'])

# Wyświetlenie macierzy pomyłek
print(cm)

# Generowanie raportu klasyfikacji
print(classification_report(actual, predicted))

Badania

1. Integracja Edge-AI w monitoringu stanu konstrukcji
   W badaniu Anoop Mishra i in. (2023) autorzy analizują integrację edge-AI w monitoringu stanu konstrukcji (SHM) do inspekcji mostów w czasie rzeczywistym. Proponują ramy edge AI i opracowują kompatybilny model głębokiego uczenia do klasyfikacji pęknięć w czasie rzeczywistym. Skuteczność modelu oceniana jest m.in. przez dokładność i macierz pomyłek, co pomaga w ocenie wniosków i podejmowaniu decyzji na miejscu.
   Czytaj więcej

2. CodeCipher: Nauka zaciemniania kodu źródłowego przed LLM
   W badaniu z 2024 roku Yalan Lin i in. autorzy podejmują temat prywatności w zadaniach kodowania wspomaganych przez AI. Przedstawiają CodeCipher — metodę zaciemniania kodu źródłowego przy zachowaniu wydajności modeli AI. Badanie wprowadza strategię mapowania zamieszania tokenów, będącą nowatorskim zastosowaniem pojęcia zamieszania (confusion), choć nie bezpośrednio macierzy pomyłek, w ochronie prywatności bez pogorszenia skuteczności zadań AI.
   Czytaj więcej

3. Czy sieci CNN potrafią dokładnie rozpoznawać ludzkie emocje? Badanie głębokiego uczenia w rozpoznawaniu wyrazu twarzy
   W badaniu z 2023 roku Ashley Jisue Hong i in. analizują zdolność konwolucyjnych sieci neuronowych (CNN) do klasyfikowania ludzkich emocji na podstawie rozpoznawania twarzy. W pracy wykorzystano macierze pomyłek do oceny skuteczności CNN w rozpoznawaniu emocji jako pozytywnych, neutralnych lub negatywnych, dostarczając wglądu w działanie modelu wykraczającego poza podstawową dokładność. Macierz pomyłek odgrywa kluczową rolę w analizie współczynników błędnej klasyfikacji i zrozumieniu zachowania modelu dla różnych klas emocji.
   Czytaj więcej

Te artykuły podkreślają szerokie zastosowanie i znaczenie macierzy pomyłek w AI — od podejmowania decyzji w czasie rzeczywistym w monitoringu konstrukcji, przez ochronę prywatności w kodowaniu, po klasyfikację emocji w rozpoznawaniu twarzy.