Maticová matice (Confusion Matrix)

Maticová matice je nástroj používaný ve strojovém učení k hodnocení výkonnosti klasifikačního modelu. Jedná se o specifické rozložení tabulky, které umožňuje vizualizaci výkonnosti algoritmu, obvykle dozorovaného učení. V maticové matici každý řádek tabulky představuje instance ve skutečné třídě, zatímco každý sloupec představuje instance v predikované třídě. Tato matice je obzvlášť užitečná pro pochopení skutečně pozitivních, skutečně negativních, falešně pozitivních a falešně negativních predikcí provedených modelem.

Maticová matice poskytuje rozdělení predikční výkonnosti modelu podle tříd. Toto uspořádání umožňuje komplexnější způsob hodnocení a nabízí vhled do toho, kde model může dělat chyby. Na rozdíl od prosté přesnosti, která může být klamavá u nevyvážených datových sad, maticová matice poskytuje nuancovanější pohled na výkonnost modelu.

Složky maticové matice

1. True Positive (TP): Případy, kdy model správně predikoval pozitivní třídu. Například při testu detekce nemoci je true positive případ, kdy test správně identifikuje pacienta s nemocí.
2. True Negative (TN): Případy, kdy model správně predikoval negativní třídu. Například test správně určí zdravého člověka jako zdravého.
3. False Positive (FP): Případy, kdy model nesprávně predikoval pozitivní třídu. V příkladu s testem na nemoc to znamená, že zdravý člověk je nesprávně označen jako nemocný (chyba I. druhu).
4. False Negative (FN): Případy, kdy model nesprávně predikoval negativní třídu. V našem příkladu je to nemocný člověk nesprávně označený jako zdravý (chyba II. druhu).

Význam maticové matice

Maticová matice poskytuje komplexnější pochopení výkonnosti modelu než prostá přesnost. Pomáhá identifikovat, zda si model plete dvě třídy, což je obzvlášť důležité u nevyvážených dat, kde jedna třída výrazně převyšuje druhou. Je zásadní pro výpočet dalších důležitých metrik jako jsou Precision, Recall a F1 skóre.

Maticová matice umožňuje nejen výpočet přesnosti klasifikátoru, ať už celkové, nebo po jednotlivých třídách, ale také pomáhá vypočítávat další důležité metriky, které vývojáři často používají k hodnocení svých modelů. Také pomáhá porovnat relativní silné a slabé stránky různých klasifikátorů.

Klíčové metriky odvozené z maticové matice

• Přesnost (Accuracy): Poměr správně předpovězených případů (tj. true positives i true negatives) k celkovému počtu případů. Přesnost dává obecnou představu o výkonnosti modelu, ale může být klamavá u nevyvážených dat.

• Precision (pozitivní prediktivní hodnota): Poměr správně pozitivních predikcí k celkovému počtu předpovězených pozitivních případů. Precision je klíčová tam, kde je chyba falešně pozitivního případu nákladná.

  $$ \text{Precision} = \frac{TP}{TP + FP} $$

• Recall (citlivost, true positive rate): Poměr správně pozitivních predikcí ke všem skutečně pozitivním případům. Recall je důležitý tam, kde je nákladné přehlédnout pozitivní případ.

  $$ \text{Recall} = \frac{TP}{TP + FN} $$

• F1 skóre: Harmonický průměr Precision a Recall. Poskytuje vyvážené zhodnocení obou metrik a je užitečný zejména tam, kde je potřeba zohlednit jak falešně pozitivní, tak falešně negativní výsledky.

  $$ \text{F1 Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} $$

• Specificity (true negative rate): Poměr správně negativních predikcí ke všem skutečně negativním případům. Specificity je důležitá, pokud je cílem správně identifikovat negativní třídu.

  $$ \text{Specificity} = \frac{TN}{TN + FP} $$

Příklady použití maticové matice

1. Lékařská diagnostika: Například při predikci nemocí, kde je zásadní identifikovat všechny případy nemoci (vysoký recall), i když to znamená, že někteří zdraví budou omylem označeni za nemocné (nižší precision).
2. Detekce spamu: Kde je důležité minimalizovat falešně pozitivní případy (tj. běžné e-maily nesprávně označené jako spam).
3. Detekce podvodů: U finančních transakcí, kde je přehlédnutí podvodné transakce (false negative) nákladnější než označení legitimní transakce za podezřelou (false positive).
4. Rozpoznávání obrázků: Například při rozpoznávání různých druhů zvířat na obrázcích, kde každé zvíře představuje jinou třídu.

Maticová matice u vícetřídní klasifikace

U vícetřídní klasifikace se maticová matice rozšiřuje na N x N matici, kde N je počet tříd. Každá buňka v matici udává počet případů, kdy skutečná třída odpovídá řádku a predikovaná třída sloupci. Toto rozšíření pomáhá porozumět chybám v rozpoznávání mezi více třídami.

Implementace maticové matice v Pythonu

Nástroje jako scikit-learn pro Python poskytují funkce jako confusion_matrix() a classification_report() pro snadný výpočet a vizualizaci maticové matice. Zde je příklad, jak vytvořit maticovou matici pro binární klasifikaci:

from sklearn.metrics import confusion_matrix, classification_report

# Skutečné a predikované hodnoty
actual = ['Dog', 'Dog', 'Cat', 'Dog', 'Cat']
predicted = ['Dog', 'Cat', 'Cat', 'Dog', 'Cat']

# Vygenerování maticové matice
cm = confusion_matrix(actual, predicted, labels=['Dog', 'Cat'])

# Zobrazení maticové matice
print(cm)

# Vygenerování přehledu klasifikace
print(classification_report(actual, predicted))

Studie

1. Integrace Edge-AI v oblasti monitorování stavební kondice
   Ve studii Anoop Mishra a kol. (2023) autoři zkoumají integraci edge-AI v oblasti monitorování stavební kondice (SHM) pro inspekce mostů v reálném čase. Studie navrhuje edge AI rámec a vyvíjí deep learning model kompatibilní s edge-AI pro klasifikaci trhlin v reálném čase. Účinnost modelu je hodnocena různými metrikami, včetně přesnosti a maticové matice, která pomáhá s vyhodnocením inferencí a rozhodování přímo na fyzických místech.
   Více zde

2. CodeCipher: Učení obfuskování zdrojového kódu proti LLM
   Ve studii z roku 2024 od Yalan Lin a kol. autoři řeší otázky soukromí u AI-asistované programátorské práce. Představují CodeCipher, metodu, která obfuskuje zdrojový kód při zachování výkonnosti AI modelu. Studie zavádí strategii mapování záměny tokenů, což je nová aplikace konceptu záměny (confusion), i když nejde přímo o maticovou matici, v ochraně soukromí bez zhoršení efektivity AI úloh.
   Více zde

3. Dokáží CNN přesně klasifikovat lidské emoce? Studie rozpoznávání výrazu obličeje pomocí hlubokého učení
   Ve studii z roku 2023 od Ashley Jisue Hong a kol. autoři zkoumají schopnost konvolučních neuronových sítí (CNN) klasifikovat lidské emoce na základě rozpoznávání obličeje. Studie využívá maticové matice k hodnocení přesnosti CNN při klasifikaci emocí jako pozitivních, neutrálních nebo negativních, což poskytuje vhled do výkonnosti modelu nad rámec základních měr přesnosti. Maticová matice zde hraje klíčovou roli v analýze míry záměny a pochopení chování modelu u různých tříd emocí.
   Více zde

Tyto články ukazují rozmanité aplikace a význam maticových matic v AI – od rozhodování v reálném čase při monitorování stavební kondice, přes ochranu soukromí v programování, až po klasifikaci emocí v rozpoznávání obličeje.