Plocha pod křivkou (AUC)

Plocha pod křivkou (AUC) je základní metrika ve strojovém učení používaná k hodnocení výkonnosti binárních klasifikačních modelů. Kvantifikuje celkovou schopnost modelu rozlišovat mezi pozitivními a negativními třídami výpočtem plochy pod křivkou ROC (Receiver Operating Characteristic). Křivka ROC je grafické znázornění, které ukazuje diagnostickou schopnost binárního klasifikátoru při různých nastaveních prahové hodnoty. Hodnoty AUC se pohybují v rozmezí od 0 do 1, přičemž vyšší AUC znamená lepší výkonnost modelu.

Křivka ROC (Receiver Operating Characteristic)

Křivka ROC je graf, který znázorňuje skutečnou pozitivní míru (TPR) vůči falešně pozitivní míře (FPR) při různých nastaveních prahu. Poskytuje vizuální pohled na výkon modelu napříč všemi možnými klasifikačními prahy a umožňuje identifikovat optimální práh pro vyvážení citlivosti a specificity.

Klíčové komponenty ROC:

• True Positive Rate (TPR): Také nazývaná senzitivita nebo recall, TPR se počítá jako TP / (TP + FN), kde TP jsou skutečně pozitivní případy a FN jsou falešně negativní případy.
• False Positive Rate (FPR): Počítá se jako FP / (FP + TN), kde FP jsou falešně pozitivní případy a TN jsou skutečně negativní případy.

Důležitost AUC

AUC je důležité, protože poskytuje jedno číselné shrnutí výkonnosti modelu napříč všemi prahy. Je zvláště užitečné pro porovnávání relativní výkonnosti různých modelů nebo klasifikátorů. AUC je odolné vůči nevyváženým třídám, což z něj dělá preferovanou metriku oproti přesnosti v mnoha situacích.

Interpretace AUC:

• AUC = 1: Model dokonale rozlišuje mezi pozitivními a negativními třídami.
• 0,5 < AUC < 1: Model má schopnost rozlišovat třídy lépe než náhodný tip.
• AUC = 0,5: Model není lepší než náhodné tipování.
• AUC < 0,5: Model je horší než náhodné tipování, což může naznačovat, že model zaměňuje třídy.

Matematický základ AUC

AUC vyjadřuje pravděpodobnost, že náhodně vybraný pozitivní případ bude model hodnocen výše než náhodně vybraný negativní případ. Matematicky lze AUC vyjádřit jako integrál TPR v závislosti na FPR.

Případy užití a příklady

Klasifikace nevyžádané pošty

AUC lze použít k hodnocení výkonnosti klasifikátoru nevyžádané pošty, tedy jak dobře klasifikátor řadí spam výše než běžné e-maily. AUC 0,9 značí vysokou pravděpodobnost, že spam je správně řazen nad běžné e-maily.

Lékařská diagnostika

V oblasti lékařské diagnostiky AUC měří, jak efektivně model rozlišuje mezi pacienty s nemocí a bez ní. Vysoká AUC znamená, že model spolehlivě identifikuje nemocné pacienty jako pozitivní a zdravé jako negativní.

Detekce podvodů

AUC se používá v detekci podvodů k posouzení schopnosti modelu správně klasifikovat podvodné transakce jako podvodné a legitimní jako legitimní. Vysoká AUC znamená vysokou přesnost v detekci podvodů.

Klasifikační práh

Klasifikační práh je klíčovým aspektem při použití ROC a AUC. Určuje bod, při kterém model zařadí případ jako pozitivní nebo negativní. Úprava prahu ovlivňuje TPR a FPR, a tím i výkonnost modelu. AUC poskytuje komplexní měřítko, protože zohledňuje všechny možné prahy.

Křivka Precision-Recall

Zatímco křivka AUC-ROC je vhodná pro vyvážená data, křivka Precision-Recall (PR) je výhodnější pro nevyvážené datové sady. Preciznost měří přesnost pozitivních předpovědí, zatímco recall (podobně jako TPR) měří pokrytí skutečných pozitivních případů. Plocha pod křivkou PR poskytuje informativnější metriku u nerovnoměrného rozložení tříd.

Praktická hlediska

• Vyvážená data: AUC-ROC je nejvhodnější, když jsou třídy vyvážené.
• Nevyvážená data: U nevyvážených dat je vhodné použít křivku Precision-Recall.
• Výběr správné metriky: V závislosti na oblasti použití a nákladech na falešně pozitivní vs. falešně negativní případy mohou být vhodnější i jiné metriky.