ROC-curve

De ROC-curve begrijpen

Definitie

Een ROC-curve is een grafiek die het diagnostisch vermogen van een binair classificatiesysteem illustreert door de True Positive Rate (TPR) tegen de False Positive Rate (FPR) uit te zetten bij verschillende drempelinstellingen. De TPR, ook wel sensitiviteit of recall genoemd, meet het aandeel daadwerkelijk positieven dat correct wordt geïdentificeerd, terwijl de FPR het aandeel daadwerkelijk negatieven weergeeft dat ten onrechte als positief wordt aangemerkt.

Wiskundig:

• True Positive Rate (TPR): TPR = TP / (TP + FN)
• False Positive Rate (FPR): FPR = FP / (FP + TN)

Waarbij:

• TP: True Positives
• FP: False Positives
• TN: True Negatives
• FN: False Negatives

Historische achtergrond

De term “Receiver Operating Characteristic” vindt zijn oorsprong in de signaaldetectietheorie, ontwikkeld tijdens de Tweede Wereldoorlog om radarsignalen te analyseren. Ingenieurs gebruikten ROC-curves om vijandelijke objecten van ruis te onderscheiden. In de loop der tijd vonden ROC-curves hun toepassing in de psychologie, geneeskunde en machine learning om diagnostische tests en classificatiemodellen te evalueren.

Hoe ROC-curves worden gebruikt

Evaluatie van classificatiemodellen

In machine learning en AI zijn ROC-curves essentieel bij het beoordelen van de prestaties van binaire classificatiemodellen. Ze geven een volledig beeld van het vermogen van een model om de positieve en negatieve klassen van elkaar te onderscheiden over alle drempels.

Drempelvariatie

Classificatiemodellen geven vaak waarschijnlijkheden of doorlopende scores als output in plaats van definitieve klassenlabels. Door verschillende drempels op deze scores toe te passen, kun je de sensitiviteit en specificiteit van het model aanpassen:

• Lage drempels: Meer gevallen worden als positief geclassificeerd, wat de sensitiviteit verhoogt maar mogelijk ook het aantal false positives.
• Hoge drempels: Minder gevallen worden als positief geclassificeerd, waardoor het aantal false positives afneemt maar mogelijk ook true positives worden gemist.

Door TPR tegen FPR voor alle mogelijke drempels uit te zetten, ontstaat de ROC-curve, die het evenwicht tussen sensitiviteit en specificiteit weergeeft.

Area Under the Curve (AUC)

De Area Under the ROC Curve (AUC) kwantificeert het totale vermogen van het model om onderscheid te maken tussen positieve en negatieve klassen. Een AUC van 0,5 geeft aan dat het model geen onderscheidend vermogen heeft (gelijk aan willekeurig gokken), terwijl een AUC van 1,0 perfecte discriminatie betekent.

Interpretatie van AUC-waarden

• 0,90 – 1,00: Uitstekende discriminatie
• 0,80 – 0,90: Goede discriminatie
• 0,70 – 0,80: Redelijke discriminatie
• 0,60 – 0,70: Zwakke discriminatie
• 0,50 – 0,60: Onvoldoende (niet beter dan toeval)

Modelselectie en vergelijking

ROC-curves en AUC-scores zijn van onschatbare waarde bij het vergelijken van verschillende classificatiemodellen of het afstemmen van de parameters van een model. Een model met een hogere AUC heeft over het algemeen de voorkeur, omdat het een beter onderscheidend vermogen aangeeft tussen positieve en negatieve klassen.

Selecteren van optimale drempels

Hoewel ROC-curves een visueel hulpmiddel bieden om de prestaties van een model te beoordelen, helpen ze ook bij het selecteren van een optimale drempel die sensitiviteit en specificiteit in evenwicht brengt, afhankelijk van de specifieke eisen van een toepassing.

• Hoge sensitiviteit vereist: Kies een drempel met hoge TPR (handig bij medische diagnostiek waar het missen van een positief geval veel gevolgen heeft).
• Hoge specificiteit vereist: Kies een drempel met lage FPR (belangrijk in situaties waar false positives zeer ongewenst zijn).

Onderdelen van de ROC-curve

Confusiematrix

Om ROC-curves te begrijpen, is het belangrijk om bekend te zijn met de confusiematrix, die de prestaties van een classificatiemodel samenvat:

De confusiematrix vormt de basis voor het berekenen van TPR en FPR bij verschillende drempels.

Sensitiviteit en specificiteit

• Sensitiviteit (Recall of True Positive Rate): Meet het aandeel daadwerkelijk positieven dat correct wordt geïdentificeerd.
• Specificiteit (True Negative Rate): Meet het aandeel daadwerkelijk negatieven dat correct wordt geïdentificeerd.

ROC-curves zetten sensitiviteit uit tegen 1 – specificiteit (dat is de FPR).

Voorbeelden en gebruikssituaties

Medische diagnostiek

In medische tests worden ROC-curves gebruikt om de effectiviteit van diagnostische testen te evalueren.

Voorbeeld: Het bepalen van de drempelwaarde voor een biomarker om een ziekte te diagnosticeren.

• Situatie: Een nieuwe bloedtest meet het niveau van een eiwit dat indicatief is voor een ziekte.
• Doel: Bepaal het optimale afkappunt dat sensitiviteit en specificiteit in balans brengt.
• Toepassing: Zet de ROC-curve uit met patiëntgegevens om een drempel te kiezen die de diagnostische nauwkeurigheid maximaliseert.

Machine learning-classificatie

ROC-curves worden veel gebruikt bij het evalueren van classificatie-algoritmen in machine learning.

Voorbeeld: E-mail spamdetectie

• Situatie: Het ontwikkelen van een classifier om spamberichten te identificeren.
• Doel: Beoordeel de prestaties van het model bij verschillende drempels om false positives (legitieme e-mails als spam gemarkeerd) te minimaliseren en true positives te maximaliseren.
• Toepassing: Gebruik ROC-curves om een drempel te selecteren die een acceptabel evenwicht biedt voor de behoeften van de toepassing.

AI-automatisering en chatbots

In AI-automatisering en chatbots helpen ROC-curves bij het verfijnen van intentieherkenning en antwoordnauwkeurigheid.

Voorbeeld: Intentieclassificatie in chatbots

• Situatie: Een chatbot gebruikt machine learning om gebruikersberichten onder te verdelen in intenties (bijv. reserveringen, klachten).
• Doel: Beoordeel het vermogen van de classifier om gebruikersintenties correct te identificeren, zodat accurate antwoorden worden gegeven.
• Toepassing: Genereer ROC-curves voor de intentieclassifier om drempels aan te passen en de prestaties van de chatbot te verbeteren, zodat gebruikers passende hulp ontvangen.

Kredietbeoordeling en risicobeoordeling

Financiële instellingen gebruiken ROC-curves om modellen te beoordelen die het risico op wanbetaling bij leningen voorspellen.

Voorbeeld: Voorspellen van wanbetaling op leningen

• Situatie: Een bank ontwikkelt een model om de kans op wanbetaling door kredietaanvragers te voorspellen.
• Doel: Gebruik ROC-curves om het onderscheidend vermogen van het model bij verschillende drempels te beoordelen.
• Toepassing: Selecteer een drempel die het financiële risico minimaliseert door risicovolle aanvragers nauwkeurig te identificeren.

Wiskundige basis

Berekening van TPR en FPR

Voor elke drempel classificeert het model gevallen als positief of negatief, wat leidt tot verschillende waarden voor TP, FP, TN en FN.

• TPR (Sensitiviteit): TP / (TP + FN)
• FPR: FP / (FP + TN)

Door de drempel van de laagste tot de hoogste mogelijke score te variëren, ontstaat een reeks TPR- en FPR-paren die de ROC-curve vormen.

Berekening van de AUC

De AUC kan worden berekend met numerieke integratietechnieken, zoals de trapeziumregel, toegepast op de ROC-curve.

• Interpretatie: De AUC geeft de kans weer dat een willekeurig gekozen positief geval hoger wordt gerangschikt dan een willekeurig gekozen negatief geval door de classifier.

ROC-curves bij onevenwichtige datasets

Bij datasets waarin klassen onevenwichtig zijn verdeeld (bijv. fraudedetectie met weinig positieve gevallen), kunnen ROC-curves een te optimistisch beeld geven van de modelprestaties.

Precision-Recall-curves

In dergelijke gevallen zijn Precision-Recall (PR)-curves informatiever.

• Precisie: TP / (TP + FP)
• Recall (Sensitiviteit): TP / (TP + FN)

PR-curves zetten precisie uit tegen recall en geven zo beter inzicht in de prestaties van het model op onevenwichtige datasets.

ROC-curve in de context van AI en chatbots

Verbeteren van AI-modelbeoordeling

In AI-systemen, vooral bij classificatietaken, geven ROC-curves essentiële inzichten in de modelprestaties.

• AI-automatisering: In geautomatiseerde besluitvormingssystemen helpen ROC-curves bij het verfijnen van modellen voor nauwkeurige voorspellingen.
• Chatbots: Voor chatbots die natural language processing (NLP) gebruiken om intenties, emoties of entiteiten te classificeren, helpen ROC-curves bij het evalueren en verbeteren van de onderliggende classifiers.

Optimaliseren van de gebruikerservaring

Door ROC-curve-analyse te benutten, kunnen AI-ontwikkelaars gebruikersinteracties verbeteren.

• Verminderen van false positives: Voorkomen dat de chatbot gebruikersberichten verkeerd interpreteert, wat leidt tot ongepaste antwoorden.
• Verhogen van true positives: Verbeteren van het vermogen van de chatbot om gebruikersintentie correct te begrijpen, zodat nauwkeurige en behulpzame reacties worden gegeven.

AI-ethiek en eerlijkheid

ROC-curves kunnen ook worden gebruikt om de eerlijkheid van modellen te beoordelen.

• Eerlijke classificatie: Het beoordelen van ROC-curves over verschillende demografische groepen kan verschillen in modelprestaties aan het licht brengen.
• Beperken van bias: Modellen aanpassen om evenwichtige TPR en FPR over groepen te bereiken draagt bij aan eerlijke AI-praktijken.

Praktische implementatie van ROC-curves

Software en tools

Diverse statistische software en programmeertalen bieden functies om ROC-curves te berekenen en te plotten.

• Python: Bibliotheken zoals scikit-learn bieden functies als roc_curve en auc.
• R: Pakketten als pROC en ROCR maken ROC-analyse mogelijk.
• MATLAB: Functies zijn beschikbaar voor het plotten van ROC-curves en het berekenen van de AUC.

Stappen om een ROC-curve te genereren

1. Train een binaire classifier: Verkrijg voorspelde waarschijnlijkheden of scores voor de positieve klasse.
2. Bepaal drempels: Definieer een reeks drempels van de laagste tot de hoogste voorspelde scores.
3. Bereken TPR en FPR: Voor elke drempel bereken je TPR en FPR met behulp van de confusiematrix.
4. Plot de ROC-curve: Zet TPR uit tegen FPR.
5. Bereken de AUC: Bepaal het oppervlak onder de ROC-curve als maat voor de algemene prestaties.

Voorbeeld in Python

from sklearn.metrics import roc_curve, auc
import matplotlib.pyplot as plt

# y_true: Werkelijke binaire labels
# y_scores: Voorspelde waarschijnlijkheden of scores

fpr, tpr, thresholds = roc_curve(y_true, y_scores)
roc_auc = auc(fpr, tpr)

# Plotten
plt.figure()
plt.plot(fpr, tpr, color='blue', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='grey', lw=2, linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic (ROC)')
plt.legend(loc='lower right')
plt.show()

Beperkingen van ROC-curves

Onevenwichtige klassen

ROC-curves kunnen misleidend zijn bij sterk onevenwichtige datasets. In dergelijke gevallen kan een hoge TPR gepaard gaan met een relatief hoge FPR, wat in de praktijk onacceptabel kan zijn.

Invloed van de beslissingsdrempel

ROC-curves beschouwen alle mogelijke drempels, maar geven niet aan welke drempel optimaal is voor een specifieke situatie.

Overschatting van prestaties

Een AUC dicht bij 1,0 kan wijzen op uitstekende prestaties, maar zonder de context (zoals klassenverdeling en kosten van fouten) in acht te nemen, kan dit leiden tot overmoed in het model.

Alternatieve evaluatiemaatstaven

Hoewel ROC-curves waardevol zijn, kunnen andere maatstaven in bepaalde situaties geschikter zijn.

Precision-Recall-curves

Handig voor onevenwichtige datasets waarbij de positieve klasse van primair belang is.

F1-score

Het harmonisch gemiddelde van precisie en recall, dat een enkele maatstaf biedt voor het evenwicht tussen beide.

Matthews Correlation Coefficient (MCC)

Een gebalanceerde maatstaf die kan worden gebruikt, zelfs als de klassen erg verschillend in omvang zijn.

Onderzoek naar ROC-curves

De Receiver Operating Characteristic (ROC)-curve is een fundamenteel hulpmiddel voor het beoordelen van de prestaties van binaire classifiers. Ze worden breed toegepast in onder andere de geneeskunde, machine learning en statistiek. Hieronder enkele relevante wetenschappelijke publicaties die verschillende aspecten van ROC-curves en hun toepassingen behandelen:

1. Receiver Operating Characteristic (ROC) Curves

   • Auteurs: Tilmann Gneiting, Peter Vogel
   • Gepubliceerd: 2018-09-13
   • Samenvatting: Dit artikel gaat in op het gebruik van ROC-curves voor het beoordelen van voorspellers bij binaire classificatieproblemen. Het onderscheid tussen ruwe ROC-diagnostiek en ROC-curves wordt belicht, met nadruk op het belang van concaviteit bij interpretatie en modellering. De auteurs stellen een paradigmaverschuiving voor in ROC-curve-modellering als curve fitting, en introduceren een flexibele tweedimensionale betafamilie voor het fitten van cumulatieve distributiefuncties (CDF’s) op empirische ROC-data. De paper biedt ook R-software voor schatting en testen, en toont de betere fit van de betafamilie ten opzichte van traditionele modellen, vooral onder concaviteitsbeperkingen.

2. The Risk Distribution Curve and its Derivatives

   • Auteurs: Ralph Stern
   • Gepubliceerd: 2009-12-16
   • Samenvatting: Dit onderzoek introduceert het concept van de risicodistributiecurve als een allesomvattende samenvatting van risicostratificatie. Het toont aan hoe de ROC-curve en gerelateerde curves uit deze distributie kunnen worden afgeleid, waarmee een verenigd beeld van stratificatiemaatstaven wordt gegeven. De paper leidt een wiskundige uitdrukking af voor het oppervlak onder de ROC-curve (AUC), en verduidelijkt de rol ervan bij het meten van de scheiding tussen patiënten met en zonder gebeurtenis. Er wordt benadrukt dat er een positieve correlatie bestaat tussen de spreiding van de risicodistributie en de ROC-AUC, wat de bruikbaarheid ervan bij het beoordelen van risicostratificatie onderstreept.

3. The Fuzzy ROC

   • Auteurs: Giovanni Parmigiani
   • Gepubliceerd: 2019-03-04
   • Samenvatting: Dit artikel breidt het concept van ROC-curves uit naar fuzzy logic-omgevingen waar sommige datapunten in onbepaalde gebieden vallen. Er wordt ingegaan op de uitdagingen van het definiëren van sensitiviteit en specificiteit in dergelijke scenario’s en een methode geboden voor visuele samenvatting van verschillende keuzes bij onbepaaldheid. Deze uitbreiding is van belang voor situaties waarin traditionele binaire classificatie tekortschiet vanwege inherente dataonzekerheid.

4. Conditional Prediction ROC Bands for Graph Classification

   • Auteurs: Yujia Wu, Bo Yang, Elynn Chen, Yuzhou Chen, Zheshi Zheng
   • Gepubliceerd: 2024-10-20
   • Samenvatting: Deze recente studie introduceert Conditional Prediction ROC (CP-ROC)-banden, ontworpen voor grafenclassificatietaken in medische beeldvorming en medicijnontwikkeling. CP-ROC-banden bieden onzekerheidskwantificering en robuustheid tegen distributieverschuivingen in testdata. De methode is vooral nuttig voor Tensorized Graph Neural Networks (TGNNs), maar ook toepasbaar op andere modellen, en verbetert de betrouwbaarheid van voorspellingen en onzekerheidskwantificering in praktijktoepassingen.