Recall im Machine Learning

Was ist Recall im Machine Learning?

Im Bereich des Machine Learning, insbesondere bei Klassifikationsproblemen, ist die Bewertung der Modellleistung von höchster Bedeutung. Einer der wichtigsten Messwerte zur Beurteilung der Fähigkeit eines Modells, positive Instanzen korrekt zu erkennen, ist der Recall. Dieser Wert ist unerlässlich in Szenarien, in denen das Übersehen einer positiven Instanz (False Negatives) schwerwiegende Folgen hat. Dieser umfassende Leitfaden erläutert, was Recall ist, wie er im Machine Learning verwendet wird, bietet detaillierte Beispiele und Anwendungsfälle und erklärt seine Bedeutung in KI, KI-Automatisierung und Chatbots.

Verständnis von Recall

Definition von Recall

Recall, auch bekannt als Sensitivität oder True Positive Rate, ist ein Messwert, der den Anteil tatsächlich positiver Instanzen angibt, die vom Machine-Learning-Modell korrekt erkannt wurden. Er misst die Vollständigkeit eines Modells beim Auffinden aller relevanten Instanzen im Datensatz.

Mathematisch ist Recall definiert als:

Recall = True Positives / (True Positives + False Negatives)

Wobei gilt:

• True Positives (TP): Anzahl der vom Modell korrekt als positiv klassifizierten Instanzen.
• False Negatives (FN): Anzahl der positiven Instanzen, die vom Modell fälschlicherweise als negativ klassifiziert wurden.

Die Rolle von Recall innerhalb der Klassifikationsmetriken

Recall ist eine von mehreren Klassifikationsmetriken zur Bewertung der Modellleistung, insbesondere bei binären Klassifikationsproblemen. Er konzentriert sich auf die Fähigkeit des Modells, alle positiven Instanzen zu erkennen, und ist besonders wichtig, wenn die Kosten für das Übersehen eines Positiven hoch sind.

Recall steht in engem Zusammenhang mit anderen Klassifikationsmetriken wie Precision und Accuracy. Das Verständnis, wie Recall mit diesen Messwerten interagiert, ist für eine umfassende Bewertung der Modellleistung unerlässlich.

Die Konfusionsmatrix erklärt

Um das Konzept des Recall vollständig zu verstehen, ist es wichtig, die Konfusionsmatrix zu kennen – ein Werkzeug, das eine detaillierte Aufschlüsselung der Modellleistung liefert.

Aufbau der Konfusionsmatrix

Die Konfusionsmatrix ist eine Tabelle, die die Leistung eines Klassifikationsmodells zusammenfasst, indem sie die Anzahl der True Positives, False Positives, True Negatives und False Negatives anzeigt. Sie sieht wie folgt aus:

• True Positive (TP): Korrekt als positiv vorhergesagte Instanzen.
• False Positive (FP): Fälschlicherweise als positiv vorhergesagte Instanzen (Fehler 1. Art).
• False Negative (FN): Fälschlicherweise als negativ vorhergesagte Instanzen (Fehler 2. Art).
• True Negative (TN): Korrekt als negativ vorhergesagte Instanzen.

Die Konfusionsmatrix ermöglicht es, nicht nur die Anzahl der korrekten Vorhersagen zu sehen, sondern auch die Art der Fehler, wie False Positives und False Negatives.

Recall mit der Konfusionsmatrix berechnen

Aus der Konfusionsmatrix berechnet sich der Recall wie folgt:

Recall = TP / (TP + FN)

Diese Formel gibt den Anteil tatsächlich positiver Fälle an, die korrekt erkannt wurden.

Recall bei binärer Klassifikation

Bei der binären Klassifikation werden Instanzen einer von zwei Klassen zugeordnet: positiv oder negativ. Recall ist besonders bedeutend bei solchen Problemen, insbesondere bei unausgeglichenen Datensätzen.

Unaussgeglichene Datensätze

Ein unausgeglichener Datensatz liegt vor, wenn die Anzahl der Instanzen in jeder Klasse nicht ungefähr gleich ist. Zum Beispiel ist bei der Betrugserkennung die Anzahl der betrügerischen Transaktionen (positive Klasse) deutlich geringer als die der legitimen Transaktionen (negative Klasse). In solchen Fällen kann die Modellgenauigkeit irreführend sein, da ein Modell eine hohe Genauigkeit erreichen kann, indem es einfach immer die Mehrheitsklasse vorhersagt.

Beispiel: Betrugserkennung

Betrachten Sie einen Datensatz mit 10.000 Finanztransaktionen:

• Tatsächlich betrügerische Transaktionen (positive Klasse): 100
• Tatsächlich legitime Transaktionen (negative Klasse): 9.900

Angenommen, ein Modell sagt vorher:

• Vorhergesagte betrügerische Transaktionen:
  • True Positives (TP): 70 (korrekt erkannte Betrugsfälle)
  • False Positives (FP): 10 (legitime Transaktionen fälschlicherweise als Betrug erkannt)
• Vorhergesagte legitime Transaktionen:
  • True Negatives (TN): 9.890 (korrekt erkannte legitime Transaktionen)
  • False Negatives (FN): 30 (Betrugsfälle fälschlicherweise als legitim erkannt)

Recall-Berechnung:

Recall = TP / (TP + FN)
Recall = 70 / (70 + 30)
Recall = 70 / 100
Recall = 0,7

Der Recall beträgt 70 %, das heißt, das Modell hat 70 % der betrügerischen Transaktionen erkannt. Bei der Betrugserkennung sind verpasste Betrugsfälle (False Negatives) teuer, daher ist ein hoher Recall wünschenswert.

Precision vs. Recall

Verständnis von Precision

Precision misst den Anteil der als positiv erkannten Fälle, die tatsächlich positiv sind. Sie beantwortet die Frage: „Von allen als positiv vorhergesagten Instanzen – wie viele waren wirklich positiv?“

Formel für Precision:

Precision = TP / (TP + FP)

• True Positives (TP): Korrekt als positiv vorhergesagte Instanzen.
• False Positives (FP): Fälschlicherweise als positiv vorhergesagte negative Instanzen.

Das Verhältnis von Precision und Recall

Zwischen Precision und Recall besteht häufig ein Kompromiss:

• Hoher Recall, niedrige Precision: Das Modell erkennt die meisten positiven Instanzen (wenige False Negatives), klassifiziert aber auch viele negative Instanzen falsch als positiv (viele False Positives).
• Hohe Precision, niedriger Recall: Das Modell erkennt positive Instanzen mit wenigen False Positives, übersieht aber viele tatsächliche Positive (viele False Negatives).

Das richtige Gleichgewicht hängt von den jeweiligen Anforderungen der Anwendung ab.

Beispiel: E-Mail-Spam-Erkennung

Beim Filtern von Spam-E-Mails:

• Hoher Recall: Erkennt die meisten Spam-E-Mails, klassifiziert aber möglicherweise legitime E-Mails als Spam (False Positives).
• Hohe Precision: Minimiert Fehlklassifikationen legitimer E-Mails, lässt aber möglicherweise Spam-E-Mails durch (False Negatives).

Das optimale Gleichgewicht hängt davon ab, ob es wichtiger ist, Spam im Posteingang zu vermeiden, oder ob keine legitime E-Mail verloren gehen soll.

Anwendungsfälle, in denen Recall entscheidend ist

1. Medizinische Diagnose

Beim Erkennen von Krankheiten kann das Übersehen eines positiven Falls (Patient ist tatsächlich krank, wird aber nicht erkannt) schwerwiegende Folgen haben.

• Ziel: Recall maximieren, um alle potenziellen Fälle zu erkennen.
• Beispiel: Krebsfrüherkennung, bei der das Übersehen einer Diagnose die Behandlung verzögern kann.

2. Betrugserkennung

Erkennen von betrügerischen Aktivitäten bei Finanztransaktionen.

• Ziel: Recall maximieren, um möglichst viele Betrugsfälle zu erkennen.
• Aspekt: False Positives (legitime Transaktionen als Betrug markiert) sind zwar lästig, aber weniger teuer als übersehene Betrugsfälle.

3. Sicherheitssysteme

Erkennen von Eindringlingen oder unbefugtem Zugriff.

• Ziel: Hoher Recall, um alle Sicherheitsverstöße zu erkennen.
• Vorgehen: Einige Fehlalarme werden in Kauf genommen, um keine echten Bedrohungen zu übersehen.

4. Chatbots und KI-Automatisierung

Bei KI-gestützten Chatbots ist das korrekte Verstehen und Beantworten von Benutzeranfragen entscheidend.

• Ziel: Hoher Recall, um möglichst viele Benutzeranfragen zu erkennen.
• Anwendung: Kundenservice-Chatbots, die verschiedene Arten von Hilfsanfragen verstehen müssen.

5. Fehlererkennung in der Fertigung

Erkennen von Defekten oder Fehlern bei Produkten.

• Ziel: Recall maximieren, damit fehlerhafte Artikel nicht an Kunden ausgeliefert werden.
• Auswirkung: Hoher Recall stellt Qualitätskontrolle und Kundenzufriedenheit sicher.

Recall berechnen: Ein Beispiel

Nehmen wir einen Datensatz für ein binäres Klassifikationsproblem, z. B. die Vorhersage von Kundenabwanderung:

• Gesamtzahl Kunden: 1.000
• Tatsächliche Abwanderung (positive Klasse): 200 Kunden
• Tatsächlich keine Abwanderung (negative Klasse): 800 Kunden

Nach Anwendung eines Machine-Learning-Modells ergibt sich folgende Konfusionsmatrix:

Recall-Berechnung:

Recall = TP / (TP + FN)
Recall = 160 / (160 + 40)
Recall = 160 / 200
Recall = 0,8

Der Recall beträgt 80 %, das heißt, das Modell hat 80 % der Kunden, die abwandern werden, korrekt erkannt.

Recall in Machine-Learning-Modellen verbessern

Zur Verbesserung des Recall können folgende Strategien angewendet werden:

Datenbezogene Methoden

• Mehr Daten sammeln: Insbesondere für die positive Klasse, damit das Modell besser lernen kann.
• Resampling-Techniken: Methoden wie SMOTE (Synthetic Minority Over-sampling Technique) einsetzen, um den Datensatz auszugleichen.
• Datenaugmentation: Zusätzliche synthetische Daten für die Minderheitsklasse erzeugen.

Algorithmusbezogene Methoden

• Klassifikationsschwelle anpassen: Schwelle senken, um mehr Instanzen als positiv zu klassifizieren.
• Kostenorientiertes Lernen: Höhere Strafen für False Negatives in der Verlustfunktion einführen.
• Ensemble-Methoden: Mehrere Modelle kombinieren, um die Gesamtleistung zu verbessern.

Feature Engineering

• Neue Merkmale erstellen: Die die Charakteristika der positiven Klasse besser erfassen.
• Feature-Auswahl: Konzentration auf Merkmale, die für die positive Klasse besonders relevant sind.

Modellauswahl und Hyperparameteroptimierung

• Geeignete Algorithmen wählen: Einige Algorithmen sind besser für unausgeglichene Daten geeignet (z. B. Random Forest, XGBoost).
• Hyperparameter optimieren: Parameter gezielt zur Steigerung des Recall einstellen.

Mathematische Interpretation von Recall

Das mathematische Verständnis von Recall liefert tiefere Einblicke.

Bayessche Interpretation

Recall kann als bedingte Wahrscheinlichkeit betrachtet werden:

Recall = P(Vorhergesagt Positiv | Tatsächlich Positiv)

Das entspricht der Wahrscheinlichkeit, dass das Modell positiv vorhersagt, wenn die tatsächliche Klasse positiv ist.

Zusammenhang mit Fehler 2. Art

• Fehlerrate 2. Art (β): Wahrscheinlichkeit eines False Negatives.
• Recall: Entspricht (1 – Fehlerrate 2. Art).

Hoher Recall bedeutet eine niedrige Fehlerrate 2. Art, also wenige False Negatives.

Zusammenhang mit der ROC-Kurve

Recall ist die True Positive Rate (TPR), die in der Receiver Operating Characteristic (ROC)-Kurve gegen die False Positive Rate (FPR) aufgetragen wird.

• ROC-Kurve: Visualisiert das Verhältnis zwischen Recall (Sensitivität) und False-Positive-Rate (1 – Spezifität).
• AUC (Area Under the Curve): Stellt die Fähigkeit des Modells dar, zwischen positiven und negativen Klassen zu unterscheiden.

Forschung zu Recall im Machine Learning

Im Bereich des Machine Learning spielt das Konzept „Recall“ eine entscheidende Rolle bei der Bewertung der Modellwirksamkeit, insbesondere bei Klassifikationsaufgaben. Hier eine Zusammenfassung relevanter wissenschaftlicher Arbeiten, die verschiedene Aspekte von Recall im Machine Learning beleuchten:

1. Show, Recall, and Tell: Image Captioning with Recall Mechanism (Veröffentlicht: 2021-03-12)
   Diese Arbeit stellt einen neuen Recall-Mechanismus vor, der das Bild-Tagging durch Nachahmung menschlicher Kognition verbessern soll. Der Mechanismus umfasst drei Komponenten: eine Recall-Einheit zum Abrufen relevanter Wörter, eine semantische Führung zur Erzeugung kontextueller Hinweise und Recall-Slots zur Integration dieser Wörter in Bildbeschreibungen. Die Studie verwendet einen Soft-Switch, inspiriert von Textzusammenfassungen, um die Generierung von Wörtern auszugleichen. Der Ansatz verbessert BLEU-4-, CIDEr- und SPICE-Scores auf dem MSCOCO-Datensatz signifikant und übertrifft andere moderne Methoden. Die Ergebnisse unterstreichen das Potenzial von Recall-Mechanismen zur Steigerung der Beschreibungsgenauigkeit beim Bild-Tagging. Lesen Sie das Paper hier.

2. Online Learning with Bounded Recall (Veröffentlicht: 2024-05-31)
   Diese Forschung untersucht das Konzept des begrenzten Recalls im Online-Lernen, bei dem Algorithmen nur auf eine begrenzte Erinnerung an vergangene Belohnungen zugreifen. Die Autoren zeigen, dass traditionelle Mittelwert-basierte No-Regret-Algorithmen bei begrenztem Recall versagen und einen konstanten Fehler pro Runde verursachen. Sie schlagen einen stationären, begrenzten Recall-Algorithmus mit einem Fehler pro Runde von $\Theta(1/\sqrt{M})$ vor, was eine enge untere Schranke darstellt. Die Studie zeigt, dass effektive Algorithmen mit begrenztem Recall die Reihenfolge vergangener Verluste berücksichtigen müssen, im Gegensatz zu perfekten Recall-Einstellungen. Lesen Sie das Paper hier.

3. Recall, Robustness, and Lexicographic Evaluation (Veröffentlicht: 2024-03-08)
   In diesem Paper wird der Einsatz von Recall bei Ranking-Bewertungen kritisch betrachtet und für einen formaleren Bewertungsrahmen plädiert. Die Autoren führen das Konzept der „Recall-Orientierung“ ein und verknüpfen es mit Fairness in Rankingsystemen. Sie schlagen eine lexikografische Bewertungsmethode namens „Lexirecall“ vor, die eine höhere Sensitivität und Stabilität im Vergleich zu traditionellen Recall-Metriken zeigt. Durch empirische Analysen in verschiedenen Empfehlungs- und Retrieval-Aufgaben belegt die Studie die größere Unterscheidungsfähigkeit von Lexirecall und empfiehlt dessen Einsatz für nuanciertere Ranking-Bewertungen. Lesen Sie das Paper hier.