Zentrale Komponenten von Fastai

1. Fastai-Bibliothek

Die Fastai-Bibliothek basiert auf dem PyTorch-Framework und soll Deep Learning zugänglicher machen. Sie bietet eine hochstufige API, die viele Komplexitäten des Deep Learnings abstrahiert, sodass sich Anwender auf aufgabenspezifische Themen statt auf komplexe Programmierdetails konzentrieren können. Diese Abstraktion wird durch ein geschichtetes API-Design erreicht, das sowohl hoch- als auch niedrigstufige Komponenten für verschiedene Deep-Learning-Aufgaben bereitstellt. Die Funktionalität der Bibliothek reicht von Vision- und Textverarbeitung bis hin zu tabellarischen Daten und kollaborativer Filterung.

Fastai v2 ist eine vollständige Neuentwicklung mit dem Ziel, Geschwindigkeit, Flexibilität und Benutzerfreundlichkeit zu erhöhen. Sie basiert auf grundlegenden Bibliotheken wie fastcore und fastgpu, die die hochstufigen Komponenten von Fastai unterstützen und für viele Programmierer und Data Scientists nützlich sind.

2. Geschichtete API

Die geschichtete API von Fastai ist so strukturiert, dass sie unterschiedlichen Nutzerbedürfnissen gerecht wird – von Einsteigern bis zu fortgeschrittenen Forschern. Die hochstufige API bietet gebrauchsfertige Funktionen für das Training von Modellen in verschiedenen Bereichen, darunter Vision, Text, tabellarische Daten und kollaborative Filterung. Diese Funktionen verfügen über sinnvolle Voreinstellungen, die den Modellaufbau vereinfachen. Die mittelstufige API stellt Kernmethoden für Deep Learning und Datenverarbeitung bereit, während die niedrigstufige API optimierte Bausteine und Grundlagen für die Entwicklung individueller Modelle bietet.

Ein zentrales Merkmal der geschichteten Architektur von Fastai ist die Fähigkeit, gemeinsame Grundmuster vieler Deep-Learning- und Datenverarbeitungstechniken durch entkoppelte Abstraktionen auszudrücken. Dies wird durch die Dynamik von Python und die Flexibilität von PyTorch ermöglicht und schafft so ein Gleichgewicht zwischen Benutzerfreundlichkeit, Flexibilität und Leistung.

3. Kurs „Practical Deep Learning for Coders“

Fastai bietet einen kostenlosen, offenen Online-Kurs (MOOC) mit dem Titel „Practical Deep Learning for Coders“. Dieser Kurs vermittelt praktische Erfahrung mit Deep Learning, wobei als Voraussetzung lediglich Python-Kenntnisse nötig sind. Es werden verschiedene Deep-Learning-Themen wie Bildklassifikation, Natural Language Processing und Generative Adversarial Networks (GANs) behandelt, mit Schwerpunkt auf praxisnahen Anwendungen. Ergänzt wird der Kurs durch das Buch „Deep Learning for Coders with Fastai and PyTorch“, das KI-Anwendungen ohne Doktortitel zugänglich macht.

Zentrale Funktionen von Fastai

1. Hochstufige API

Die hochstufige API von Fastai vereinfacht das Training von Deep-Learning-Modellen, indem Architektur, Daten und Optimierung in einem zusammenhängenden System integriert werden. Sie wählt automatisch passende Verlustfunktionen und Optimierungsalgorithmen aus und verringert so die Fehleranfälligkeit. Diese API ist besonders für Einsteiger und diejenigen nützlich, die vorhandene Deep-Learning-Methoden anwenden möchten, ohne sich in die Komplexität des zugrunde liegenden Codes einarbeiten zu müssen.

2. Transfer Learning

Ein herausragendes Merkmal von Fastai ist die Unterstützung von Transfer Learning, wodurch Modelle schnell und effizient mithilfe vortrainierter Netzwerke trainiert werden können. Fastai optimiert diesen Prozess mit Techniken wie Batch-Normalisierung, Layer Freezing und diskriminierenden Lernraten. Diese Methoden beschleunigen das Lernen und verbessern die Modellleistung in verschiedenen Aufgabenbereichen.

3. Data Block API

Die Data Block API ist ein flexibles System zur Definition von Datenverarbeitungspipelines. Sie ermöglicht es Nutzern, Datenquellen, Transformationen und Ladeprozesse modular festzulegen. Diese API ist besonders hilfreich beim Umgang mit komplexen Datensätzen und stellt sicher, dass Daten korrekt für das Modelltraining aufbereitet werden. Sie bietet einen konsistenten Ansatz über verschiedene Anwendungsbereiche hinweg und erleichtert so die Anwendung von Deep Learning auf unterschiedliche Datentypen.

4. Zwei-Wege-Callback-System

Fastai führt ein neuartiges Zwei-Wege-Callback-System ein, das Eingriffe in die Trainingsschleife ermöglicht und dynamische Anpassungen an Daten, Modellen oder Optimierern zu jedem Zeitpunkt während des Trainings erlaubt. Dieses System erhöht die Flexibilität und Anpassbarkeit der Trainingsprozesse, sodass innovative Ansätze mit minimalem Programmieraufwand umgesetzt werden können.

5. Open Source und Community-getrieben

Fastai ist ein Open-Source-Projekt auf GitHub und steht unter der Apache License 2.0. Es profitiert von einer lebendigen Community aus Entwicklern und Forschern, die zur ständigen Weiterentwicklung beitragen. Der Open-Source-Charakter der Bibliothek stellt sicher, dass Nutzer Zugang zu modernsten Techniken haben und zur Entwicklung beitragen können. Die Fastai-Community bietet darüber hinaus eine Plattform für gemeinsames Lernen und Unterstützung weltweit.

Anwendungsfälle und Einsatzbereiche

Vision

Fastai vereinfacht die Entwicklung von Computer-Vision-Modellen mit minimalem Code. Beispielsweise kann ein ImageNet-Modell auf einen spezifischen Datensatz wie den Oxford IIT Pets Datensatz feinabgestimmt werden und mit nur wenigen Zeilen Code eine hohe Genauigkeit erreichen. Die Integration der Bibliothek mit PyTorch ermöglicht es, modernste Architekturen und Techniken mühelos zu nutzen.

Text

Fastai ist mit Werkzeugen für Natural Language Processing (NLP) ausgestattet und ermöglicht Aufgaben wie Sentimentanalyse, Textklassifikation und Sprachmodellierung. Die Integration mit PyTorch erlaubt den Einsatz moderner NLP-Architekturen und die Entwicklung robuster Sprachmodelle, die menschliche Sprache verstehen und generieren können.

Tabellendaten

Fastai bietet Komponenten zur Verarbeitung tabellarischer Daten und unterstützt Aufgaben wie Regression und Klassifikation. Die Data Block API ist besonders nützlich für die Transformation und das Laden tabellarischer Datensätze und sorgt für eine effiziente und präzise Datenaufbereitung für das Modelltraining. Diese Funktion ist essenziell für Anwendungen in der Geschäftsanalyse, im Gesundheitswesen und im Finanzbereich, wo tabellarische Daten häufig vorkommen.

Kollaborative Filterung

Auch im Bereich kollaborative Filterung glänzt Fastai mit Werkzeugen zur Entwicklung von Empfehlungssystemen. Die hochstufige API der Bibliothek vereinfacht das Erstellen und Bewerten kollaborativer Filtermodelle, sodass personalisierte Empfehlungen basierend auf den Präferenzen und Verhaltensweisen der Nutzer entwickelt werden können.

Bereitstellung

Fastai unterstützt die Bereitstellung trainierter Modelle in Produktionsumgebungen, sodass Entwickler KI-Funktionen nahtlos in Anwendungen integrieren können. Durch die Praxisorientierung der Bibliothek werden Deployment-Anforderungen von Anfang an berücksichtigt, was effiziente und skalierbare Lösungen für reale Anwendungen ermöglicht.

Fastai in wissenschaftlichen Veröffentlichungen

Fastai ist eine Deep-Learning-Bibliothek, die darauf ausgelegt ist, hochstufige Komponenten für Anwender bereitzustellen, um in Standard-Deep-Learning-Bereichen schnell und leicht modernste Ergebnisse zu erzielen. Gleichzeitig bietet sie niedrigstufige Komponenten für Forscher, die neue Ansätze entwickeln möchten, ohne Einbußen bei Benutzerfreundlichkeit, Flexibilität oder Leistung. Diese Doppelfunktion wird durch eine sorgfältig strukturierte Architektur erreicht, die die Dynamik von Python und die Flexibilität von PyTorch nutzt. Die Bibliothek führt mehrere Innovationen ein, darunter ein Type-Dispatch-System für Python, eine GPU-optimierte Computer-Vision-Bibliothek, einen Optimierer, der moderne Optimierungsalgorithmen vereinfacht, sowie ein neuartiges Zwei-Wege-Callback-System. Fastai wurde bereits erfolgreich zur Erstellung eines umfassenden Deep-Learning-Kurses eingesetzt und findet breite Anwendung in Forschung, Industrie und Lehre. Weitere Details finden Sie im Paper auf arXiv.

• Beispiel aus der Landwirtschaft:
  Im Bereich Landwirtschaft wurde Fastai erfolgreich eingesetzt, um ein Klassifikationsmodell zur Pflanzenerkennung unter Verwendung eines Datensatzes mit Apfelblattbildern zu erstellen. Durch die Nutzung eines vortrainierten ResNet34-Modells mit dem Fastai-Framework erreichte die Studie eine Klassifikationsgenauigkeit von 93,765 %. Dies zeigt die Fähigkeit der Bibliothek, Trainingszeit zu sparen und die Modellleistung in praktischen Anwendungen zu steigern. Weitere Informationen finden Sie in der Studie auf arXiv.

• Beispiel Modellkompression:
  Darüber hinaus wurde das Callback-System von Fastai in anderen Bibliotheken wie FasterAI genutzt, die sich auf Kompressionstechniken für neuronale Netze wie Sparsifizierung und Pruning konzentrieren. Dies unterstreicht die Vielseitigkeit von Fastai und die einfache Integration mit anderen Tools, um modernste Techniken effizient umzusetzen. Details dieser Implementierung sind im FasterAI-Paper auf arXiv verfügbar.

Anwendungsbeispiele

Installation

Um mit Fastai zu starten, können Sie es einfach mit conda oder pip installieren. So geht’s:

• Conda (empfohlen für Linux oder Windows):
  conda install -c fastai fastai
• Pip (plattformübergreifend):
  pip install fastai
• Google Colab:
  Nutzen Sie Fastai ohne Installation direkt in Google Colab, das die GPU-Laufzeit für schnellere Berechnungen unterstützt.

Darüber hinaus können Nutzer die offizielle Fastai-Dokumentation und die Community-Foren nutzen, um häufige Installationsprobleme zu beheben oder Lösungen für spezifische Konfigurationen zu finden. Die Integration der Bibliothek mit Jupyter Notebooks und Google Colab erhöht die Benutzerfreundlichkeit durch eine interaktive Umgebung für Experimente und Lernen zusätzlich.

Hochstufige API

Die hochstufige API von Fastai ist auf Benutzerfreundlichkeit und schnelle Entwicklung ausgelegt. Sie abstrahiert einen Großteil der Komplexität, sodass sich Anwender auf den Bau und das Training von Modellen mit minimalem Code konzentrieren können. Besonders vorteilhaft ist diese API für schnelles Prototyping und das Ausprobieren von Ideen, ohne sich mit den Details des zugrunde liegenden PyTorch-Frameworks beschäftigen zu müssen.

Beispiele für den Einsatz der hochstufigen API

1. Bildklassifikation

from fastai.vision.all import * 
path = untar_data(URLs.PETS) 
dls = ImageDataLoaders.from_name_re(
    path=path, 
    fnames=get_image_files(path/"images"),
    pat=r'/([^/]+)_\d+.jpg$', 
    item_tfms=RandomResizedCrop(450, min_scale=0.75), 
    batch_tfms=[*aug_transforms(size=224, max_warp=0.), Normalize.from_stats(*imagenet_stats)]
)
learn = cnn_learner(dls, resnet34, metrics=error_rate)
learn.fit_one_cycle(4)

Dieses Beispiel zeigt, wie mit Fastais hochstufiger API ein Bildklassifikator für den Oxford IIT Pets Datensatz eingerichtet und trainiert wird.

2. Textsentiment-Analyse

from fastai.text.all import *
path = untar_data(URLs.IMDB)
dls = TextDataLoaders.from_folder(path, valid='test')
learn = text_classifier_learner(dls, AWD_LSTM, drop_mult=0.5, metrics=accuracy)
learn.fine_tune(1)

Hier wird Fastai verwendet, um ein Sentimentanalyse-Modell auf dem IMDB-Datensatz zu erstellen.

3. Tabellendaten

from fastai.tabular.all import *
path = untar_data(URLs.ADULT_SAMPLE)
dls = TabularDataLoaders.from_csv(
    path/'adult.csv', path=path, y_names="salary",
    cat_names=['workclass', 'education', 'marital-status', 'occupation', 'relationship', 'race'],
    cont_names=['age', 'fnlwgt', 'education-num'],
    procs=[Categorify, FillMissing, Normalize]
)
learn = tabular_learner(dls, metrics=accuracy)
learn.fit_one_cycle(3)

Dieses Beispiel verdeutlicht die Nutzung von Fastai für tabellarische Daten, speziell am Adult-Datensatz.

Mittelstufige API

Die mittelstufige API von Fastai bietet mehr Anpassungsmöglichkeiten als die hochstufige API und erlaubt es Nutzern, verschiedene Aspekte des Trainingsprozesses zu verändern, ohne sich in die unterste Ebene zu begeben. Sie bietet eine Balance zwischen Benutzerfreundlichkeit und Flexibilität und richtet sich an Anwender, die mehr Kontrolle über ihre Modelle wünschen, aber dennoch die Vorteile vordefinierter Komponenten nutzen möchten.

Komponenten der mittelstufigen API

• Learner: Ein zentrales Element, das Modell, Daten und Trainingsschleife umfasst. Kann mit verschiedenen Architekturen, Optimierern und Metriken angepasst werden.
• Callbacks: Funktionen, mit denen die Trainingsschleife durch benutzerdefinierte Verhaltensweisen erweitert werden kann, wie das Speichern von Checkpoints, Anpassung der Lernrate oder Protokollierung von Metriken.

Beispielanwendung

learn = cnn_learner(dls, resnet18, metrics=accuracy, cbs=[SaveModelCallback(monitor='accuracy')])
learn.fine_tune(2)

In diesem Beispiel wird ein Callback verwendet, um das Modell mit der besten Genauigkeit während des Trainings zu speichern. Dies zeigt die Flexibilität der mittelstufigen API.

Niedrigstufige API

Für fortgeschrittene Nutzer und Forscher, die vollständige Kontrolle über ihre Modelle benötigen, bietet die niedrigstufige API von Fastai Zugriff auf die grundlegenden PyTorch-Funktionalitäten und optimierte Bausteine. Diese Ebene der API richtet sich an diejenigen, die die Grenzen des Deep Learnings erweitern wollen, indem sie neue Architekturen entwerfen oder eigene Trainingsroutinen implementieren.

Funktionen der niedrigstufigen API

• Pipeline und Transforms: Anpassbare Datenverarbeitungssequenzen, die auf spezifische Anforderungen zugeschnitten werden können.
• Objektorientierte Tensoren: Erweiterungen für PyTorch-Tensoren, die eine intuitivere Handhabung ermöglichen.
• Optimierte Operationen: Effiziente Tensoroperationen, die die Fähigkeiten von PyTorch nutzen.

Beispielanwendung

from fastai.data.all import *
pipe = Pipeline([PILImage.create, Resize(128), ToTensor])
img = pipe('path/to/image.jpg')

Dieses Beispiel zeigt, wie eine eigene Datenpipeline mit der niedrigstufigen API von Fastai erstellt wird, wobei eine Reihe von Transformationen auf ein Bild angewendet werden.

Fastai in der Praxis: Veröffentliche Beispiele

1. Fastai: A Layered API for Deep Learning
   Autoren: Jeremy Howard, Sylvain Gugger
   Fastai ist eine Deep-Learning-Bibliothek, die die schnelle Prototypenentwicklung und Bereitstellung von Deep-Learning-Modellen erleichtern soll. Dies gelingt durch hochstufige Komponenten für Standardaufgaben im Deep Learning, während Forschern der Zugang zu niedrigstufigen Komponenten für individuelle Lösungen ermöglicht wird. Das Paper beschreibt die Architektur der Bibliothek, die die Dynamik von Python und die Flexibilität von PyTorch nutzt, um entkoppelte Abstraktionen für Deep-Learning-Aufgaben zu schaffen. Zu den Innovationen von Fastai gehören ein Type-Dispatch-System, eine GPU-optimierte Computer-Vision-Bibliothek, ein neues Optimizer-Design und ein Zwei-Wege-Callback-System. Die Benutzerfreundlichkeit und die Fähigkeit, modernste Resultate zu erzielen, haben Fastai in Forschung, Industrie und Bildung beliebt gemacht. Mehr erfahren

2. Microvasculature Segmentation in Human BioMolecular Atlas Program (HuBMAP)
   Autoren: Youssef Sultan, Yongqiang Wang, James Scanlon, Lisa D’lima
   Diese Studie nutzt Fastai für die Bildsegmentierung im Human BioMolecular Atlas Program (HuBMAP) mit Fokus auf die Segmentierung mikrovasculärer Strukturen in menschlichen Nieren. Die Methodik beginnt mit einem Fastai U-Net-Modell und untersucht alternative Architekturen und Deep Models, um die Segmentierungsgenauigkeit zu verbessern. Die Arbeit zeigt Fastais Potenzial als Basiswerkzeug in der medizinischen Bildgebung und bietet Einblicke in fortgeschrittene Segmentierungstechniken und deren Benchmarking gegen Baseline-Modelle. Mehr erfahren

3. Egglog Python: A Pythonic Library for E-graphs
   Autor: Saul Shanabrook
   Obwohl dieses Paper nicht direkt über Fastai handelt, stellt es Python-Bindings für die egglog-Bibliothek vor und betont die Integration von E-Graph-Techniken in Python. Dieser Ansatz entspricht Fastais Philosophie, die Stärken von Python zu nutzen, um Innovationen im maschinellen Lernen und in der wissenschaftlichen Informatik zu fördern. Es wird gezeigt, wie Pythonic APIs die Zusammenarbeit und Innovation in verschiedenen Bereichen erleichtern können und so die Vielseitigkeit von Fastai ergänzen. [Mehr erfahren](https://arxiv.org/abs/2404