Kluczowe komponenty Fastai

1. Biblioteka Fastai

Biblioteka Fastai została zbudowana na frameworku PyTorch i ma na celu uczynienie deep learningu bardziej przystępnym. Zapewnia wysokopoziomowe API, które ukrywa wiele złożoności związanych z głębokim uczeniem, pozwalając użytkownikom skupić się na zadaniach aplikacyjnych, a nie na skomplikowanych szczegółach programistycznych. Abstrakcja ta została osiągnięta dzięki warstwowej architekturze API, oferującej zarówno komponenty wysokiego, jak i niskiego poziomu do różnych zadań z zakresu głębokiego uczenia. Możliwości biblioteki obejmują wizję komputerową, przetwarzanie tekstu, dane tabelaryczne oraz filtrowanie kolaboracyjne.

Fastai v2 to kompletne przepisanie, mające na celu zwiększenie szybkości, elastyczności i łatwości obsługi. Bazuje na podstawowych bibliotekach, takich jak fastcore i fastgpu, które wspierają wysokopoziomowe komponenty Fastai i są użyteczne dla wielu programistów i data scientistów.

2. Warstwowe API

Warstwowe API Fastai jest zaprojektowane tak, by odpowiadać na potrzeby różnych użytkowników – od początkujących po zaawansowanych badaczy. Wysokopoziomowe API oferuje gotowe funkcje do trenowania modeli w wielu domenach, takich jak wizja, tekst, dane tabelaryczne czy filtrowanie kolaboracyjne. Funkcje te mają sensowne wartości domyślne, co usprawnia proces budowy modeli. API średniego poziomu zapewnia główne metody dla głębokiego uczenia i przetwarzania danych, podczas gdy niskopoziomowe API udostępnia zoptymalizowane prymitywy i fundamenty do budowy własnych modeli.

Kluczową cechą warstwowej architektury jest zdolność do wyrażania wspólnych wzorców leżących u podstaw wielu technik głębokiego uczenia i przetwarzania danych poprzez rozdzielone abstrakcje. Jest to możliwe dzięki dynamicznemu Pythonowi i elastyczności PyTorch, pozwalając na balans między łatwością użycia, elastycznością i wydajnością.

3. Kurs “Practical Deep Learning for Coders”

Fastai oferuje bezpłatny, masowy kurs online (MOOC) pod tytułem „Practical Deep Learning for Coders”. Kurs ten zapewnia praktyczne doświadczenie z deep learningiem, wymagając jedynie znajomości Pythona. Obejmuje różne tematy, takie jak klasyfikacja obrazów, przetwarzanie języka naturalnego czy generatywne sieci przeciwstawne (GAN), z naciskiem na zastosowania praktyczne. Kursowi towarzyszy książka „Deep Learning for Coders with Fastai and PyTorch”, która omawia zastosowania AI bez konieczności posiadania doktoratu.

Najważniejsze cechy Fastai

1. Wysokopoziomowe API

Wysokopoziomowe API Fastai upraszcza trening modeli głębokiego uczenia, integrując architekturę, dane i optymalizację w spójny system. Automatycznie dobiera odpowiednie funkcje straty i algorytmy optymalizacji, ograniczając ryzyko błędów użytkownika. API to jest szczególnie przydatne dla początkujących oraz osób chcących stosować gotowe metody deep learningu bez zagłębiania się w zawiłości kodu źródłowego.

2. Transfer Learning

Jedną z wyróżniających cech Fastai jest wsparcie dla transfer learningu, umożliwiające szybkie i efektywne trenowanie modeli dzięki wykorzystaniu sieci wstępnie wytrenowanych. Fastai optymalizuje ten proces poprzez takie techniki, jak batch-normalizacja, zamrażanie warstw czy różnicowanie learning rate. Techniki te przyspieszają naukę oraz poprawiają wydajność modeli w różnych zadaniach.

3. Data Block API

API data block to elastyczny system do definiowania pipeline’ów przetwarzania danych. Pozwala użytkownikom określić źródła danych, transformacje oraz mechanizmy ładowania w modułowy sposób. API to jest kluczowe w obsłudze złożonych zbiorów danych i zapewnia prawidłowe przygotowanie danych do treningu modeli. Zapewnia spójność w różnych domenach, ułatwiając stosowanie deep learningu do różnych typów danych.

4. Dwukierunkowy system callbacków

Fastai wprowadza nowatorski, dwukierunkowy system callbacków, który umożliwia ingerencję w pętlę treningową i dynamiczną zmianę danych, modeli lub optymalizatorów w dowolnym momencie treningu. System ten zwiększa elastyczność i personalizację procesu treningowego, pozwalając na wdrażanie innowacyjnych rozwiązań przy minimalnym nakładzie kodowania.

5. Open Source i napędzany społecznością

Fastai to projekt open source hostowany na GitHub, licencjonowany na Apache License 2.0. Korzysta z aktywnej społeczności deweloperów i naukowców, którzy przyczyniają się do jego rozwoju i udoskonalania. Otwartoźródłowy charakter biblioteki gwarantuje dostęp do najnowszych technik oraz umożliwia użytkownikom udział w jej ewolucji. Społeczność Fastai to również źródło wspólnej nauki i wsparcia dla użytkowników na całym świecie.

Zastosowania i przykłady użycia

Wizja komputerowa

Fastai upraszcza tworzenie modeli wizji komputerowej przy minimalnej ilości kodu. Przykładowo, model ImageNet można dostroić na własnym zbiorze danych, jak Oxford IIT Pets, osiągając wysoką dokładność kilkoma liniami kodu. Integracja biblioteki z PyTorch umożliwia łatwe korzystanie z nowoczesnych architektur i technik.

Tekst

Fastai wyposażone jest w narzędzia do przetwarzania języka naturalnego (NLP), umożliwiając m.in. analizę sentymentu, klasyfikację tekstów i modelowanie języka. Integracja z PyTorch pozwala korzystać z nowoczesnych architektur NLP, ułatwiając budowę solidnych modeli rozumiejących i generujących język ludzki.

Dane tabelaryczne

Fastai dostarcza komponenty do przetwarzania danych tabelarycznych, wspierając zadania regresji i klasyfikacji. API data block jest szczególnie przydatne przy transformacji i ładowaniu zbiorów tabelarycznych, zapewniając efektywne i precyzyjne przygotowanie danych do treningu modeli. Funkcja ta jest kluczowa w analityce biznesowej, opiece zdrowotnej czy finansach, gdzie dane tabelaryczne dominują.

Filtrowanie kolaboracyjne

Filtrowanie kolaboracyjne to kolejna domena, w której Fastai się wyróżnia, oferując narzędzia do budowy systemów rekomendacyjnych. Wysokopoziomowe API biblioteki upraszcza tworzenie i ewaluację takich modeli, ułatwiając generowanie rekomendacji na podstawie preferencji i zachowań użytkowników.

Wdrażanie

Fastai umożliwia wdrażanie wytrenowanych modeli w środowiskach produkcyjnych, pozwalając deweloperom na płynną integrację AI w aplikacjach. Praktyczne podejście biblioteki sprawia, że kwestie wdrożeniowe są brane pod uwagę już na wczesnym etapie, umożliwiając efektywne i skalowalne rozwiązania do rzeczywistych zastosowań.

Fastai w publikacjach naukowych

Fastai to biblioteka deep learning zaprojektowana, by umożliwić praktykom szybkie osiąganie najnowocześniejszych wyników w standardowych dziedzinach głębokiego uczenia, przy jednoczesnym dostępie do komponentów niskopoziomowych dla badaczy chcących tworzyć nowe podejścia bez kompromisów co do łatwości użycia, elastyczności czy wydajności. Ta podwójna funkcjonalność osiągnięta została dzięki starannie zaprojektowanej architekturze, wykorzystującej dynamiczny Python i elastyczność PyTorch. Biblioteka wprowadza wiele innowacji, m.in. system dyspozycji typów dla Pythona, zoptymalizowaną pod GPU bibliotekę wizji komputerowej, optymalizator upraszczający nowoczesne algorytmy optymalizacji oraz nowatorski dwukierunkowy system callbacków. Fastai z powodzeniem wykorzystano do stworzenia kompleksowego kursu głębokiego uczenia i jest szeroko stosowana w badaniach, przemyśle oraz nauczaniu. Szczegóły znajdziesz w publikacji na arXiv.

• Przykład w rolnictwie:
  W dziedzinie rolnictwa Fastai zostało efektywnie użyte do budowy modelu klasyfikującego choroby roślin na podstawie zdjęć liści jabłoni. Wykorzystując wstępnie wytrenowany model ResNet34 w frameworku Fastai, badanie osiągnęło dokładność klasyfikacji na poziomie 93,765%. Pokazuje to możliwości biblioteki w zakresie skracania czasu treningu i poprawy wydajności modeli w praktycznych zastosowaniach. Więcej informacji znajdziesz w publikacji na arXiv.

• Przykład kompresji modeli:
  System callbacków Fastai został też wykorzystany w innych bibliotekach, jak FasterAI, skupiających się na kompresji sieci neuronowych, np. poprzez sparsifikację czy przycinanie wag. Pokazuje to wszechstronność Fastai i łatwą integrację z innymi narzędziami, co pozwala efektywnie wdrażać nowoczesne techniki. Szczegóły tej implementacji są dostępne w pracy FasterAI na arXiv.

Przykłady użycia

Instalacja

Aby rozpocząć pracę z fastai, możesz łatwo zainstalować bibliotekę za pomocą conda lub pip. Oto jak:

• Conda (zalecane dla Linux lub Windows):
  conda install -c fastai fastai
• Pip (działa na wszystkich platformach):
  pip install fastai
• Google Colab:
  Korzystaj z fastai bez instalacji, wykorzystując Google Colab, który wspiera środowisko GPU dla szybszych obliczeń.

Dodatkowo użytkownicy mogą korzystać z oficjalnej dokumentacji Fastai oraz forów społeczności, by rozwiązywać typowe problemy z instalacją lub uzyskać pomoc przy specyficznych konfiguracjach. Integracja biblioteki z Jupyter notebooks i Google Colab zwiększa jej użyteczność, oferując interaktywne środowisko do eksperymentowania i nauki.

Wysokopoziomowe API

Wysokopoziomowe API fastai zostało zaprojektowane z myślą o łatwości obsługi i szybkim prototypowaniu. Abstrahuje dużą część złożoności, pozwalając użytkownikom skupić się na budowie i treningu modeli przy minimalnej ilości kodu. API jest szczególnie przydatne przy szybkim testowaniu pomysłów i iteracji bez zagłębiania się w szczegóły niskopoziomowe frameworka PyTorch.

Przykłady użycia wysokopoziomowego API

1. Klasyfikacja obrazów

from fastai.vision.all import * 
path = untar_data(URLs.PETS) 
dls = ImageDataLoaders.from_name_re(
    path=path, 
    fnames=get_image_files(path/"images"),
    pat=r'/([^/]+)_\d+.jpg$', 
    item_tfms=RandomResizedCrop(450, min_scale=0.75), 
    batch_tfms=[*aug_transforms(size=224, max_warp=0.), Normalize.from_stats(*imagenet_stats)]
)
learn = cnn_learner(dls, resnet34, metrics=error_rate)
learn.fit_one_cycle(4)

Ten przykład pokazuje, jak przygotować i wytrenować klasyfikator obrazów na zbiorze Oxford IIT Pets przy użyciu wysokopoziomowego API fastai.

2. Analiza sentymentu tekstu

from fastai.text.all import *
path = untar_data(URLs.IMDB)
dls = TextDataLoaders.from_folder(path, valid='test')
learn = text_classifier_learner(dls, AWD_LSTM, drop_mult=0.5, metrics=accuracy)
learn.fine_tune(1)

Tutaj fastai jest używane do budowy modelu analizy sentymentu na zbiorze IMDB.

3. Dane tabelaryczne

from fastai.tabular.all import *
path = untar_data(URLs.ADULT_SAMPLE)
dls = TabularDataLoaders.from_csv(
    path/'adult.csv', path=path, y_names="salary",
    cat_names=['workclass', 'education', 'marital-status', 'occupation', 'relationship', 'race'],
    cont_names=['age', 'fnlwgt', 'education-num'],
    procs=[Categorify, FillMissing, Normalize]
)
learn = tabular_learner(dls, metrics=accuracy)
learn.fit_one_cycle(3)

Ten przykład ilustruje użycie fastai do pracy z danymi tabelarycznymi, na przykładzie zbioru Adult.

API średniego poziomu

API średniego poziomu w fastai oferuje więcej możliwości personalizacji niż API wysokopoziomowe, pozwalając użytkownikom zmieniać różne aspekty procesu treningowego bez konieczności schodzenia do najniższego poziomu abstrakcji. Zapewnia balans między łatwością użycia, a elastycznością – dla osób, które potrzebują większej kontroli nad modelami, ale nadal chcą korzystać z gotowych komponentów.

Komponenty API średniego poziomu

• Learner: Kluczowy komponent, który kapsułuje model, dane i pętlę treningową. Może być personalizowany różnymi architekturami, optymalizatorami i metrykami.
• Callbacki: Funkcje pozwalające na rozszerzanie pętli treningowej o własne zachowania, np. zapisywanie checkpointów, dynamiczną zmianę learning rate czy logowanie metryk.

Przykład użycia

learn = cnn_learner(dls, resnet18, metrics=accuracy, cbs=[SaveModelCallback(monitor='accuracy')])
learn.fine_tune(2)

W tym przykładzie callback zapisuje model o najlepszej dokładności w trakcie treningu, co pokazuje elastyczność API średniego poziomu.

API niskiego poziomu

Dla zaawansowanych użytkowników i badaczy, którzy potrzebują pełnej kontroli nad swoimi modelami, niskopoziomowe API fastai udostępnia funkcjonalności PyTorch oraz zoptymalizowane prymitywy. Ten poziom API jest przeznaczony dla osób chcących przesuwać granice deep learningu, projektować nowe architektury lub wdrażać własne procedury treningowe.

Cechy API niskiego poziomu

• Pipeline i transformacje: Dowolnie konfigurowalne sekwencje przetwarzania danych, które można dostosować do własnych potrzeb.
• Obiektowe tensory: Rozszerzenia tensorów PyTorch, ułatwiające ich obsługę.
• Zoptymalizowane operacje: Wydajne operacje na tensorach, korzystające z możliwości PyTorch.

Przykład użycia

from fastai.data.all import *
pipe = Pipeline([PILImage.create, Resize(128), ToTensor])
img = pipe('path/to/image.jpg')

Ten fragment kodu pokazuje, jak stworzyć własną pipeline do przetwarzania obrazów, stosując szereg transformacji przy użyciu niskopoziomowego API fastai.

Fastai w praktyce: przykłady z publikacji

1. Fastai: warstwowe API dla deep learningu
   Autorzy: Jeremy Howard, Sylvain Gugger
   Fastai to biblioteka deep learning, która ułatwia szybkie prototypowanie i wdrażanie modeli. Osiąga to, oferując wysokopoziomowe komponenty do standardowych zadań oraz umożliwiając badaczom dostęp do komponentów niskopoziomowych dla własnych rozwiązań. Publikacja opisuje architekturę biblioteki, wykorzystującą dynamikę Pythona i elastyczność PyTorch do tworzenia rozdzielonych abstrakcji dla zadań deep learningu. Innowacje Fastai obejmują system dyspozycji typów, zoptymalizowaną pod GPU bibliotekę wizji komputerowej, nowy projekt optymalizatora oraz dwukierunkowy system callbacków. Prostota obsługi i zdolność do osiągania najnowocześniejszych wyników sprawiły, że Fastai zyskało popularność w badaniach, przemyśle i edukacji. Czytaj więcej

2. Segmentacja mikrokrążenia w Human BioMolecular Atlas Program (HuBMAP)
   Autorzy: Youssef Sultan, Yongqiang Wang, James Scanlon, Lisa D’lima
   W badaniu tym Fastai wykorzystano do segmentacji obrazów w ramach programu HuBMAP, skupiając się na segmentacji struktur mikrokrążenia w nerkach ludzkich. Metodologia rozpoczyna się od modelu U-Net Fastai, eksplorując alternatywne architektury i modele głębokiego uczenia w celu poprawy dokładności segmentacji. Praca pokazuje, że Fastai może być podstawowym narzędziem w obrazowaniu medycznym, oferując zaawansowane techniki segmentacji i ich benchmarkowanie względem modeli bazowych. Czytaj więcej

3. Egglog Python: Pythonowa biblioteka do E-graphs
   Autor: Saul Shanabrook
   Choć nie dotyczy bezpośrednio Fastai, publikacja prezentuje pythonowe bindingi do biblioteki egglog, podkreślając integrację technik e-graph w Pythonie. Podejście to jest zbieżne z filozofią Fastai, która stawia na wykorzystanie mocnych stron Pythona w innowacjach uczenia maszynowego i obliczeń naukowych. Pokazuje, jak pythoniczne API mogą ułatwiać współpracę i innowacje w różnych dziedzinach, potencjalnie komplementując wszechstronność Fastai. [Czytaj więcej](https://arxiv.org/abs/2404