Fréchet Inception Distance (FID)

Fréchet Inception Distance (FID) to miara używana do oceny jakości obrazów generowanych przez modele generatywne, w szczególności Generative Adversarial Networks (GAN-y). W przeciwieństwie do wcześniejszych metryk, takich jak Inception Score (IS), FID porównuje rozkład wygenerowanych obrazów do rozkładu obrazów rzeczywistych, zapewniając bardziej całościową ocenę jakości i różnorodności obrazów.

Definicja Fréchet Inception Distance (FID)

Połączenie odległości Fréchera i modelu Inception

Termin „Fréchet Inception Distance” łączy dwa kluczowe pojęcia:

1. Odległość Fréchera: Wprowadzona przez Maurice’a Fréchera w 1906 roku, ta miara określa podobieństwo między dwiema krzywymi. Można ją sobie wyobrazić jako minimalną „długość smyczy” potrzebną, by połączyć psa i jego właściciela spacerujących różnymi ścieżkami. Odległość Fréchera znajduje zastosowanie w takich dziedzinach jak rozpoznawanie pisma, robotyka czy systemy informacji geograficznej.

2. Model Inception: Opracowany przez Google, model Inception-v3 to architektura konwolucyjnej sieci neuronowej, która przekształca surowe obrazy do przestrzeni ukrytej, gdzie reprezentowane są matematyczne właściwości obrazów. Model ten jest szczególnie przydatny do analizy cech na różnych skalach i lokalizacjach w obrazie.

Jak oblicza się FID

FID jest liczony według następujących kroków:

1. Wstępne przetworzenie obrazów: Zmiana rozmiaru i normalizacja obrazów w celu zapewnienia zgodności.
2. Ekstrakcja reprezentacji cech: Wykorzystanie modelu Inception-v3 do konwersji obrazów na wektory liczbowe reprezentujące różne cechy.
3. Obliczenie statystyk: Wyznaczenie średniej i macierzy kowariancji cech zarówno dla obrazów rzeczywistych, jak i generowanych.
4. Obliczenie odległości Fréchera: Porównanie średnich i macierzy kowariancji w celu wyznaczenia odległości.
5. Uzyskanie FID: Ostateczny wynik FID uzyskuje się przez porównanie odległości Fréchera między obrazami rzeczywistymi a generowanymi. Niższe wartości FID oznaczają większe podobieństwo.

Cel Fréchet Inception Distance (FID)

Ocena jakości i różnorodności obrazów

FID służy głównie do oceny wizualnej jakości i różnorodności obrazów generowanych przez GAN-y. Spełnia kilka funkcji:

• Realizm: Zapewnia, że wygenerowane obrazy wyglądają jak rzeczywiste.
• Różnorodność: Ocenia, czy wygenerowane obrazy są wystarczająco odmienne od siebie i od zbioru treningowego.

Zastosowania

• Ewaluacja modeli: FID jest używany do porównywania różnych modeli generatywnych i ich wariantów.
• Kontrola jakości: Pomaga wykrywać i odrzucać nierealistyczne obrazy, np. te z anomaliami anatomicznymi w generowanych twarzach ludzi.

FID vs. Inception Score (IS)

Kontekst historyczny

Inception Score (IS) był jedną z pierwszych metryk wprowadzonych do oceny GAN-ów, skupiając się na jakości i różnorodności pojedynczych obrazów. Jednakże IS ma pewne ograniczenia, takie jak wrażliwość na rozmiar obrazu czy brak zgodności z oceną ludzką.

Zalety FID

Wprowadzony w 2017 roku FID eliminuje te ograniczenia, porównując statystyczne własności obrazów generowanych z rzeczywistymi. Stał się standardową metryką oceny GAN-ów dzięki lepszemu wychwytywaniu podobieństwa między obrazami rzeczywistymi i generowanymi.

Ograniczenia FID

Chociaż FID jest solidną i szeroko stosowaną metryką, posiada pewne ograniczenia:

• Specyfika domeny: FID dobrze sprawdza się przy obrazach, ale może nie być skuteczny dla innych typów modeli generatywnych, np. generujących tekst czy dźwięk.
• Wysokie wymagania obliczeniowe: Obliczanie FID wymaga znacznych zasobów obliczeniowych.