Szacowanie głębokości
Szacowanie głębokości to kluczowe zadanie w dziedzinie widzenia komputerowego, polegające na przewidywaniu odległości obiektów na obrazie względem kamery. Przek...
6 min czytania
Computer Vision
Depth Estimation
+5
Fréchet Inception Distance (FID) to miara używana do oceny jakości obrazów generowanych przez modele generatywne, w szczególności Generative Adversarial Networks (GAN-y). W przeciwieństwie do wcześniejszych metryk, takich jak Inception Score (IS), FID porównuje rozkład wygenerowanych obrazów do rozkładu obrazów rzeczywistych, zapewniając bardziej całościową ocenę jakości i różnorodności obrazów.
Definicja Fréchet Inception Distance (FID)
Połączenie odległości Fréchera i modelu Inception
Termin „Fréchet Inception Distance” łączy dwa kluczowe pojęcia:
Odległość Fréchera: Wprowadzona przez Maurice’a Fréchera w 1906 roku, ta miara określa podobieństwo między dwiema krzywymi. Można ją sobie wyobrazić jako minimalną „długość smyczy” potrzebną, by połączyć psa i jego właściciela spacerujących różnymi ścieżkami. Odległość Fréchera znajduje zastosowanie w takich dziedzinach jak rozpoznawanie pisma, robotyka czy systemy informacji geograficznej.
Model Inception: Opracowany przez Google, model Inception-v3 to architektura konwolucyjnej sieci neuronowej, która przekształca surowe obrazy do przestrzeni ukrytej, gdzie reprezentowane są matematyczne właściwości obrazów. Model ten jest szczególnie przydatny do analizy cech na różnych skalach i lokalizacjach w obrazie.
Jak oblicza się FID
FID jest liczony według następujących kroków:
- Wstępne przetworzenie obrazów: Zmiana rozmiaru i normalizacja obrazów w celu zapewnienia zgodności.
- Ekstrakcja reprezentacji cech: Wykorzystanie modelu Inception-v3 do konwersji obrazów na wektory liczbowe reprezentujące różne cechy.
- Obliczenie statystyk: Wyznaczenie średniej i macierzy kowariancji cech zarówno dla obrazów rzeczywistych, jak i generowanych.
- Obliczenie odległości Fréchera: Porównanie średnich i macierzy kowariancji w celu wyznaczenia odległości.
- Uzyskanie FID: Ostateczny wynik FID uzyskuje się przez porównanie odległości Fréchera między obrazami rzeczywistymi a generowanymi. Niższe wartości FID oznaczają większe podobieństwo.
Cel Fréchet Inception Distance (FID)
Ocena jakości i różnorodności obrazów
FID służy głównie do oceny wizualnej jakości i różnorodności obrazów generowanych przez GAN-y. Spełnia kilka funkcji:
- Realizm: Zapewnia, że wygenerowane obrazy wyglądają jak rzeczywiste.
- Różnorodność: Ocenia, czy wygenerowane obrazy są wystarczająco odmienne od siebie i od zbioru treningowego.
Zastosowania
- Ewaluacja modeli: FID jest używany do porównywania różnych modeli generatywnych i ich wariantów.
- Kontrola jakości: Pomaga wykrywać i odrzucać nierealistyczne obrazy, np. te z anomaliami anatomicznymi w generowanych twarzach ludzi.
Gotowy na rozwój swojej firmy?
Rozpocznij bezpłatny okres próbny już dziś i zobacz rezultaty w ciągu kilku dni.
FID vs. Inception Score (IS)
Kontekst historyczny
Inception Score (IS) był jedną z pierwszych metryk wprowadzonych do oceny GAN-ów, skupiając się na jakości i różnorodności pojedynczych obrazów. Jednakże IS ma pewne ograniczenia, takie jak wrażliwość na rozmiar obrazu czy brak zgodności z oceną ludzką.
Zalety FID
Wprowadzony w 2017 roku FID eliminuje te ograniczenia, porównując statystyczne własności obrazów generowanych z rzeczywistymi. Stał się standardową metryką oceny GAN-ów dzięki lepszemu wychwytywaniu podobieństwa między obrazami rzeczywistymi i generowanymi.
Ograniczenia FID
Chociaż FID jest solidną i szeroko stosowaną metryką, posiada pewne ograniczenia:
- Specyfika domeny: FID dobrze sprawdza się przy obrazach, ale może nie być skuteczny dla innych typów modeli generatywnych, np. generujących tekst czy dźwięk.
- Wysokie wymagania obliczeniowe: Obliczanie FID wymaga znacznych zasobów obliczeniowych.
