Fréchet-inceptieafstand (FID)

Fréchet Inception Distance (FID) is een maatstaf die wordt gebruikt om de kwaliteit van afbeeldingen te evalueren die zijn geproduceerd door generatieve modellen, met name Generative Adversarial Networks (GAN’s). In tegenstelling tot eerdere maatstaven zoals de Inception Score (IS), vergelijkt FID de distributie van gegenereerde afbeeldingen met de distributie van echte afbeeldingen, waardoor het een meer holistische maat biedt voor beeldkwaliteit en diversiteit.

Definitie van Fréchet Inception Distance (FID)

Combinatie van Fréchet-afstand en Inception-model

De term “Fréchet Inception Distance” combineert twee kernbegrippen:

1. Fréchet-afstand: Geïntroduceerd door Maurice Fréchet in 1906, kwantificeert deze maat de gelijkenis tussen twee krommen. Het kan worden gezien als de minimale “riemlengte” die nodig is om een hond en zijn baasje te verbinden, die elk een apart pad bewandelen. De Fréchet-afstand vindt toepassing in diverse vakgebieden zoals handschriftherkenning, robotica en geografische informatiesystemen.

2. Inception-model: Ontwikkeld door Google, is het Inception-v3-model een convolutioneel neuraal netwerk dat ruwe afbeeldingen transformeert naar een latente ruimte, waarin de wiskundige eigenschappen van afbeeldingen worden weergegeven. Dit model is bijzonder nuttig voor het analyseren van kenmerken op meerdere schalen en locaties binnen een afbeelding.

Hoe wordt FID gemeten

FID wordt berekend aan de hand van de volgende stappen:

1. Voorbewerken van de afbeeldingen: De afbeeldingen worden van formaat gewijzigd en genormaliseerd om compatibiliteit te garanderen.
2. Kenmerkrepresentaties extraheren: Gebruik het Inception-v3-model om afbeeldingen om te zetten in numerieke vectoren die verschillende kenmerken weergeven.
3. Statistieken berekenen: Bereken het gemiddelde en de covariantiematrix voor de kenmerken van zowel echte als gegenereerde afbeeldingen.
4. Bereken de Fréchet-afstand: Vergelijk de gemiddelden en covariantiematrices om de afstand te berekenen.
5. Verkrijg de FID: De uiteindelijke FID-score wordt verkregen door de Fréchet-afstand tussen de echte en gegenereerde afbeeldingen te vergelijken. Lagere scores duiden op een hogere gelijkenis.

Doel van Fréchet Inception Distance (FID)

Beoordeling van beeldkwaliteit en diversiteit

FID wordt voornamelijk gebruikt om de visuele kwaliteit en diversiteit van afbeeldingen die door GAN’s zijn gegenereerd te beoordelen. Het dient meerdere doelen:

• Realistisch: Zorgt ervoor dat gegenereerde afbeeldingen eruitzien als echte afbeeldingen.
• Diversiteit: Beoordeelt of de gegenereerde afbeeldingen voldoende van elkaar en van de trainingsdata verschillen.

Toepassingen

• Modelbeoordeling: FID wordt gebruikt om verschillende generatieve modellen en hun variaties te vergelijken.
• Kwaliteitscontrole: Helpt bij het identificeren en filteren van onrealistische afbeeldingen, zoals die met anatomische afwijkingen in gegenereerde menselijke gezichten.

FID vs. Inception Score (IS)

Historische context

De Inception Score (IS) was een van de eerste maatstaven die werd geïntroduceerd om GAN’s te evalueren, met de nadruk op individuele beeldkwaliteit en diversiteit. Deze maat heeft echter enkele beperkingen, zoals gevoeligheid voor afbeeldingsgrootte en een gebrek aan overeenstemming met menselijke beoordeling.

Voordelen van FID

Geïntroduceerd in 2017, pakt FID deze beperkingen aan door de statistische eigenschappen van gegenereerde afbeeldingen te vergelijken met die van echte afbeeldingen. Het is uitgegroeid tot de standaardmaatstaf voor het evalueren van GAN’s vanwege het vermogen om de gelijkenis tussen echte en gegenereerde afbeeldingen effectiever vast te leggen.

Beperkingen van FID

Hoewel FID een robuuste en veelgebruikte maat is, zijn er enkele beperkingen:

• Domeinspecificiteit: FID werkt goed voor afbeeldingen, maar is mogelijk minder effectief voor andere typen generatieve modellen, zoals die welke tekst of audio genereren.
• Computationeel intensief: Het berekenen van FID kan veel rekenkracht vereisen.