Fréchet inception distance (FID)

Fréchet Inception Distance (FID) er en måling, der bruges til at evaluere kvaliteten af billeder produceret af generative modeller, især Generative Adversarial Networks (GANs). I modsætning til tidligere målinger som Inception Score (IS) sammenligner FID fordelingen af genererede billeder med fordelingen af ægte billeder og giver en mere helhedsorienteret vurdering af billedkvalitet og diversitet.

Definition af Fréchet Inception Distance (FID)

Kombinationen af Fréchet Distance og Inception Model

Udtrykket “Fréchet Inception Distance” kombinerer to nøglebegreber:

1. Fréchet Distance: Introduceret af Maurice Fréchet i 1906, er denne måling en kvantificering af ligheden mellem to kurver. Den kan forstås som den minimale “snorlængde”, der kræves for at forbinde en hund og dens ejer, der går ad hver sin sti. Fréchet Distance har anvendelser inden for områder som håndskriftgenkendelse, robotteknologi og geografiske informationssystemer.

2. Inception Model: Udviklet af Google, er Inception-v3 modellen en konvolutionel neuralt netværksarkitektur, der omdanner rå billeder til et latent rum, hvor billedernes matematiske egenskaber er repræsenteret. Denne model er særligt nyttig til at analysere træk på flere skalaer og placeringer i et billede.

Hvordan FID måles

FID beregnes ved hjælp af følgende trin:

1. Forbehandling af billeder: Ændr størrelsen og normaliser billederne for at sikre kompatibilitet.
2. Ekstraher funktionsrepræsentationer: Brug Inception-v3 modellen til at konvertere billeder til numeriske vektorer, der repræsenterer forskellige træk.
3. Beregn statistik: Udregn middelværdi og kovariansmatrix for træk fra både ægte og genererede billeder.
4. Beregn Fréchet Distance: Sammenlign middelværdier og kovariansmatricer for at udregne afstanden.
5. Opnå FID: Den endelige FID-score opnås ved at sammenligne Fréchet Distance mellem ægte og genererede billeder. Lavere scores indikerer højere lighed.

Formålet med Fréchet Inception Distance (FID)

Vurdering af billedkvalitet og diversitet

FID bruges primært til at vurdere den visuelle kvalitet og diversitet af billeder genereret af GANs. Den tjener flere formål:

• Realistisk udseende: Sikrer, at genererede billeder ligner ægte billeder.
• Diversitet: Vurderer, om de genererede billeder er tilstrækkeligt forskellige fra hinanden og fra træningsdataene.

Anvendelser

• Modelvurdering: FID bruges til at sammenligne forskellige generative modeller og deres variationer.
• Kvalitetskontrol: Hjælper med at identificere og filtrere urealistiske billeder, såsom dem med anatomiske fejl i genererede menneskeansigter.

FID vs. Inception Score (IS)

Historisk kontekst

Inception Score (IS) var en af de første målinger, der blev introduceret til at evaluere GANs med fokus på individuel billedkvalitet og diversitet. Den har dog visse begrænsninger, såsom følsomhed over for billedstørrelse og manglende overensstemmelse med menneskelig vurdering.

Fordele ved FID

Introduceret i 2017, adresserer FID disse begrænsninger ved at sammenligne de statistiske egenskaber for genererede billeder med dem for ægte billeder. Den er blevet standardmålingen til evaluering af GANs på grund af dens evne til mere effektivt at indfange ligheden mellem ægte og genererede billeder.

Begrænsninger ved FID

Selvom FID er en robust og udbredt måling, har den sine begrænsninger:

• Domænespecifik: FID fungerer godt for billeder, men er måske ikke lige så effektiv for andre typer generative modeller, såsom dem der genererer tekst eller lyd.
• Beregningstung: Udregning af FID kan være ressourcekrævende og kræver betydelig regnekraft.