Fréchet-inception-avstand (FID)

Fréchet-inception-avstand (FID) er en metrikk som brukes til å evaluere kvaliteten på bilder generert av generative modeller, spesielt Generative Adversarial Networks (GAN-er). I motsetning til tidligere metrikker som Inception Score (IS), sammenligner FID fordelingen av genererte bilder med fordelingen av ekte bilder, og gir en mer helhetlig vurdering av bildekvalitet og variasjon.

Definisjon av Fréchet-inception-avstand (FID)

Kombinasjon av Fréchet-avstand og Inception-modell

Begrepet “Fréchet-inception-avstand” kombinerer to viktige konsepter:

1. Fréchet-avstand: Introdusert av Maurice Fréchet i 1906, kvantifiserer denne metrikk likheten mellom to kurver. Det kan tenkes på som den minste “båndlengden” som kreves for å forbinde en hund og dens eier, hvor begge går langs hver sin sti. Fréchet-avstanden har applikasjoner innen ulike felt som håndskriftgjenkjenning, robotikk og geografiske informasjonssystemer.

2. Inception-modell: Utviklet av Google, er Inception-v3 en konvolusjons-basert nevrale nettverksarkitektur som omformer råbilder til et latent rom, hvor de matematiske egenskapene til bildene er representert. Denne modellen er spesielt nyttig for å analysere trekk på flere skalaer og steder i et bilde.

Hvordan FID måles

FID beregnes gjennom følgende trinn:

1. Forbehandle bildene: Endre størrelse og normaliser bildene for å sikre kompatibilitet.
2. Ekstraher trekkrepresentasjoner: Bruk Inception-v3-modellen for å konvertere bilder til numeriske vektorer som representerer ulike trekk.
3. Beregn statistikk: Regn ut gjennomsnitt og kovariansmatrise for trekkene til både ekte og genererte bilder.
4. Beregn Fréchet-avstanden: Sammenlign gjennomsnittene og kovariansmatrisene for å kalkulere avstanden.
5. Oppnå FID: Den endelige FID-poengsummen oppnås ved å sammenligne Fréchet-avstanden mellom ekte og genererte bilder. Lavere poeng indikerer høyere likhet.

Formål med Fréchet-inception-avstand (FID)

Vurdering av bildekvalitet og variasjon

FID brukes hovedsakelig til å vurdere den visuelle kvaliteten og variasjonen til bilder generert av GAN-er. Det har flere formål:

• Realistiskhet: Sikrer at genererte bilder ser ut som ekte bilder.
• Variasjon: Evaluerer om de genererte bildene er tilstrekkelig forskjellige fra hverandre og fra treningsdataene.

Bruksområder

• Modellevaluering: FID brukes til å sammenligne ulike generative modeller og deres varianter.
• Kvalitetskontroll: Hjelper med å identifisere og filtrere ut urealistiske bilder, som de med anatomiske anomalier i genererte menneskeansikter.

FID vs. Inception Score (IS)

Historisk kontekst

Inception Score (IS) var en av de første metrikker som ble introdusert for å evaluere GAN-er, med fokus på individuell bildekvalitet og variasjon. Den har imidlertid noen begrensninger, for eksempel følsomhet for bildestørrelse og manglende samsvar med menneskelig vurdering.

Fordeler med FID

Introdusert i 2017, adresserer FID disse begrensningene ved å sammenligne de statistiske egenskapene til genererte bilder med de til ekte bilder. Den har blitt standardmetrikken for evaluering av GAN-er på grunn av sin evne til å fange opp likheten mellom ekte og genererte bilder mer effektivt.

Begrensninger ved FID

Selv om FID er en robust og mye brukt metrikk, har den sine begrensninger:

• Domeneavhengighet: FID fungerer godt på bilder, men er kanskje ikke like effektiv for andre typer generative modeller, som de som genererer tekst eller lyd.
• Krever mye ressurser: Å beregne FID kan være ressurskrevende og krever betydelig datakraft.