BLEU-score

BLEU-score, eller Bilingual Evaluation Understudy, er en kritisk målemetode for å evaluere kvaliteten på tekst produsert av maskinoversettelsessystemer. Utviklet av IBM i 2001, var det et banebrytende mål som viste sterk korrelasjon med menneskelige vurderinger av oversettelseskvalitet. BLEU-score er fortsatt en hjørnestein innen naturlig språkprosessering (NLP) og brukes mye for å vurdere maskinoversettelsessystemer.

I bunn og grunn måler BLEU-score likheten mellom en maskin-generert oversettelse og en eller flere menneskelige referanseoversettelser. Jo nærmere maskinoversettelsen er referansen, desto høyere BLEU-score, som varierer fra 0 til 1. Poeng nær 1 indikerer større likhet, selv om en perfekt score på 1 er sjelden og kan indikere overtilpasning, noe som ikke er ideelt.

Hovedkomponenter i BLEU-score-beregning

1. N-gram

N-gram er sammenhengende sekvenser av ‘n’ elementer fra en gitt tekst eller taleprøve, vanligvis ord. I BLEU brukes n-gram for å sammenligne maskinoversettelser med referanseoversettelser. For eksempel, i frasen «Katten er på matten», inkluderer n-grammene:

• 1-gram (unigram): «Katten», «er», «på», «matten»
• 2-gram (bigram): «Katten er», «er på», «på matten»
• 3-gram (trigram): «Katten er på», «er på matten»
• 4-gram: «Katten er på matten»

BLEU beregner presisjon ved å bruke disse n-grammene for å måle overlapp mellom kandidatoversettelsen og referanseoversettelsene.

2. Presisjon og modifisert presisjon

BLEU definerer presisjon som andelen n-gram i kandidatoversettelsen som også finnes i referanseoversettelsene. For å unngå å belønne gjentakelse av n-gram, bruker BLEU «modifisert presisjon», som begrenser antallet av hvert n-gram i kandidatoversettelsen til maksimal forekomst i noen referanseoversettelse.

3. Korthetsstraff

Korthetsstraffen er avgjørende i BLEU, og straffer oversettelser som er for korte. Kortere oversettelser kan oppnå høy presisjon ved å utelate usikre deler av teksten. Denne straffen beregnes basert på lengdeforholdet mellom kandidat- og referanseoversettelsen, og sikrer at oversettelsene verken er for korte eller for lange sammenlignet med referansen.

4. Geometrisk gjennomsnitt av presisjonspoeng

BLEU samler presisjonspoeng på tvers av ulike n-gram-størrelser (vanligvis opp til 4-gram) ved å bruke et geometrisk gjennomsnitt, og balanserer behovet for både lokal og bredere kontekst i oversettelsen.

Matematisk rammeverk

BLEU-score er matematisk representert som:

[ \text{BLEU} = \text{BP} \times \exp\left(\sum_{n=1}^{N} w_n \log(p_n)\right) ]

Hvor:

• BP er korthetsstraffen.
• ( w_n ) er vekten for n-gram presisjon (vanligvis satt til 1/n, der n er n-gram-størrelsen).
• ( p_n ) er den modifiserte presisjonen for n-gram.

Bruksområder og applikasjoner

Maskinoversettelse

BLEU brukes primært til å evaluere maskinoversettelsessystemer, og gir et kvantitativt mål for å sammenligne forskjellige systemer og spore forbedringer. Det er spesielt verdifullt innen forskning og utvikling for å teste oversettelsesmodellers effektivitet.

Naturlige språkprosessering-oppgaver

Selv om det opprinnelig var for oversettelse, brukes BLEU også i andre NLP-oppgaver som tekstsammendrag og parafrasering, hvor det er ønskelig å generere tekst lik en menneskelig referanse.

AI-automatisering og chatboter

BLEU kan vurdere kvaliteten på svar generert av AI-modeller i automatisering og chatboter, og sørge for at utdataene er sammenhengende og kontekstuelt riktige i forhold til menneskelige svar.

Kritikk og begrensninger

Til tross for utstrakt bruk har BLEU noen begrensninger:

• Manglende semantisk forståelse: BLEU fokuserer på strenglikhet, ikke semantisk mening, noe som kan føre til villedende resultater hvis synonymer eller parafrasering brukes.
• Følsomhet for referanseoversettelser: BLEU-score avhenger sterkt av kvaliteten og antallet referanseoversettelser; flere referanser gir vanligvis høyere poeng på grunn av flere muligheter for samsvar.
• Villedende høye poeng: Høy BLEU-score gir ikke alltid høy kvalitet, spesielt hvis systemet er overtilpasset testsystemet.
• Ignorerer ordrekkefølge: BLEU straffer ikke feil ordrekkefølge tilstrekkelig, noe som kan påvirke meningen i en setning.