Korsvalidering

Korsvalidering är en statistisk metod som används för att utvärdera och jämföra maskininlärningsmodeller genom att dela upp data i tränings- och valideringsuppsättningar flera gånger. Kärnan i metoden är att bedöma hur modellens resultat kommer att generaliseras till ett oberoende datamängd, vilket säkerställer att modellen presterar bra inte bara på träningsdata utan även på ny, osedd data. Denna teknik är avgörande för att mildra problem som överanpassning, där en modell lär sig träningsdatan för väl, inklusive dess brus och avvikelser, men presterar dåligt på ny data.

Vad är korsvalidering?

Korsvalidering innebär att ett dataset delas upp i kompletterande delmängder, där en del används för att träna modellen och den andra för att validera den. Processen upprepas i flera omgångar, med olika delmängder som används för träning och validering i varje omgång. Valideringsresultaten genomsnittas sedan för att ge en enda uppskattning av modellens prestanda. Denna metod ger en mer exakt mätning av modellens prediktiva förmåga jämfört med en enkel träningstest-uppdelning.

Typer av korsvalidering

1. K-faldig korsvalidering

   • Datasetet delas upp i ‘k’ lika stora delar (fald).
   • Vid varje iteration används en del som valideringsuppsättning, medan de övriga ‘k-1’ delarna bildar träningsuppsättningen.
   • Denna process upprepas ‘k’ gånger. Resultaten genomsnittas för att ge en slutlig prestanda.
   • Ett vanligt val för ‘k’ är 10, men det kan variera.

2. Stratifierad K-faldig korsvalidering

   • Liknar k-faldig, men behåller samma klassfördelning i alla delar.
   • Användbart för obalanserade dataset.

3. Leave-One-Out-korsvalidering (LOOCV)

   • Varje instans i datasetet används en gång som valideringsuppsättning; resten bildar träningsuppsättningen.
   • Beräkningsintensiv men användbar för små dataset.

4. Holdout-metoden

   • Datasetet delas i två delar: en för träning och en för testning.
   • Enkel men mindre robust, då prestandan beror på uppdelningen.

5. Tidsserie-korsvalidering

   • Utformad för tidsseriedata.
   • Respekterar den tidsmässiga ordningen för att säkerställa att ingen framtida datapunkt används för träning i tidigare uppsättningar.

6. Leave-P-Out-korsvalidering

   • ‘p’ datapunkter lämnas utanför som valideringsuppsättning och modellen tränas på resten.
   • Upprepas för varje möjlig delmängd av ‘p’ punkter; grundlig men mycket resurskrävande.
   • Mer om kostnad

7. Monte Carlo-korsvalidering (Shuffle-Split)

   • Datan blandas slumpmässigt till tränings- och valideringsuppsättningar flera gånger.
   • Genomsnittar resultaten och ger mer variation i uppdelningar än k-faldig.

Betydelse inom maskininlärning

Korsvalidering är en viktig komponent i utvärderingen av maskininlärningsmodeller. Den ger insikter i hur en modell kommer att prestera på osedd data och hjälper vid justering av hyperparametrar, eftersom modellen kan tränas och valideras på flera datadelar. Denna process kan vägleda valet av den bäst presterande modellen och de optimala hyperparametrarna, vilket stärker modellens förmåga att generalisera.

Undvika överanpassning och underanpassning

En av de främsta fördelarna med korsvalidering är dess förmåga att upptäcka överanpassning. Genom att validera modellen på flera datadelar ger korsvalidering en mer realistisk uppskattning av modellens generaliseringsförmåga. Det säkerställer att modellen inte bara memorerar träningsdatan utan lär sig att förutsäga ny data korrekt. Å andra sidan kan underanpassning identifieras om modellen presterar dåligt på samtliga valideringsuppsättningar, vilket indikerar att den inte fångar de underliggande datamönstren.

Exempel och användningsområden

Exempel: K-faldig korsvalidering

Anta ett dataset med 1000 instanser. Vid 5-faldig korsvalidering:

• Datasetet delas i 5 delar, vardera med 200 instanser.
• I första omgången används de första 200 för validering och de återstående 800 för träning.
• Detta upprepas fem gånger, så att varje del fungerar som valideringsuppsättning en gång.
• Resultaten från varje omgång genomsnittas för att uppskatta prestandan.

Användningsområde: Hyperparameterinställning

Korsvalidering är avgörande vid inställning av hyperparametrar. Till exempel vid träning av en Support Vector Machine (SVM):

• Valet av kärntyp och regulariseringsparameter ‘C’ påverkar prestandan avsevärt.
• Genom att testa olika kombinationer via korsvalidering kan den optimala konfigurationen identifieras för att maximera noggrannheten.

Användningsområde: Modellval

När flera modeller är kandidater för produktion:

• Utvärdera modeller som Random Forest, Gradient Boosting och Neurala nätverk på samma dataset med hjälp av korsvalidering.
• Jämför deras prestanda robust och välj den modell som generaliserar bäst.

Användningsområde: Tidsserieprognoser

För tidsseriedata:

• Använd tidsserie-korsvalidering för att träna på historisk data och validera på framtida punkter.
• Säkerställer robusta framtida prognoser baserat på historiska mönster.

Implementering i Python

Python-bibliotek som Scikit-learn erbjuder inbyggda funktioner för korsvalidering.

Exempel på implementering av k-faldig korsvalidering med Scikit-learn:

from sklearn.model_selection import cross_val_score, KFold
from sklearn.svm import SVC
from sklearn.datasets import load_iris

# Ladda dataset
iris = load_iris()
X, y = iris.data, iris.target

# Skapa SVM-klassificerare
svm_classifier = SVC(kernel='linear')

# Definiera antal delar
num_folds = 5
kf = KFold(n_splits=num_folds, shuffle=True, random_state=42)

# Utför korsvalidering
cross_val_results = cross_val_score(svm_classifier, X, y, cv=kf)

# Utvärderingsmått
print(f'Korsvalideringsresultat (Noggrannhet): {cross_val_results}')
print(f'Medelnoggrannhet: {cross_val_results.mean()}')

Utmaningar och överväganden

Beräkningskostnad

• Korsvalidering (särskilt LOOCV) kan vara beräkningsintensivt och kräver att modellen tränas flera gånger.
• Stora dataset eller komplexa modeller ökar den beräkningsmässiga belastningen.

Bias-varians-avvägning

• Valet av ‘k’ i k-faldig påverkar bias och varians.
  • Mindre ‘k’: Högre varians, lägre bias
  • Större ‘k’: Lägre varians, högre bias
• Balans är viktigt.

Hantering av obalanserad data

• För obalanserade dataset säkerställer stratifierad korsvalidering att varje del speglar den övergripande klassfördelningen.
• Förhindrar bias mot majoritetsklassen.

Vetenskapliga artiklar relaterade till korsvalidering

Korsvalidering är en statistisk metod som används för att uppskatta färdigheten hos maskininlärningsmodeller. Den används främst inom tillämpad maskininlärning för att uppskatta en modells förmåga på ny data. Korsvalidering innebär att ett dataset delas upp i kompletterande delmängder, där analysen görs på en del (träningsuppsättningen) och valideras på den andra (testuppsättningen). För att ge en djupare förståelse för korsvalidering kan vi hänvisa till flera vetenskapliga artiklar:

1. Approximate Cross-validation: Guarantees for Model Assessment and Selection
   Ashia Wilson, Maximilian Kasy och Lester Mackey (2020)
   Diskuterar den beräkningsintensiva naturen hos korsvalidering med många delar, föreslår approximation via ett enda Newton-steg och ger garantier för icke-släta prediktionsproblem.
   Läs mer här

2. Counterfactual Cross-Validation: Stable Model Selection Procedure for Causal Inference Models
   Yuta Saito och Shota Yasui (2020)
   Fokuserar på modellval i prediktion av genomsnittlig behandlingseffekt, föreslår ett nytt mått för stabil och exakt prestandaranking, användbart inom kausal inferens.
   Läs mer här

3. Blocked Cross-Validation: A Precise and Efficient Method for Hyperparameter Tuning
   Giovanni Maria Merola (2023)
   Introducerar blockad korsvalidering (BCV), som ger mer precisa feluppskattningar med färre beräkningar och förbättrar effektiviteten vid hyperparameterinställning.
   Läs mer här