Krížová validácia

Krížová validácia je štatistická metóda používaná na vyhodnocovanie a porovnávanie modelov strojového učenia delením dát na trénovacie a validačné sady viackrát. Hlavnou myšlienkou je posúdiť, ako dobre sa výsledky modelu generalizujú na nezávislú dátovú sadu, aby model nefungoval dobre len na trénovacích dátach, ale aj na nevidených údajoch. Táto technika je kľúčová pri zmierňovaní problémov ako je preučenie, kedy sa model naučí trénovacie dáta príliš dobre vrátane šumu a odľahlých hodnôt, no zlyháva na nových dátach.

Čo je krížová validácia?

Krížová validácia zahŕňa rozdelenie dátovej sady na doplnkové podmnožiny, pričom jedna podmnožina slúži na trénovanie modelu a druhá na jeho validáciu. Proces sa opakuje vo viacerých kolách, pričom v každom kole sa na trénovanie a validáciu používajú iné podmnožiny. Výsledky validácie sa následne spriemerujú, čím vzniká jeden odhad výkonu modelu. Táto metóda poskytuje presnejšie meranie predikčného výkonu modelu v porovnaní s jednoduchým rozdelením na trénovaciu a testovaciu sadu.

Typy krížovej validácie

1. K-násobná krížová validácia

   • Dátová sada je rozdelená na ‘k’ rovnako veľkých častí (foldov).
   • V každej iterácii slúži jedna časť ako validačná sada a zvyšných ‘k-1’ častí tvorí trénovaciu sadu.
   • Tento proces sa opakuje ‘k’ krát. Výsledky sa spriemerujú na získanie finálneho odhadu výkonu.
   • Typická voľba pre ‘k’ je 10, ale môže sa líšiť.

2. Stratifikovaná K-násobná krížová validácia

   • Podobne ako K-násobná, ale zabezpečuje rovnaké zastúpenie tried vo všetkých foldoch.
   • Užitočná pri nevyvážených dátach.

3. Leave-One-Out krížová validácia (LOOCV)

   • Každý príklad v dátovej sade je raz použitý ako validačná sada; zvyšok tvorí trénovaciu sadu.
   • Výpočtovo náročná, vhodná pre malé dátové sady.

4. Holdout metóda

   • Dátová sada je rozdelená na dve časti: jednu na trénovanie a druhú na testovanie.
   • Jednoduchá, ale menej robustná, pretože výkon závisí od konkrétneho rozdelenia.

5. Krížová validácia časových radov

   • Určená pre časové rady.
   • Zachováva časové poradie, aby sa zabránilo použitiu budúcich údajov v skorších tréningových sadách.

6. Leave-P-Out krížová validácia

   • ‘p’ dátových bodov je ponechaných ako validačná sada, model sa trénuje na zvyšku.
   • Opakuje sa pre každú možnú podmnožinu ‘p’ bodov; dôkladná, no výpočtovo veľmi náročná.
   • Viac o náročnosti

7. Monte Carlo krížová validácia (Shuffle-Split)

   • Dáta sa náhodne rozdelia na trénovacie a validačné sady viackrát.
   • Výsledky sa spriemerujú, čo poskytuje viac variácií rozdelení v porovnaní s k-násobnou validáciou.

Význam v strojovom učení

Krížová validácia je zásadnou súčasťou vyhodnocovania modelov strojového učenia. Poskytuje pohľad na to, ako bude model fungovať na nevidených dátach a pomáha pri ladení hyperparametrov tým, že umožňuje model trénovať a validovať na viacerých podmnožinách dát. Tento proces napomáha výberu najlepšieho modelu a optimálnych hyperparametrov, čím zlepšuje schopnosť modelu generalizovať.

Prevencia preučenia a nedoučenia

Jednou z hlavných výhod krížovej validácie je jej schopnosť odhaliť preučenie. Validovaním modelu na viacerých podmnožinách dát poskytuje krížová validácia realistickejší odhad generalizácie modelu. Zabezpečuje, že model si nielen pamätá trénovacie dáta, ale skutočne sa naučí presne predikovať nové údaje. Na druhej strane, ak model dosahuje slabé výsledky vo všetkých validačných sadách, je to známka nedoučenia – teda neschopnosti zachytiť základné vzory v dátach.

Príklady a použitie

Príklad: K-násobná krížová validácia

Predstavme si dátovú sadu s 1000 príkladmi. Pri 5-násobnej krížovej validácii:

• Dátová sada je rozdelená na 5 častí po 200 príkladov.
• V prvej iterácii prvých 200 slúži na validáciu, zvyšných 800 na trénovanie.
• Tento proces sa opakuje päťkrát, pričom každá časť je raz validačná sada.
• Výsledky sa spriemerujú na odhad výkonu.

Použitie: Ladenie hyperparametrov

Krížová validácia je kľúčová pri ladení hyperparametrov. Napríklad pri trénovaní Support Vector Machine (SVM):

• Výber typu jadra a regularizačného parametra ‘C’ výrazne ovplyvňuje výkon.
• Testovaním rôznych kombinácií pomocou krížovej validácie sa identifikuje optimálne nastavenie pre maximálnu presnosť.

Použitie: Výber modelu

Keď je viacero kandidátov na nasadenie:

• Porovnajte modely ako Random Forest, Gradient Boosting a neurónové siete na tej istej dátovej sade pomocou krížovej validácie.
• Robustne porovnajte ich výkony a vyberte model, ktorý najlepšie generalizuje.

Použitie: Predikcia časových radov

Pri časových radoch:

• Použite krížovú validáciu časových radov na trénovanie na historických údajoch a validáciu na budúcich bodoch.
• Zabezpečí robustné predikcie na základe historických vzorov.

Implementácia v Pythone

Python knižnice ako Scikit-learn poskytujú vstavané funkcie na krížovú validáciu.

Príklad implementácie k-násobnej krížovej validácie pomocou Scikit-learn:

from sklearn.model_selection import cross_val_score, KFold
from sklearn.svm import SVC
from sklearn.datasets import load_iris

# Načítanie datasetu
iris = load_iris()
X, y = iris.data, iris.target

# Vytvorenie SVM klasifikátora
svm_classifier = SVC(kernel='linear')

# Definovanie počtu foldov
num_folds = 5
kf = KFold(n_splits=num_folds, shuffle=True, random_state=42)

# Spustenie krížovej validácie
cross_val_results = cross_val_score(svm_classifier, X, y, cv=kf)

# Vyhodnotenie výsledkov
print(f'Výsledky krížovej validácie (Presnosť): {cross_val_results}')
print(f'Priemerná presnosť: {cross_val_results.mean()}')

Výzvy a úvahy

Výpočtová náročnosť

• Krížová validácia (najmä LOOCV) môže byť výpočtovo veľmi náročná, keďže vyžaduje viacnásobné trénovanie modelu.
• Veľké dátové sady alebo komplexné modely zvyšujú výpočtovú záťaž.

Kompromis medzi biasom a varianciou

• Výber ‘k’ pri k-násobnej validácii ovplyvňuje bias a varianciu.
  • Menšie ‘k’: Vyššia variancia, nižší bias
  • Väčšie ‘k’: Nižšia variancia, vyšší bias
• Je dôležité zvoliť správnu rovnováhu.

Práca s nevyváženými dátami

• Pri nevyvážených dátach zabezpečí stratifikovaná krížová validácia, že každá časť odráža celkové zastúpenie tried.
• Predchádza zaujatosti voči väčšinovej triede.

Vedecké články týkajúce sa krížovej validácie

Krížová validácia je štatistická metóda na odhad schopností modelov strojového učenia. Primárne sa používa v aplikovanom strojovom učení na odhad výkonu modelu na nových dátach. Krížová validácia zahŕňa rozdelenie dát na doplnkové podmnožiny, vykonanie analýzy na jednej podmnožine (trénovacia sada) a validáciu analýzy na druhej podmnožine (testovacia sada). Pre hlbšie pochopenie krížovej validácie môžeme odkázať na niekoľko vedeckých článkov:

1. Approximate Cross-validation: Guarantees for Model Assessment and Selection
   Ashia Wilson, Maximilian Kasy, and Lester Mackey (2020)
   Diskutuje o výpočtovej náročnosti krížovej validácie s mnohými foldmi, navrhuje aproximáciu pomocou jedného Newtonovho kroku a poskytuje záruky pre nespojitý predikčný problém.
   Viac informácií tu

2. Counterfactual Cross-Validation: Stable Model Selection Procedure for Causal Inference Models
   Yuta Saito and Shota Yasui (2020)
   Zameriava sa na výber modelu pri predikcii podmieneného priemerného efektu liečby, navrhuje nový metriku na stabilné a presné porovnanie výkonu, užitočné v kauzálnych inferenciách.
   Viac informácií tu

3. Blocked Cross-Validation: A Precise and Efficient Method for Hyperparameter Tuning
   Giovanni Maria Merola (2023)
   Predstavuje blokovanú krížovú validáciu (BCV), ktorá poskytuje presnejšie odhady chýb pri menšom množstve výpočtov, čím zvyšuje efektivitu ladenia hyperparametrov.
   Viac informácií tu