Skorygowany współczynnik determinacji (Adjusted R-squared)

Skorygowany współczynnik determinacji (Adjusted R-squared) ocenia dopasowanie modelu regresji, korygując wynik o liczbę predyktorów, aby uniknąć przeuczenia. W przeciwieństwie do R-kwadrat rośnie tylko wtedy, gdy dodane predyktory są istotne. Jest kluczowy w analizie regresji, wspiera wybór modelu i ocenę jego wydajności w takich dziedzinach jak finanse.

Skorygowany współczynnik determinacji to miara statystyczna używana do oceny jakości dopasowania modelu regresji. Jest to zmodyfikowana wersja R-kwadrat (czyli współczynnika determinacji), która uwzględnia liczbę predyktorów użytych w modelu. W przeciwieństwie do R-kwadrat, które może być sztucznie podwyższone przez dodanie kolejnych zmiennych niezależnych, skorygowany współczynnik determinacji koryguje wynik w zależności od liczby predyktorów, zapewniając dokładniejszą ocenę siły wyjaśniającej modelu. Wartość ta wzrasta tylko wtedy, gdy nowy predyktor rzeczywiście poprawia moc predykcyjną modelu bardziej, niż można by się tego spodziewać przez przypadek, a spada, gdy predyktor nie wnosi znaczącej wartości.

Zrozumienie pojęcia

R-kwadrat a skorygowany współczynnik determinacji

• R-kwadrat: Oznacza część zmienności zmiennej zależnej, którą można przewidzieć na podstawie zmiennych niezależnych. Oblicza się go jako stosunek wyjaśnionej wariancji do całkowitej wariancji i przyjmuje wartości od 0 do 1, gdzie 1 oznacza, że model wyjaśnia całą zmienność danych wokół średniej.
• Skorygowany współczynnik determinacji: Ta miara koryguje wartość R-kwadrat, biorąc pod uwagę liczbę predyktorów w modelu. Korekta ta jest ważna, ponieważ zbyt wiele predyktorów może prowadzić do przeuczenia poprzez dopasowywanie się do przypadkowego szumu. Skorygowany współczynnik determinacji zawsze jest mniejszy lub równy R-kwadrat i może przyjmować wartości ujemne, co oznacza, że model jest gorszy niż pozioma linia przechodząca przez średnią zmiennej zależnej.

Wzór matematyczny

Wzór na skorygowany współczynnik determinacji to:

[ \text{Adjusted } R^2 = 1 – \left( \frac{1-R^2}{n-k-1} \right) \times (n-1) ]

Gdzie:

• ( R^2 ) to wartość R-kwadrat,
• ( n ) to liczba obserwacji,
• ( k ) to liczba zmiennych niezależnych (predyktorów).

Znaczenie w analizie regresji

Skorygowany współczynnik determinacji jest szczególnie istotny w analizie regresji, zwłaszcza gdy mamy do czynienia z modelami wielorakiej regresji zawierającymi wiele zmiennych niezależnych. Pomaga zidentyfikować, które zmienne wnoszą istotną informację do modelu, a które nie. To szczególnie ważne w takich dziedzinach jak finanse, ekonomia czy data science, gdzie modelowanie predykcyjne odgrywa kluczową rolę.

Przeuczenie i złożoność modelu

Jedną z głównych zalet skorygowanego współczynnika determinacji jest to, że penalizuje on dodawanie nieistotnych predyktorów. Dodanie kolejnych zmiennych do modelu regresji zwykle zwiększa R-kwadrat, ponieważ łatwiej uchwycić przypadkowy szum. Jednak skorygowany współczynnik determinacji wzrośnie tylko wtedy, gdy dodana zmienna rzeczywiście poprawia moc predykcyjną modelu, dzięki czemu pozwala uniknąć przeuczenia.

Przykłady zastosowań

Zastosowanie w uczeniu maszynowym

W uczeniu maszynowym skorygowany współczynnik determinacji służy do oceny skuteczności modeli regresyjnych. Jest szczególnie przydatny podczas wyboru cech (feature selection), który stanowi kluczowy etap optymalizacji modelu. Dzięki tej miarze data scientist może mieć pewność, że do modelu trafiają wyłącznie te cechy, które realnie podnoszą jego skuteczność.

Zastosowanie w finansach

W finansach skorygowany współczynnik determinacji jest często wykorzystywany do porównywania wyników portfeli inwestycyjnych względem indeksu referencyjnego. Dzięki korekcie o liczbę zmiennych inwestorzy mogą lepiej ocenić, w jakim stopniu zwroty portfela tłumaczone są przez różne czynniki ekonomiczne.

Prosty przykład

Wyobraźmy sobie model przewidujący ceny domów na podstawie powierzchni i liczby sypialni. Początkowo model wykazuje wysoką wartość R-kwadrat, sugerując dobre dopasowanie. Gdy jednak dodamy nieistotne zmienne, takie jak kolor drzwi wejściowych, R-kwadrat może pozostać wysoki. Skorygowany współczynnik determinacji spadnie w tym przypadku, sygnalizując, że nowe zmienne nie poprawiają skuteczności modelu.

Szczegółowy przykład

Według przewodnika Corporate Finance Institute rozważmy dwa modele regresji służące do przewidywania ceny pizzy. Pierwszy wykorzystuje jako zmienną wejściową wyłącznie cenę ciasta, uzyskując R-kwadrat 0,9557 oraz skorygowany współczynnik determinacji 0,9493. Drugi model dodaje temperaturę jako drugą zmienną, uzyskując R-kwadrat 0,9573, ale niższy skorygowany współczynnik determinacji 0,9431. Skorygowany współczynnik determinacji prawidłowo wskazuje, że temperatura nie poprawia mocy predykcyjnej modelu, co pozwala analitykom wybrać pierwszy model.

Porównanie z innymi miarami

Chociaż zarówno R-kwadrat, jak i skorygowany współczynnik determinacji służą do oceny dopasowania modelu, nie są one zamienne i mają inne zastosowania. R-kwadrat sprawdzi się lepiej w prostej regresji liniowej z jedną zmienną niezależną, natomiast skorygowany współczynnik determinacji jest bardziej odpowiedni dla modeli wielorakiej regresji z wieloma predyktorami.