Jak model z 7 milionami parametrów pokonuje czołowe modele AI

Wprowadzenie

Środowisko sztucznej inteligencji przez długi czas kierowało się fundamentalnym założeniem: większe znaczy lepsze. Większe modele z większą liczbą parametrów, większą ilością danych do treningu i większymi zasobami obliczeniowymi konsekwentnie przewyższały mniejsze odpowiedniki. Jednak przełomowa publikacja badawcza firmy Samsung podważyła tę konwencjonalną mądrość w sposób, który może całkowicie zmienić nasze myślenie o projektowaniu modeli AI i ich efektywności. Niewielka sieć neuronowa mająca zaledwie 7 milionów parametrów — ułamek wielkości czołowych modeli takich jak GPT-4, Gemini 2.5 Pro czy DeepSeek — osiąga obecnie lepsze wyniki na jednych z najtrudniejszych benchmarków rozumowania w AI. To niezwykłe osiągnięcie nie wynika z prostego zwiększenia liczby danych treningowych czy mocy obliczeniowej. Jest efektem fundamentalnego przemyślenia sposobu, w jaki sieci neuronowe podchodzą do rozwiązywania złożonych problemów, poprzez technikę zwaną rekurencyjnym rozumowaniem hierarchicznym, połączoną z głębokim nadzorem. W tym kompleksowym przewodniku wyjaśnimy, jak działa ten mały model, dlaczego jest tak skuteczny i co oznacza dla przyszłości rozwoju i wdrażania AI.

Zrozumienie ograniczeń obecnych dużych modeli językowych

Zanim docenimy innowację stojącą za Tiny Recursive Model, musimy zrozumieć, dlaczego duże modele językowe mają trudności z rozwiązywaniem złożonych zadań wymagających rozumowania. Nowoczesne duże modele językowe, takie jak GPT-4, Claude czy Gemini, opierają się na podstawowej zasadzie: przewidują kolejny token w sekwencji na podstawie wcześniejszych tokenów. To podejście autoregresyjne okazało się niezwykle skuteczne w wielu zadaniach — od tłumaczenia, przez streszczanie, po twórcze pisanie. Jednak w przypadku trudnych problemów wymagających rozumowania — szczególnie tych, które wymagają wieloetapowego wnioskowania logicznego, spełnienia ograniczeń lub abstrakcyjnego rozpoznawania wzorców — pojawiają się poważne ograniczenia. Główny problem polega na tym, że jeden błędny token może unieważnić całą odpowiedź. Wyobraź sobie rozwiązywanie złożonego równania matematycznego: jeśli model popełni błąd już na pierwszym etapie, wszystkie kolejne kroki stają się bezwartościowe. Ten efekt kaskadowania błędów narasta wykładniczo wraz ze wzrostem złożoności problemu. Co więcej, duże modele językowe nie “rozumują” tak jak ludzie. Wykonują wyrafinowane dopasowanie wzorców na podstawie danych treningowych, a nie angażują się w rzeczywiste wnioskowanie logiczne. W obliczu nowych problemów, wymagających rozumowania wykraczającego poza rozkład treningowy, często zawodzą spektakularnie. Dlatego nawet najbardziej zaawansowane modele mają trudności z benchmarkami takimi jak ARC AGI (Abstraction and Reasoning Corpus), które testują zdolność do rozwiązywania nowych zadań wymagających prawdziwego myślenia abstrakcyjnego, a nie jedynie rozpoznawania wzorców.

Ewolucja technik rozumowania w AI

Społeczność badaczy AI opracowała kilka technik, które mają zaradzić ograniczeniom rozumowania dużych modeli językowych, każda z nich ma swoje zalety i wady. Najbardziej znaną jest chain-of-thought prompting — technika, która stała się powszechna w nowoczesnych systemach AI. Polega ona na zachęcaniu modelu do generowania rozumowania krok po kroku, zanim poda ostateczną odpowiedź. Zamiast bezpośredniego przechodzenia do konkluzji, model jest pobudzany, by “przemyśleć” problem, generując pośrednie kroki rozumowania prowadzące do rozwiązania. To podejście okazało się bardzo skuteczne, a badania pokazują, że chain-of-thought znacznie poprawia wyniki w zadaniach wymagających rozumowania. Jednak ma ono także istotne wady. Po pierwsze, jest kosztowne obliczeniowo — generowanie wielu kroków rozumowania wymaga przetwarzania znacznie większej liczby tokenów, co wydłuża czas wnioskowania i zwiększa koszty. Po drugie, wymaga wysokiej jakości danych rozumowania do treningu, co jest kosztowne i czasochłonne. Po trzecie — i być może najważniejsze — chain-of-thought jest kruche. Generowane rozumowanie może być błędne, a jeśli jest wadliwe, końcowa odpowiedź również będzie niepoprawna. Model nie weryfikuje faktycznie swojego rozumowania — jedynie generuje przekonująco brzmiące wyjaśnienia, które mogą, ale nie muszą być logicznie poprawne. Inną popularną techniką jest pass-at-K sampling, w której model generuje wiele kandydatów odpowiedzi i wybiera najlepszą. Jeśli zapytasz model “Ile to 5 razy 5?”, może on wygenerować dziesięć różnych odpowiedzi i wybrać najtrafniejszą. Chociaż może to poprawić skuteczność, jest również kosztowne obliczeniowo i nie rozwiązuje podstawowego problemu: model nadal nie rozumuje, a jedynie generuje wiele przewidywań i liczy, że któreś będzie poprawne. Te techniki reprezentują podejście nazywane “test-time compute scaling” — używanie większych zasobów obliczeniowych podczas wnioskowania, by poprawić jakość odpowiedzi. Choć skuteczne, jest ono ograniczone tym, że sam model nie wykonuje prawdziwego rozumowania, a jedynie generuje więcej przewidywań z nadzieją na lepszy wynik.

Benchmark ARC AGI: dlaczego jest tak ważny

Aby zrozumieć znaczenie osiągnięć Tiny Recursive Model, musimy poznać benchmark, na którym jest oceniany: ARC AGI (Abstraction and Reasoning Corpus). ARC AGI został stworzony, by testować coś, czego nie sprawdza większość benchmarków AI: autentyczną zdolność do abstrakcyjnego rozumowania. W przeciwieństwie do benchmarków badających wiedzę lub rozpoznawanie wzorców, ARC AGI przedstawia nowe wizualne łamigłówki wymagające identyfikowania abstrakcyjnych wzorców i stosowania ich w nowych sytuacjach. Benchmark składa się z zadań, w których model otrzymuje kilka przykładów par wejście-wyjście i musi samodzielnie odkryć regułę lub przekształcenie, a następnie zastosować ją do nowych danych. Nie są to zadania, które można rozwiązać zapamiętywaniem czy dopasowywaniem wzorców z danych treningowych — wymagają one autentycznego rozumowania i zdolności do uogólniania abstrakcyjnych pojęć. Od wprowadzenia ARC AGI w 2019 roku benchmark ten stał się złotym standardem oceny zdolności rozumowania systemów AI. Pomimo sześciu lat rozwoju dużych modeli językowych, ludzka skuteczność na ARC AGI wciąż nie została osiągnięta. To przypomina, że nawet najbardziej imponujące systemy AI mają trudności z zadaniami, które dla ludzi są stosunkowo proste. Gemini 2.5 Pro, jeden z najbardziej zaawansowanych modeli, osiąga jedynie 4,9% skuteczności na ARC AGI 2, nawet przy znacznych zasobach testowych. Nowszy benchmark ARC AGI 3 jest jeszcze trudniejszy, a czołowe modele mają poważne trudności z osiągnięciem postępu. W tym kontekście osiągnięcia Tiny Recursive Model są naprawdę niezwykłe. Model z 7 milionami parametrów — mniej niż 0,01% parametrów Gemini 2.5 Pro — osiąga 45% skuteczności na ARC AGI 1 i 8% na ARC AGI 2, wyraźnie przewyższając znacznie większe modele.

Czym jest rekursywne rozumowanie hierarchiczne?

Kluczową innowacją Tiny Recursive Model jest technika zwana rekursywnym rozumowaniem hierarchicznym, która stanowi fundamentalnie inne podejście do tego, jak sieci neuronowe radzą sobie ze złożonymi zadaniami. Aby to zrozumieć, warto posłużyć się analogią: wyobraź sobie, że rozwiązujesz trudne sudoku. Nie rozwiązujesz go w jednym przebiegu, podejmując wszystkie decyzje naraz. Zamiast tego zgadujesz, analizujesz, czy to przypuszczenie pasuje do ograniczeń, a jeśli nie — poprawiasz je i próbujesz ponownie. Możesz powtarzać ten cykl wiele razy, za każdym razem udoskonalając rozwiązanie na podstawie wcześniejszych prób i rozumowania, dlaczego poprzednie się nie powiodły. Ten proces iteracyjnej poprawy to właśnie rekursywne rozumowanie hierarchiczne. Model zachowuje dwie kluczowe informacje: swoje aktualne przypuszczenie co do rozwiązania oraz ślad rozumowania, który do niego doprowadził. Na każdym kroku rekurencji model aktualizuje oba te elementy. Analizuje obecne przypuszczenie, rozważa rozumowanie, które do niego doprowadziło, i generuje ulepszoną wersję na tej podstawie. Następnie powtarza ten proces, używając poprawionego przypuszczenia i zaktualizowanego śladu rozumowania jako wejścia do kolejnej iteracji. Oryginalny model hierarchicznego rozumowania (HRM), który zainspirował tę pracę, wykorzystywał dwie osobne sieci neuronowe działające na różnych hierarchiach lub “prędkościach”. Uzasadnienie biologiczne było takie, że ludzki mózg działa na różnych częstotliwościach czasowych — niektóre procesy są szybkie i reaktywne, inne wolne i rozważne. Dwie sieci HRM miały to imitować — jedna działała szybko, druga wolniej, a obie współpracowały w pętli. Jednak badacze z Samsunga, którzy opracowali Tiny Recursive Model, zakwestionowali to uzasadnienie biologiczne. Choć ciekawe jest porównywanie sztucznych sieci neuronowych do mózgów, takie analogie nie muszą wyjaśniać, dlaczego dany wybór architektoniczny jest skuteczny. Oryginalna publikacja HRM opierała się mocno na argumentach biologicznych i złożonych twierdzeniach matematycznych (twierdzeniach o punktach stałych), ale nie przedstawiała jasnych badań ablacyjnych pokazujących, które komponenty faktycznie poprawiają wyniki. Badacze zadali więc proste, ale fundamentalne pytanie: dlaczego dwie sieci? Czemu nie jedna? Czemu nie trzy lub cztery? I jeszcze głębiej: dlaczego wybory architektoniczne mają być uzasadniane biologią, a nie wynikami empirycznymi?

Tiny Recursive Model: uproszczenie przez innowację

Odpowiedzią na te pytania było stworzenie Tiny Recursive Model (TRM), który wykorzystuje kluczową ideę rekurencyjnego rozumowania, ale rezygnuje ze zbędnej złożoności i uzasadnień biologicznych. Zamiast używać dwóch średnich sieci działających na różnych hierarchiach, TRM wykorzystuje jedną, niewielką sieć zaledwie o dwóch warstwach. Model jest niezwykle prosty — pseudokod TRM mieści się na jednym ekranie. Ta prostota nie jest ograniczeniem, lecz zaletą. Eliminując niepotrzebną złożoność, badacze mogli skupić się na tym, co faktycznie istotne: samym procesie iteracyjnej poprawy. Kluczowy wniosek jest taki, że model musi utrzymywać dwie informacje: bieżące przypuszczenie oraz ślad rozumowania, który do niego doprowadził. To nie muszą być różne hierarchie czy częstotliwości czasowe — to po prostu dwa różne typy informacji, które model musi śledzić. Na każdym kroku rekurencji model przyjmuje te dwa elementy jako wejście, przetwarza je przez małą, dwuwarstwową sieć i wyprowadza zaktualizowane wersje zarówno przypuszczenia, jak i śladu rozumowania. Proces ten powtarza się wielokrotnie, a każda iteracja może potencjalnie ulepszyć rozwiązanie. Piękno tego podejścia polega na tworzeniu tzw. “wirtualnej głębokości”. Chociaż sieć ma tylko dwie warstwy, dzięki wielokrotnemu przechodzeniu przez nią model uzyskuje efektywnie znacznie większą głębokość. To tak, jakby model symulował znacznie głębszą sieć za pomocą iteracji, a nie dodatkowych warstw. To kluczowa obserwacja, która podważa przekonanie, że głębsze sieci są zawsze lepsze. W tradycyjnym projektowaniu sieci neuronowych zwiększamy liczbę warstw, by zwiększyć zdolność modelu do nauki złożonych funkcji. Tymczasem Tiny Recursive Model pokazuje, że można osiągnąć podobne lub lepsze wyniki, utrzymując sieć płytką, a zamiast tego zwiększając liczbę kroków rekurencji. To fundamentalnie odmienne podejście do architektury modeli.

Głęboki nadzór: nauka na każdym etapie

Drugą kluczową innowacją w Tiny Recursive Model jest technika zwana głębokim nadzorem. O ile rozumowanie rekurencyjne zapewnia mechanizm iteracyjnej poprawy, o tyle głęboki nadzór umożliwia efektywną naukę na każdym etapie. W tradycyjnym uczeniu nadzorowanym model dokonuje predykcji i otrzymuje informację zwrotną tylko na temat wyniku końcowego. Jeśli odpowiedź jest błędna, model uczy się, że cały proces był niewłaściwy, ale nie otrzymuje szczegółowej informacji, które etapy pośrednie były problematyczne. Głęboki nadzór zmienia to, dostarczając sygnały nadzorujące na wielu etapach procesu rozumowania. Zamiast sprawdzać jedynie poprawność końcowej odpowiedzi, model dostaje informację zwrotną na każdym kroku rekurencji. Oznacza to, że model uczy się nie tylko, czy ostateczna odpowiedź jest prawidłowa, ale także, czy każdy krok pośredni zmierza we właściwym kierunku. Wpływ głębokiego nadzoru na skuteczność jest ogromny. W pierwszych eksperymentach użycie głębokiego nadzoru podwoiło skuteczność w porównaniu do nadzoru jednowarstwowego — z 19% do 39% dokładności na określonych zadaniach. To ogromny wzrost dzięki jednej zmianie architektonicznej. Głęboki nadzór jest tak skuteczny, bo dostarcza bogatszych sygnałów uczenia. Gdy model otrzymuje informację zwrotną tylko na końcową odpowiedź, musi sam wydedukować, które z kroków pośrednich były przyczyną błędu. To trudny problem przypisania winy, zwłaszcza w głębokich sieciach. Dostarczając bezpośredni nadzór na każdym etapie, model otrzymuje jasną informację, czy dany krok jest poprawny, co ułatwia naukę właściwego zachowania. Co więcej, głęboki nadzór pomaga uniknąć utknięcia w lokalnych minimach. Jeśli model popełni błąd już na wczesnym etapie rozumowania, głęboki nadzór natychmiast to wychwyci i poda sygnał zwrotny do poprawy, zamiast pozwalać, by błąd propagował się przez kolejne kroki.

Wyniki: liczby, które podważają utarte przekonania

Poprawa skuteczności osiągnięta przez Tiny Recursive Model jest naprawdę imponująca. Na benchmarku Sudoku Extreme model poprawił wynik z 55% do 87%. Na Maze Hard — z 75% do 85%. Na ARC AGI 1 osiągnął 45% skuteczności względem 40% wcześniejszego podejścia. Na ARC AGI 2 — 8% wobec 5% wcześniej. Choć poprawa na ARC AGI 2 może wydawać się niewielka — z 5% do 8% — oznacza to 60% względny wzrost, co w tej dziedzinie jest ogromne, bo postęp bywa mierzony w pojedynczych punktach procentowych. Co ważniejsze, te wyniki należy rozpatrywać w kontekście wielkości modelu. Tiny Recursive Model ma tylko 7 milionów parametrów. Dla porównania, Gemini 2.5 Pro ma setki miliardów parametrów, DeepSeek R1 — setki miliardów, Claude 3.7 — setki miliardów. Tiny Recursive Model osiąga konkurencyjne lub lepsze wyniki na tych benchmarkach, używając mniej niż 0,01% liczby parametrów czołowych modeli. Porównując stosunek wydajności do liczby parametrów, Tiny Recursive Model jest o rzędy wielkości bardziej efektywny. Ma to ogromne znaczenie dla wdrażania AI. Mniejsze modele są tańsze w użyciu, wymagają mniej infrastruktury, można je wdrażać na urządzeniach brzegowych lub w środowiskach o ograniczonych zasobach. Jeśli model z 7 milionami parametrów może osiągać wyniki porównywalne lub lepsze od modeli z setkami miliardów parametrów, otwiera to zupełnie nowe możliwości dla zastosowań AI. Jedynym czołowym modelem, który przewyższył Tiny Recursive Model na tych benchmarkach, był Gro for Thinking, który osiągnął znacznie lepsze wyniki. Jednak Gro for Thinking to gigantyczny model — ponad bilion parametrów, czyli ponad 140 000 razy więcej niż TRM. Nawet uwzględniając tę różnicę, efektywność Tiny Recursive Model jest niezwykła.

Dlaczego rozumowanie rekurencyjne działa: mechanizm sukcesu

Aby zrozumieć, dlaczego rozumowanie rekurencyjne jest tak skuteczne, trzeba zastanowić się nad naturą złożonych problemów wymagających rozumowania. Wiele trudnych zadań ma pewną strukturę: polegają na znalezieniu rozwiązania spełniającego wiele ograniczeń lub odkryciu wzorca wyjaśniającego zestaw obserwacji. Takie problemy rzadko da się rozwiązać pojedynczym przejściem przez sieć neuronową. Wymagają iteracyjnej poprawy — generowania wstępnego rozwiązania, sprawdzenia go względem ograniczeń lub obserwacji, zidentyfikowania błędów i ich poprawy. To właśnie umożliwia rozumowanie rekurencyjne. Zachowując zarówno bieżące przypuszczenie, jak i ślad rozumowania, model może angażować się w ten proces iteracyjnej poprawy. Ślad rozumowania pełni rolę pamięci roboczej, pozwalając modelowi śledzić, co już próbował, co zadziałało, a co nie. To fundamentalnie różni się od tradycyjnego działania sieci neuronowych. Klasyczna sieć przetwarza dane przez warstwy i zwraca wynik — nie ma mechanizmu powracania do wcześniejszych decyzji ani utrzymywania historii rozumowania. Nie powie “próbowałem tak i to nie działa, spróbuję inaczej” — po prostu przetwarza wejście i zwraca wynik. Rekurencja zmienia to, wprowadzając jawny mechanizm iteracyjnej poprawy i śledzenia rozumowania. Umożliwia to modelowi rozumowanie bliższe temu, jak ludzie rozwiązują złożone problemy. Człowiek, rozwiązując trudną zagadkę, nie myśli o niej tylko raz — generuje rozwiązanie, sprawdza, koryguje, powtarza. Kluczową obserwacją jest także to, że rozumowanie rekurencyjne pełni rolę regularizującą. Zmuszając model do utrzymywania śladu rozumowania i iteracyjnej poprawy, ograniczamy go do uczenia się rozwiązań bardziej ogólnych. Model generujący odpowiedź w jednym przebiegu może zapamiętywać wzorce z danych treningowych. Ten, który musi poprawiać odpowiedź iteracyjnie i utrzymywać ślad rozumowania, musi nauczyć się bardziej uniwersalnych zasad. To tłumaczy, dlaczego Tiny Recursive Model tak dobrze generalizuje do nowych zadań, mimo że uczy się na stosunkowo niewielkiej ilości danych.

FlowHunt i automatyzacja złożonych przepływów rozumowania

Konsekwencje Tiny Recursive Model wykraczają poza badania akademickie i mają wymiar praktyczny. Organizacje coraz częściej muszą automatyzować złożone zadania rozumowania — od analizy danych i rozpoznawania wzorców po podejmowanie decyzji i rozwiązywanie problemów. Tradycyjnie wymagało to wiedzy eksperckiej lub dużych, kosztownych modeli AI. Tiny Recursive Model otwiera nowe możliwości automatyzacji tych zadań w sposób efektywny. FlowHunt, platforma do automatyzacji przepływów AI, może wykorzystać te innowacje, by tworzyć bardziej wydajne i ekonomiczne rozwiązania. Zamiast polegać na olbrzymich modelach wymagających dużych zasobów, FlowHunt może integrować mniejsze, efektywne modele, takie jak Tiny Recursive Model, w automatyczne przepływy. Umożliwia to organizacjom budowanie inteligentnych systemów automatyzacji, które radzą sobie z zadaniami rozumowania bez kosztów związanych z uruchamianiem ogromnych modeli. Przykładowo, przepływ wymagający analizy danych klientów, identyfikowania wzorców i generowania rekomendacji, w oparciu o tradycyjny duży model językowy byłby kosztowny w eksploatacji na szeroką skalę. Integrując mały model rekurencyjny w przepływie FlowHunt, można to zadanie zrealizować znacznie taniej. Model może iteracyjnie udoskonalać analizę, utrzymywać ślad rozumowania wyjaśniający rekomendacje oraz zapewniać przejrzystość procesu decyzyjnego. To szczególnie cenne w branżach wymagających wyjaśnialności, takich jak ochrona zdrowia, finanse czy prawo. Ślad rozumowania zachowywany przez model rekurencyjny stanowi jasny zapis procesu myślenia modelu, co ułatwia zrozumienie i weryfikację decyzji. Dodatkowo efektywność małych modeli pozwala wdrażać rozumowanie na urządzeniach brzegowych lub w środowiskach o ograniczonych zasobach. Aplikacja mobilna może mieć wbudowane możliwości rozumowania, które wcześniej wymagałyby przetwarzania w chmurze. To otwiera nowe możliwości dla inteligentnych aplikacji działających offline lub przy minimalnej łączności.

Kwestionowanie praw skalowania: zmiana paradygmatu w rozwoju AI

Sukces Tiny Recursive Model podważa jedno z najważniejszych założeń współczesnego rozwoju AI: prawa skalowania, które dominowały w tej dziedzinie przez ostatnią dekadę. Zakładają one, że wydajność przewidywalnie rośnie wraz z wielkością modelu, ilością danych i zasobami obliczeniowymi. Większy model jest lepszy. Więcej danych — lepiej. Więcej mocy obliczeniowej — lepiej. To przekonanie napędzało rozwój coraz większych modeli, a firmy inwestowały miliardy dolarów w trenowanie modeli liczących setki miliardów lub nawet biliony parametrów. Tiny Recursive Model sugeruje jednak, że założenie to może być niepełne lub wręcz mylące w pewnych kontekstach. Stosując inne podejście architektoniczne — rozumowanie rekurencyjne z głębokim nadzorem — mały model może osiągać wyniki porównywalne lub lepsze niż gigantyczne modele w określonych zadaniach. Nie oznacza to, że prawa skalowania są błędne; raczej wskazuje, że istnieje wiele ścieżek do wysokiej wydajności i skalowanie wielkości modelu to tylko jedna z nich. Ma to ogromne znaczenie dla przyszłości rozwoju AI. Jeśli mniejsze modele mogą osiągać porównywalne wyniki do większych dzięki sprytnym innowacjom architektonicznym, może to prowadzić do zmiany sposobu projektowania i wdrażania systemów AI. Zamiast skupiać się wyłącznie na budowie coraz większych modeli, branża może zwrócić się ku bardziej wydajnym architekturom, które osiągają wysoką skuteczność przy mniejszej liczbie parametrów. Przyniosłoby to korzyści zarówno środowisku, jak i efektywności obliczeniowej oraz dostępności. Trening i uruchamianie ogromnych modeli wymaga ogromnych ilości energii elektrycznej i zasobów. Jeśli podobną wydajność można uzyskać dzięki modelom o rzędy wielkości mniejszym, zmniejszy to wpływ AI na środowisko i uczyni ją bardziej dostępną dla organizacji z ograniczonymi zasobami. Tiny Recursive Model sugeruje też, że związek między wielkością modelu a zdolnością do generalizacji może być bardziej złożony, niż sądzono. Zwykło się uważać, że większe modele lepiej generalizują, bo są w stanie nauczyć się bardziej złożonych wzorców. Tymczasem Tiny Recursive Model pokazuje, że mniejsze modele mogą lepiej generalizować, jeśli są projektowane z odpowiednimi uprzedzeniami indukcyjnymi. Mechanizmy iteracyjnej poprawy i śledzenia rozumowania wymuszają naukę bardziej ogólnych rozwiązań. To przykład, że innowacje architektoniczne czasem są ważniejsze niż sama wielkość.

Zasada prostoty: mniej znaczy więcej

Jedną z najbardziej uderzających cech Tiny Recursive Model jest jego prostota. Model używa tylko dwóch warstw, a wysoką skuteczność osiąga dzięki rekurencyjnej poprawie, a nie złożoności architektonicznej. Ta prostota jest zamierzonym wyborem projektowym, opartym na wynikach empirycznych. Badacze odkryli, że dodawanie kolejnych warstw faktycznie pogarszało generalizację z powodu przeuczenia. To wniosek sprzeczny z intuicją, podważający klasyczną wiedzę o projektowaniu sieci neuronowych. Zazwyczaj uważa się, że głębsze sieci są potężniejsze i lepiej uczą się złożonych funkcji. Tymczasem Tiny Recursive Model pokazuje, że w zadaniach rozumowania głębia uzyskiwana przez rekurencję jest skuteczniejsza niż głębia wynikająca z dodatkowych warstw. Dlaczego tak jest? Jedno z wyjaśnień mówi, że dodatkowe warstwy zwiększają zdolność modelu do zapamiętywania wzorców z danych treningowych, co prowadzi do przeuczenia. Utrzymując sieć płytką, a zwiększając liczbę kroków rekurencji, model musi nauczyć się bardziej ogólnych rozwiązań. Każdy krok rekurencji korzysta z tej samej dwuwarstwowej sieci, więc musi ona nauczyć się przydatnych obliczeń stosowanych iteracyjnie. To wymusza naukę bardziej fundamentalnych zasad zamiast zapamiętywania wzorców. Inne wyjaśnienie dotyczy natury zadań rozumowania. Często wymagają one iteracyjnej poprawy i spełniania ograniczeń. Płytka sieć stosowana rekurencyjnie nadaje się do tego typu problemów, bo skupia się na stopniowych ulepszeniach bieżącego rozwiązania. Sieć głęboka próbowałaby rozwiązać wszystko w jednym przebiegu, co jest mniej skuteczne w zadaniach wymagających iteracji. Prostota Tiny Recursive Model daje też praktyczne korzyści. Prostsze modele łatwiej zrozumieć, debugować i modyfikować. Jeśli chcesz zrozumieć decyzję modelu, możesz prześledzić jego rozumowanie krok po kroku. Jeśli musisz dostosować model do nowego typu problemu, możesz łatwo zmodyfikować architekturę lub procedurę treningową. To przeciwieństwo gigantycznych modeli, które są czarnymi skrzynkami trudnymi do analizy czy modyfikacji. Zasada “mniej znaczy więcej” dotyczy nie tylko architektury. Badacze odkryli, że skuteczność modelu nie wymaga złożonych twierdzeń matematycznych ani uzasadnień biologicznych. Oryginalny model hierarchicznego rozumowania opierał się na tw