Fine-tuning Gemma 4 na Apple Silicon: Czy może zastąpić Claude Sonnet do generowania treści?

Prowadzimy platformę danych sportowych, która publikuje raporty meczów i podsumowania lig w dziewięciu sportach. Każdy artykuł był generowany za pośrednictwem wywołań API do Claude Sonnet — niezawodny, wysokiej jakości, ale drogi na dużą skalę. Chcieliśmy wiedzieć: czy model open-source, dostrojony na naszych własnych danych, może generować artykuły porównywalnej jakości, pracując całkowicie na sprzęcie lokalnym?

Ten post przechodzi przez pełny eksperyment — od przygotowania danych do dostrajania LoRA do porównania bezpośredniego — używając modelu Gemma 4 31B firmy Google, platformy MLX firmy Apple i MacBook Pro M3 Max z 96GB pamięci ujednoliconej. Rozkładamy również rzeczywistą ekonomię: kiedy trening niestandardowego modelu rzeczywiście oszczędza pieniądze w porównaniu z wywołaniami API?

Co to jest Gemma 4?

Gemma 4 to rodzina modeli otwartych dużych modeli języka firmy Google, wydana w 2025 roku jako następca serii Gemma 2. Kluczowe słowo to open-weight — w przeciwieństwie do modeli zastrzeżonych, takich jak GPT-4 czy Claude, wagi Gemma 4 są dostępne bezpłatnie do pobrania, dostrajania i wdrażania bez bieżących opłat za API.

Model jest dostępny w kilku rozmiarach. Użyliśmy wariantu 31B parametrów dostrojonego do instrukcji (google/gemma-4-31B-it), który znajduje się w słodkim punkcie między możliwościami a wymaganiami sprzętu. Przy pełnej precyzji fp16 wymaga około 62GB pamięci; przy kwantyzacji 4-bitowej kompresuje się do około 16GB, wystarczająco mało, aby działać na laptopie z 32GB RAM.

To, co czyni Gemma 4 szczególnie interesującym dla naszego przypadku użycia:

• Bez kosztów API — po pobraniu wnioskowanie jest bezpłatne (minus elektryczność)
• Możliwość dostrajania — adaptery LoRA pozwalają specjalizować model w twojej domenie przy minimalnym zużyciu mocy obliczeniowej
• Działa na sprzęcie konsumenckim — architektura pamięci ujednoliconej Apple Silicon sprawia, że można trenować i uruchamiać model 31B na MacBook Pro
• Licencja przyjazna handlowi — warunki Gemma pozwalają na użycie komercyjne, co czyni je opłacalnym dla obciążeń produkcyjnych

Kompromis jest jasny: rezygnujesz z wygody plug-and-play wywołania API w zamian za kontrolę, prywatność i dramatycznie niższe koszty krańcowe na dużą skalę.

Problem

Nasza platforma generuje setki artykułów dziennie w piłce nożnej, koszykówce, hokeju, NFL, baseballu, rugby, siatkówce i piłce ręcznej. Każdy artykuł kosztuje około 0,016 USD w wywołaniach API do Claude Sonnet. To szybko się sumuje — 500 artykułów dziennie to 240 USD miesięcznie lub 2880 USD rocznie.

Poza kosztem chcieliśmy:

• Kontroli nad modelem — możliwości dostrojenia go na nasz dokładny styl redakcyjny zamiast wciskania ogólnego modelu do tego
• Wnioskowania offline — brak zależności od dostępności zewnętrznego API
• Prywatności danych — dane meczów nigdy nie opuszczają naszą infrastrukturę

Hipoteza: jeśli wytrenujemy model z 31 miliardami parametrów na 120 ‘idealnych" artykułach napisanych przez Claude Sonnet, powinien nauczyć się struktury, tonu i konwencji specyficznych dla sportu wystarczająco dobrze, aby autonomicznie generować artykuły.

Rurociąg

Eksperyment przebiegał w pięciu fazach:

Faza 1: Wybór meczów treningowych — Nie wszystkie mecze są dobrymi przykładami treningowymi. Zbudowaliśmy system oceny bogactwa, faworyzujący mecze gęste w danych ze zdarzeniami, statystykami i kontekstem stanu. Wybraliśmy 100 artykułów o meczach i 20 podsumowań dni ligowych, z różnorodnością między typami wyników (wygrane u siebie, wygrane na wyjeździe, remisy, rozgromiające porażki, powroty). W tym początkowym eksperymencie skoncentrowaliśmy się wyłącznie na piłce nożnej: łącznie 120 przykładów treningowych.

Faza 2: Generowanie artykułów referencyjnych z Claude Sonnet — Dane JSON każdego meczu zostały przekształcone w strukturalny monit tekstowy i wysłane do Claude Sonnet z monitem systemowym określającym strukturę artykułu w odwróconej piramidzie: nagłówek, akapit wprowadzający z wynikiem, chronologiczne kluczowe momenty, analiza statystyk, kontekst ligi i krótkie spojrzenie w przód. Każdy artykuł kosztował około 0,016 USD. Pełny zestaw danych 120 artykułów kosztował poniżej 2 USD.

Faza 3: Formatowanie zestawu danych — Artykuły zostały przekonwertowane na format czatu Gemma (<start_of_turn>user / <start_of_turn>model) i podzielone w stosunku 90/10 na 115 przykładów treningowych i 13 walidacyjnych.

Faza 4: Dostrajanie z LoRA na MLX — To jest miejsce, gdzie Apple Silicon wykazuje swoją wartość. Cały model 31B mieści się w pamięci ujednoliconej M3 Max. Użyliśmy LoRA do wstawienia małych macierzy trenowalnych do 16 warstw, dodając zaledwie 16,3 miliona parametrów trenowalnych — 0,053% całości.

Strata walidacji spadła z 6,614 do 1,224 w ciągu 345 iteracji, z największą poprawą w pierwszych 100 krokach.

Faza 5: Kwantyzacja — Zastosowaliśmy kwantyzację 4-bitową za pomocą MLX, kompresując model z 62GB do ~16GB. To sprawiło, że wnioskowanie było 2,6 razy szybsze, zachowując akceptowalną jakość.

Wyniki: Gemma 4 vs. Claude Sonnet

Porównaliśmy pięć artykułów wygenerowanych z identycznych danych meczów we wszystkich trzech konfiguracjach.

Gdzie dostrojona Gemma 4 się wyróżnia:

• Nagłówki są konsekwentnie silne — w jednym przypadku identyczne słowo w słowo z wyjściem Sonnet
• Struktura artykułu doskonale podąża za wzorem odwróconej piramidy
• Fakty meczowe (nazwy zespołów, wyniki, strzelcy, minuty) są raportowane dokładnie w większości przypadków

Gdzie Sonnet wciąż prowadzi:

• Przepływ narracji — artykuły Sonnet czytają się bardziej naturalnie z lepszymi przejściami między akapitami
• Precyzja faktów — zero halucynacji lub błędnych przypisań w zestawie testowym
• Spójność — niezawodnie generuje artykuły w docelowej liczbie słów z jednolitą jakością

Czy trening LoRA był tego wart? Absolutnie. Bez LoRA, bazowy model Gemma 4 generuje wyjście zaśmiecone wewnętrznymi tokenami myślenia (<|channel>thought), formatowaniem markdown i ogólnym pisaniem sportowym. Dostrojony model generuje czysty, gotowy do produkcji tekst w naszym dokładnym stylu redakcyjnym. Cały trening LoRA kosztował 2 USD w wywołaniach API i 2,5 godziny obliczeń.

Ważna uwaga: M3 Max był stanowiskiem testowym, a nie celem produkcyjnym

MacBook Pro M3 Max służył swojemu celowi jako platforma do rozwoju i eksperymentowania. Udowodnił, że dostrajanie i wnioskowanie na modelu 31B jest technicznie możliwe na Apple Silicon. Ale nigdy nie wdrażalibyśmy obciążeń produkcyjnych na lokalnym laptopie.

Do rzeczywistego wdrażania produkcyjnego instancja GPU w chmurze jest właściwym wyborem. Oto jak wygląda realistyczne wdrażanie na AWS.

Analiza kosztów: GPU w chmurze vs. API Sonnet vs. Maszyna lokalna

Wdrażanie GPU na AWS (g5.xlarge — NVIDIA A10G, 24GB VRAM)

Skwantyzowany model Gemma 4 4-bitowy (16GB) comfortably mieści się na jednym GPU A10G. Szybkość wnioskowania na A10G jest dramatycznie szybsza niż Apple Silicon — około 15 sekund na artykuł vs. 80 sekund na M3 Max.

Porównanie kosztów miesięcznych obok siebie (500 artykułów/dzień)

Przewaga GPU jest jasna: 74% redukcja kosztów na instancjach na żądanie, 89% na instancjach spot, w porównaniu z wywołaniami API Sonnet — z szybkością generowania tylko 7-8 razy wolniejszą niż wywołanie API zamiast 40 razy wolniejszą na M3 Max.

Ekonomika maszyny lokalnej

Lokalny M3 Max ma najniższy koszt krańcowy (0,0007 USD/artykuł w elektryczności), ale najwyższą inwestycję początkową. Przy ~45 artykułach na godzinę (skwantyzowane na 4 bity), pojedynczy M3 Max generuje około 1080 artykułów dziennie działając 24/7.

Kiedy ma sens lokalne wdrażanie? Dla firm, które potrzebują 100% prywatności danych i nie mogą używać modeli opartych na chmurze — niezależnie od tego, czy ze względu na wymogi regulacyjne, zobowiązania umowne czy operowanie w wrażliwych domenach — wdrażanie lokalne eliminuje całą zewnętrzną transmisję danych. Dane meczów, wagi modelu i wygenerowana treść nigdy nie opuszczają siedziby firmy. To nie dotyczy optymalizacji kosztów; chodzi o zgodność i kontrolę. Branże takie jak obrona, opieka zdrowotna, finanse i prawo mogą uznać to za jedyną akceptowalną model wdrażania.

Kiedy dostrajanie niestandardowego modelu się zwraca?

Krytyczne pytanie: przy jakim wolumenie inwestycja w dostrajanie zwraca się w porównaniu z używaniem Claude Sonnet do wszystkiego?

Koszty jednorazowe dla rurociągu modelu niestandardowego

Obliczenie punktu równowagi

Oszczędności na artykuł zależą od twojego wdrażania:

Jeśli wyłączymy czas programisty (traktując go jako koszt utopiony dla doświadczenia edukacyjnego) i liczymy tylko twardych kosztów infrastruktury (21 USD):

Matematyka jest prosta: jeśli generujesz więcej niż ~1500 artykułów, niestandardowy model zwraca się w samych twardych kosztach. Włączenie czasu programisty przesuwa punkt równowagi do około 35 000-45 000 artykułów, czyli około 2,5-3 miesięcy przy 500 artykułach dziennie.

Na dużą skalę (500+ artykułów/dzień) roczne oszczędności są znaczące:

Strategia hybrydowa

Najbardziej praktyczne podejście to hybrydowe: użyj dostrojonego modelu Gemma 4 do treści rutynowej (większość wolumenu) i zarezerwuj Claude Sonnet dla:

• Złożonych artykułów wymagających głębszego rozumowania analitycznego
• Niezwykłych sytuacji, w których model nie ma danych treningowych
• Nowych sportów lub typów treści, zanim istnieją dane do dostrajania
• Krytycznych dla jakości materiałów, gdzie ryzyko halucynacji zero jest istotne

To daje ci korzyści kosztowe samodzielnie hostowanego wnioskowania na 80-90% twojego wolumenu, zachowując dostęp do wyższej jakości Sonnet dla przypadków brzegowych, które naprawdę się liczą.

Co się nauczyliśmy

LoRA jest niezwykle efektywna do transferu stylu. Z zaledwie 115 przykładami treningowymi model nauczył się naszego dokładnego formatu artykułu, tonu i konwencji specyficznych dla sportu. Struktura odwróconej piramidy, styl z czasownikami czynnymi i podejście oparte na danych wszystkie transferowały się czyszczą.

Apple Silicon jest opłacalną platformą treningową dla modeli 31B. M3 Max obsługiwał pełny model z kontrolą punktów gradientu, osiągając szczyt 76,4GB. Trening zakończył się w 2,5 godziny — wystarczająco szybko, aby iterować hiperparametry w jednym dniu pracy.

Strukturalne dane wejściowe mają ogromne znaczenie. Jakość formatera danych bezpośrednio wpływa na jakość artykułu. Inwestycja w kompleksową ekstrakcję danych przynosi dywidendy zarówno w ścieżkach API, jak i samodzielnie hostowanych.

Wdrażanie produkcyjne należy do chmury (dla większości zespołów). M3 Max udowodnił koncepcję. Instancje GPU na AWS dostarczają szybkość i niezawodność potrzebne dla obciążeń produkcyjnych przy 74-89% niższych kosztach niż wywołania API. Maszyny lokalne pozostają właściwym wyborem tylko wtedy, gdy wymagania dotyczące prywatności danych wykluczają całą zewnętrzną infrastrukturę.

Matematyka punktu równowagi faworyzuje niestandardowe modele na umiarkowanej skali. Każdy zespół generujący więcej niż ~1500 artykułów odzyska twardych kosztów dostrajania niemal natychmiast. Rzeczywiste pytanie nie dotyczy tego, czy niestandardowe modele oszczędzają pieniądze — dotyczy tego, czy twój zespół ma zdolność inżynieryjną do budowy i utrzymania rurociągu.

Podsumowanie

Dostrajanie Gemma 4 31B wytworzyło generator treści, który dorównuje Claude Sonnet w jakości nagłówków, strukturze artykułów i dokładności faktów — jednocześnie zmniejszając koszty na artykuł o 74-89% na infrastrukturze chmurowej i umożliwiając całkowicie prywatne, wdrażanie na terenie dla organizacji, które tego wymagają.

MacBook M3 Max służył czysto jako stanowisko testowe dla tego eksperymentu. Rzeczywiste wdrażanie produkcyjne działałoby na instancjach GPU na AWS (g5.xlarge z A10G), gdzie skwantyzowany model generuje artykuły w około 15 sekund po cenie $0.0042 każdy — w porównaniu z $0.016 na każde wywołanie API Sonnet.

Dla firm, które potrzebują pełnej prywatności danych i nie mogą używać usług AI opartych na chmurze, maszyna lokalna uruchamiająca skwantyzowany model jest uzasadnioną opcją. Przy ~45 artykułach na godzinę pojedyncze stanowisko pracy obsługuje umiarkowane wolumeny bez zewnętrznej ekspozycji danych. Inwestycja w sprzęt zwraca się w około 8 miesięcy w porównaniu z kosztami API.

Ekonomika jest jasna: przy 500 artykułach dziennie, dostrojony niestandardowy model na instancjach spot AWS oszczędza ponad 2000 USD rocznie w porównaniu z wywołaniami API Claude Sonnet. Punkt równowagi osiągniemy w mniej niż 3 miesiące. Dla zespołów już uruchamiających generowanie treści na dużą skalę, kombinacja modeli otwartych wag, dostrajania LoRA i sprzętu GPU towarowego reprezentuje wiarygodną, opłacalną alternatywę dla zastrzeżonych API.

Zbudowane za pomocą FlowHunt . Pełny rurociąg — od przygotowania danych przez dostrajanie do wnioskowania — jest dostępny jako część naszego zestawu narzędzi platformy danych sportowych.