Fine-tuning Gemma 4 na Apple Silicon: Může nahradit Claude Sonnet pro generování obsahu?

Provozujeme sportovní datovou platformu, která zveřejňuje zprávy o zápasech a shrnutí kol napříč devíti sporty. Každý článek byl generován prostřednictvím volání API Claude Sonnet — spolehlivý, vysoké kvality, ale nákladný v měřítku. Chtěli jsme vědět: mohl by open-source model, vyladěný na našich vlastních datech, vytvářet články srovnatelné kvality při běhu zcela na místním hardwaru?

Tento příspěvek vás provede kompletním experimentem — od přípravy dat přes LoRA fine-tuning až po přímé porovnání — pomocí modelu Google Gemma 4 31B, frameworku Apple MLX a MacBook Pro M3 Max s 96GB jednotnou pamětí. Také rozebereme reálnou ekonomiku: kdy se trénování vlastního modelu skutečně vyplatí v porovnání s API voláními?

Co je Gemma 4?

Gemma 4 je rodina open-weight velkých jazykových modelů od Googlu, vydaná v roce 2025 jako nástupce řady Gemma 2. Klíčové slovo je open-weight — na rozdíl od proprietárních modelů jako GPT-4 nebo Claude jsou váhy Gemma 4 volně dostupné ke stažení, vylaďování a nasazení bez průběžných poplatků za API.

Model přichází v několika velikostech. Použili jsme variantu vyladěnou na instrukce s 31B parametry (google/gemma-4-31B-it), která se pohybuje v ideálním bodě mezi schopnostmi a požadavky na hardware. Při plné přesnosti fp16 potřebuje přibližně 62GB paměti; s 4bitovou kvantizací se komprimuje na přibližně 16GB, což je dost malé na spuštění na laptopu s 32GB RAM.

Co činí Gemma 4 obzvláště zajímavou pro náš případ:

• Žádné náklady na API — po stažení je inference zdarma (mimo elektřinu)
• Vylad’ovatelná — adaptéry LoRA vám umožňují specializovat model na vaši doménu s minimálními výpočty
• Běží na spotřebitelském hardwaru — architektura jednotné paměti Apple Silicon umožňuje trénovat a spouštět model 31B na MacBook Pro
• Komerčně přívětivá licence — podmínky Gemma umožňují komerční použití, což ji činí vhodnou pro produkční zatížení

Kompromis je jasný: vzdáte se pohodlí plug-and-play volání API výměnou za kontrolu, soukromí a dramaticky nižší mezní náklady v měřítku.

Problém

Naše platforma generuje stovky článků denně z fotbalu, basketbalu, hokeje, NFL, baseballu, rugbyje, volejbalu a házené. Každý článek stojí přibližně 0,016 $ na volání API Claude Sonnet. To se rychle sčítá — 500 článků za den znamená 240 $ měsíčně, nebo 2 880 $ za rok.

Kromě nákladů jsme chtěli:

• Kontrolu nad modelem — možnost vyladit se přesně na náš redakční styl místo přinutit obecný model
• Offline inference — bez závislosti na dostupnosti externího API
• Ochranu dat — data zápasů nikdy neopustí naši infrastrukturu

Hypotéza: pokud natrénujeme model s 31B parametry na 120 “dokonalých” článcích napsaných Claude Sonnet, měl by se naučit strukturu, tón a sportovní konvence dostatečně dobře na to, aby vytvářel články autonomně.

Potrubí

Experiment probíhal v pěti fázích:

Fáze 1: Výběr trénovacích zápasů — Ne všechny zápasy jsou dobrými příklady pro trénování. Vytvořili jsme systém bodování bohatství upřednostňující zápasy s vysokou hustotou dat, s událostmi, statistikami a kontextem tabulky. Vybrali jsme 100 článků o zápasech a 20 shrnutí dne ligy s rozmanitostí napříč typy výsledků (domácí výhry, venkovní výhry, remízy, porážky, comebacky). V tomto počátečním experimentu jsme se zaměřili výhradně na fotbal: celkem 120 trénovacích příkladů.

Fáze 2: Generování referenčních článků s Claude Sonnet — Data JSON každého zápasu byla transformována na strukturovaný textový prompt a odeslána Claude Sonnet se systémovým promptem definujícím strukturu článku v inverzní pyramidě: nadpis, úvodní odstavec se skóre, chronologické klíčové momenty, analýzu statistik, kontext ligy a krátký pohled do budoucnosti. Každý článek stojí ~0,016 $. Kompletní datový soubor 120 článků stál méně než 2 $.

Fáze 3: Formátování datového souboru — Články byly převedeny do formátu chatu Gemma (<start_of_turn>user / <start_of_turn>model) a rozděleny 90/10 na 115 trénovacích a 13 validačních příkladů.

Fáze 4: Fine-tuning s LoRA na MLX — Tady Apple Silicon ukazuje svou sílu. Celý model 31B se vejde do jednotné paměti na M3 Max. Použili jsme LoRA na vložení malých trénovatelných matic do 16 vrstev, přidáním pouze 16,3 milionu trénovatelných parametrů — 0,053% z celkového počtu.

Validační ztráta klesla z 6,614 na 1,224 během 345 iterací, s největším zlepšením v prvních 100 krocích.

Fáze 5: Kvantizace — Aplikovali jsme 4bitovou kvantizaci pomocí MLX, komprimující model z 62GB na ~16GB. To zrychlilo inference 2,6krát při zachování přijatelné kvality.

Výsledky: Gemma 4 vs. Claude Sonnet

Porovnali jsme pět článků generovaných ze stejných dat zápasů ve všech třech konfiguracích.

Kde vyladěný Gemma 4 vyniká:

• Nadpisy jsou konzistentně silné — v jednom případě slovo za slovo shodné s výstupem Sonnet
• Struktura článku dokonale následuje vzor inverzní pyramidy
• Fakta o zápasech (názvy týmů, skóre, střelci, minuty) jsou ve většině případů hlášeny přesně

Kde Sonnet stále vede:

• Tok vyprávění — články Sonnet čtou přirozeněji s lepšími přechody mezi odstavci
• Faktická přesnost — nula halucinací nebo nesprávných přiřazení v testovací sadě
• Konzistentnost — spolehlivě vytváří články v cílovém počtu slov s jednotnou kvalitou

Stálo LoRA trénování za to? Absolutně. Bez LoRA vytváří základní model Gemma 4 výstup zahlcený interními tokeny myšlení (<|channel>thought), formátováním markdown a obecným sportovním psaním. Vyladěný model vytváří čistý, produkční text v našem přesném redakčním stylu. Celé LoRA trénování stálo 2 $ na API voláních a 2,5 hodiny výpočtů.

Důležitá poznámka: M3 Max byl testovací lavicí, ne produkčním cílem

MacBook Pro M3 Max sloužil svému účelu jako vývojová a experimentální platforma. Prokázal, že fine-tuning a inference na modelu 31B je technicky proveditelný na Apple Silicon. Ale nikdy bychom nenasadili produkční zatížení na místní laptop.

Pro skutečné produkční nasazení je cloudová GPU instance správnou volbou. Zde je ukázka realistického nasazení na AWS.

Analýza nákladů: Cloud GPU vs. Sonnet API vs. Místní stroj

Nasazení AWS GPU (g5.xlarge — NVIDIA A10G, 24GB VRAM)

Kvantizovaný model Gemma 4 4-bit (16GB) se pohodlně vejde na jednu GPU A10G. Rychlost inference na A10G je dramaticky vyšší než na Apple Silicon — přibližně 15 sekund na článek vs. 80 sekund na M3 Max.

Porovnání měsíčních nákladů vedle sebe (500 článků/den)

Výhoda GPU je jasná: 74% snížení nákladů na instancích na vyžádání, 89% na spot instancích, v porovnání s voláními Sonnet API — se rychlostí generování pouze 7-8krát pomalejší než volání API místo 40krát pomalejší na M3 Max.

Ekonomika místního stroje

Místní M3 Max má nejnižší mezní náklady (0,0007 $/článek na elektřinu), ale nejvyšší počáteční investici. Při ~45 článcích za hodinu (4bitová kvantizace) vytváří jeden M3 Max přibližně 1 080 článků za den běžící 24/7.

Kdy má místní nasazení smysl? Pro společnosti, které potřebují 100% ochranu dat a nemohou používat cloudové modely — ať už z důvodu regulačních požadavků, smluvních povinností nebo provozu v citlivých doménách — místní nasazení eliminuje veškeré externí přenosy dat. Data zápasů, váhy modelu a generovaný obsah nikdy neopustí prostory společnosti. Nejde o optimalizaci nákladů; jde o dodržování předpisů a kontrolu. Odvětví jako obrana, zdravotnictví, finance a právo mohou zjistit, že je to jediný přijatelný model nasazení.

Kdy se vyplatí trénování vlastního modelu?

Kritická otázka: při jakém objemu se investice do fine-tuningu vyplatí v porovnání s pouhou použitím Claude Sonnet na vše?

Jednorázové náklady pro vlastní model pipeline

Výpočet bodu zvratu

Úspory na článek závisí na vašem nasazení:

Pokud vyloučíme čas vývojáře (budeme jej považovat za ztracené náklady na vzdělání) a počítáme pouze tvrdé infrastrukturní náklady (21 $):

Matematika je přímočará: pokud vygenerujete více než ~1 500 článků, vlastní model se vyplatí sám v tvrdých nákladech. Zahrnutí času vývojáře posunuje bod zvratu na přibližně 35 000-45 000 článků, nebo přibližně 2,5-3 měsíce při 500 článcích za den.

V měřítku (500+ článků/den) jsou roční úspory značné:

Hybridní strategie

Nejpraktičtější přístup je hybridní: použijte vyladěný model Gemma 4 pro rutinní obsah (hlavní objem) a ponechte Claude Sonnet pro:

• Složité články vyžadující hlubší analytické uvažování
• Neobvyklé situace, kde model nemá trénovací data
• Nové sporty nebo typy obsahu před existencí trénovacích dat
• Kritické kusy kvality, kde je riziko nulových halucinací zásadní

To vám dává výhody nákladů self-hosted inference na 80-90% vašeho objemu a zároveň udržuje vynikající kvalitu Sonnet dostupnou pro hraniční případy, které opravdu záleží.

Co jsme se naučili

LoRA je pozoruhodně efektivní pro přenos stylu. Se pouze 115 trénovacími příklady se model naučil náš přesný formát článku, tón a sportovní konvence. Struktura inverzní pyramidy, styl s aktivním slovesem a přístup založený na datech se všechny čistě přenesly.

Apple Silicon je životaschopná tréninkovou platformou pro modely 31B. M3 Max zvládl celý model s gradient checkpointingem, s vrcholem na 76,4GB. Trénování bylo dokončeno za 2,5 hodiny — dostatečně rychle na to, aby se daly iterovat hyperparametry během jednoho pracovního dne.

Strukturovaná vstupní data mají obrovský vliv. Kvalita formátovače dat přímo ovlivňuje kvalitu článku. Investování do komplexní extrakce dat se vyplácí na obou cestách — API i self-hosted.

Produkční nasazení patří do cloudu (pro většinu týmů). M3 Max prokázal koncept. Instance AWS GPU poskytují rychlost a spolehlivost potřebné pro produkční zatížení za 74-89% nižší náklady než volání API. Místní stroje zůstávají správnou volbou pouze v případě, že požadavky na ochranu dat vylučují veškerou externí infrastrukturu.

Matematika bodu zvratu podporuje vlastní modely v mírném měřítku. Každý tým generující více než ~1 500 článků si téměř okamžitě vrátí tvrdé náklady na fine-tuning. Skutečná otázka není, zda vlastní modely šetří peníze — je to, zda má váš tým inženýrskou kapacitu na budování a údržbu pipeline.

Závěr

Fine-tuning Gemma 4 31B vytvořil generátor obsahu, který odpovídá Claude Sonnet v kvalitě nadpisů, struktuře článků a faktické přesnosti — při snížení nákladů na článek o 74-89% na cloudové infrastruktuře a umožnění zcela soukromého, místního nasazení pro organizace, které to vyžadují.

MacBook M3 Max sloužil čistě jako testovací lavice pro tento experiment. Skutečné produkční nasazení by běželo na AWS GPU instancích (g5.xlarge s A10G), kde kvantizovaný model generuje články přibližně za 15 sekund za 0,0042 $ každý — v porovnání s 0,016 $ za volání Sonnet API.

Pro společnosti, které potřebují úplnou ochranu dat a nemohou používat cloudové AI služby, je místní stroj spouštějící kvantizovaný model legitimní volbou. Při ~45 článcích za hodinu zvládne jediná pracovní stanice mírné objemy s nulovou externí expozicí dat. Investice do hardwaru se vyplatí přibližně za 8 měsíců v porovnání s náklady na API.

Ekonomika je jasná: při 500 článcích za den ušetří vlastní vyladěný model na AWS spot instancích přes 2 000 $ za rok v porovnání s voláními Claude Sonnet API. Bod zvratu přijde za méně než 3 měsíce. Pro týmy, které již generují obsah v měřítku, kombinace open-weight modelů, LoRA fine-tuningu a komoditního GPU hardwaru představuje důvěryhodnou, nákladově efektivní alternativu k proprietárním API.

Vytvořeno pomocí FlowHunt . Kompletní pipeline — od přípravy dat přes fine-tuning až po inference — je dostupná jako součást našeho toolkitu sportovní datové platformy.