Kosten van LLM

Wat zijn de kosten van Large Language Models?

Large Language Models (LLM’s) zijn geavanceerde kunstmatige intelligentiesystemen die zijn ontworpen om menselijke tekst te begrijpen en te genereren. Ze zijn gebouwd met diepe neurale netwerken met miljarden parameters en worden getraind op enorme datasets bestaande uit tekst van het internet, boeken, artikelen en andere bronnen. Voorbeelden van LLM’s zijn onder andere OpenAI’s GPT-3 en GPT-4, Google’s BERT, Meta’s LLaMA-serie en modellen van Mistral AI.

De kosten die gepaard gaan met LLM’s verwijzen naar de financiële middelen die nodig zijn om deze modellen te ontwikkelen (trainen) en in te zetten (inferentie). Trainingskosten omvatten de uitgaven voor het bouwen en fijn afstemmen van het model, terwijl inferentiekosten betrekking hebben op de operationele kosten van het draaien van het model om invoer te verwerken en uitvoer te genereren in realtime-toepassingen.

Inzicht in deze kosten is cruciaal voor organisaties die LLM’s willen integreren in hun producten of diensten. Dit helpt bij budgettering, toewijzing van middelen en het bepalen van de haalbaarheid van AI-projecten.

Trainingskosten van Large Language Models

Factoren die bijdragen aan trainingskosten

1. Computationele middelen: Het trainen van LLM’s vereist aanzienlijke rekenkracht, vaak met duizenden high-performance GPU’s of gespecialiseerde AI-hardware zoals NVIDIA’s A100 of H100 GPU’s. De kosten voor het aanschaffen of huren van deze hardware zijn aanzienlijk.
2. Energieverbruik: De enorme rekeneisen leiden tot een hoog energieverbruik, wat resulteert in verhoogde elektriciteitskosten. Het trainen van grote modellen kan megawatturen aan energie verbruiken.
3. Datamanagement: Het verzamelen, opslaan en verwerken van enorme datasets voor training brengt kosten met zich mee voor datainfrastructuur en bandbreedte.
4. Menselijk kapitaal: Deskundige AI-ingenieurs, data scientists en onderzoekers zijn nodig voor de ontwikkeling en het beheer van het trainingsproces, wat bijdraagt aan arbeidskosten.
5. Infrastructuuronderhoud: Het onderhoud van datacenters of cloudinfrastructuur omvat uitgaven voor koelsystemen, fysieke ruimte en netwerkapparatuur.
6. Onderzoek en ontwikkeling: Kosten gerelateerd aan algoritmeontwikkeling, experimentatie en optimalisatie tijdens de trainingsfase.

Geschatte trainingskosten voor populaire LLM’s

• OpenAI’s GPT-3: Geschatte trainingskosten lagen tussen $500.000 en $4,6 miljoen, vooral vanwege het gebruik van high-end GPU’s en de benodigde energie voor berekeningen.
• GPT-4: Naar verluidt kostte de training meer dan $100 miljoen, vanwege de toegenomen modelgrootte en complexiteit.
• BloombergGPT: De trainingsuitgaven liepen op tot miljoenen dollars, grotendeels door GPU-kosten en de vereiste computationele capaciteit.

Deze cijfers tonen aan dat het trainen van state-of-the-art LLM’s vanaf nul een investering is die voornamelijk haalbaar is voor grote organisaties met aanzienlijke middelen.

Hoe trainingskosten te beheren en te verlagen

1. Fijn afstemmen van voorgetrainde modellen: In plaats van een LLM vanaf nul te trainen, kunnen organisaties bestaande open-source modellen (zoals LLaMA 2 of Mistral 7B) fijn afstemmen op domeinspecifieke data. Deze aanpak vermindert aanzienlijk de benodigde rekenkracht en kosten.
2. Modeloptimalisatietechnieken:
   • Kwantisatie: Het verlagen van de precisie van modelgewichten (bijv. van 32-bit naar 8-bit) om geheugen- en rekeneisen te verminderen.
   • Pruning: Het verwijderen van overbodige modelparameters om het model efficiënter te maken zonder noemenswaardig prestatieverlies.
   • Kennisdistillatie: Een kleiner model trainen dat een groter model nabootst, waarbij essentiële kenmerken worden behouden bij een kleinere omvang.
3. Efficiënte trainingsalgoritmen: Het implementeren van algoritmen die hardwaregebruik optimaliseren, zoals mixed-precision training of gradient checkpointing, om rekentijd en kosten te reduceren.
4. Cloud computing en spot-instances: Het gebruik van clouddiensten en het benutten van spot-instance-prijzen kan computatiekosten verlagen door gebruik te maken van overtollige datacentercapaciteit tegen gereduceerde tarieven.
5. Samenwerkingen en community-inspanningen: Deelnemen aan onderzoeks-samenwerkingen of open-source projecten kan de kosten en inspanningen van het trainen van grote modellen verdelen.
6. Datavoorbereidingsstrategieën: Het opschonen en dedupliceren van trainingsdata om onnodige berekeningen op dubbele informatie te voorkomen.

Inferentiekosten van Large Language Models

Factoren die inferentiekosten beïnvloeden

1. Modelgrootte en complexiteit: Grotere modellen vereisen meer computationele middelen per inferentie, wat de operationele kosten verhoogt.
2. Hardwarevereisten: Voor productie-inzet van LLM’s zijn vaak krachtige GPU’s of gespecialiseerde hardware nodig, wat bijdraagt aan hogere kosten.
3. Implementatie-infrastructuur: Uitgaven voor servers (on-premises of in de cloud), netwerken en opslag die nodig zijn om het model te hosten en te serveren.
4. Gebruikspatronen: De frequentie van modelgebruik, het aantal gelijktijdige gebruikers en vereiste responstijden beïnvloeden het middelengebruik en de kosten.
5. Schaalbaarheidsbehoeften: Het opschalen van de dienst om aan toegenomen vraag te voldoen vereist extra middelen en mogelijk hogere uitgaven.
6. Onderhoud en monitoring: Doorlopende kosten voor systeembeheer, software-updates en prestatiemonitoring.

Inferentiekosten inschatten

Inferentiekosten kunnen sterk variëren afhankelijk van implementatiekeuzes:

• Gebruik van cloudgebaseerde API’s:
  • Aanbieders zoals OpenAI en Anthropic bieden LLM’s als dienst aan en rekenen per verwerkt token.
  • Voorbeeld: OpenAI’s GPT-4 rekent $0,03 per 1.000 inputtokens en $0,06 per 1.000 outputtokens.
  • Kosten kunnen snel oplopen bij groot gebruik.
• Zelf modellen hosten in de cloud:
  • Het implementeren van een open-source LLM op cloudinfrastructuur vereist het huren van compute-instances met GPU’s.
  • Voorbeeld: Het hosten van een LLM op een AWS ml.p4d.24xlarge instance kost ongeveer $38 per uur on-demand, wat neerkomt op meer dan $27.000 per maand bij continu gebruik.
• On-premises implementatie:
  • Vereist een aanzienlijke initiële investering in hardware.
  • Kan op lange termijn kostenbesparingen opleveren voor organisaties met hoog en consistent gebruik.

Strategieën om inferentiekosten te verlagen

1. Modelcompressie en optimalisatie:
   • Kwantisatie: Gebruik van berekeningen met lagere precisie om middelen te besparen.
   • Distillatie: Kleinere, efficiënte modellen inzetten die voldoende prestaties leveren.
2. Geschikte modelgroottes kiezen:
   • Een model selecteren dat prestaties en computationele kosten in balans brengt.
   • Kleinere modellen zijn voor bepaalde toepassingen voldoende en verlagen de inferentiekosten.
3. Efficiënte servingtechnieken:
   • Batchverwerking implementeren om meerdere inferentieverzoeken tegelijk af te handelen.
   • Asynchrone verwerking toepassen wanneer real-time reacties niet cruciaal zijn.
4. Autoscaling infrastructuur:
   • Clouddiensten gebruiken die middelen automatisch schalen op basis van de vraag om overprovisionering te voorkomen.
5. Caching van antwoorden:
   • Veelvoorkomende vragen en hun antwoorden opslaan om dubbele berekeningen te vermijden.
6. Gebruik van gespecialiseerde hardware:
   • AI-accelerators of voor inferentie geoptimaliseerde GPU’s inzetten om de efficiëntie te vergroten.

Onderzoek naar de kosten van Large Language Models: Training en inferentie

De kosten van training en inferentie van grote taalmodellen (LLM’s) zijn een belangrijk onderzoeksgebied geworden vanwege het middelenintensieve karakter van deze modellen.

• Patch-level training voor LLM’s: Een benadering om trainingskosten te verlagen wordt uiteengezet in het artikel “Patch-Level Training for Large Language Models” door Chenze Shao et al. (2024). Dit onderzoek introduceert patch-level training, waarbij meerdere tokens worden samengevoegd tot één patch, waardoor de sequentielengte en computationele kosten worden gehalveerd zonder prestatieverlies. De methode omvat een initiële fase van patch-level training, gevolgd door token-level training om aan te sluiten bij de inferentiemodus, en toont effectiviteit aan voor verschillende modelgroottes.

• Energieverbruik van inferentie: Een ander belangrijk aspect van LLM’s is het energieverbruik bij inferentie, zoals onderzocht in “From Words to Watts: Benchmarking the Energy Costs of Large Language Model Inference” door Siddharth Samsi et al. (2023). Dit artikel vergelijkt het computationele en energieverbruik van LLM-inferentie, met speciale aandacht voor het LLaMA-model. De studie toont aanzienlijke energiekosten aan voor inferentie op verschillende GPU-generaties en datasets, en benadrukt het belang van efficiënt hardwaregebruik en optimale inferentiestrategieën om kosten effectief te beheren in praktische toepassingen.

• Controleerbare LLM’s en inferentie-efficiëntie: Het artikel “Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models” door Han Liu et al. (2022) behandelt de uitdaging om voorgetrainde taalmodellen tijdens inferentie te sturen op specifieke attributen zonder hun parameters te wijzigen. Dit onderzoek onderstreept het belang van het afstemmen van trainingsmethoden op inferentievereisten om de controleerbaarheid en efficiëntie van LLM’s te vergroten, waarbij externe discriminatoren worden ingezet om voorgetrainde modellen tijdens inferentie te sturen.