Kosten von LLM

Was sind die Kosten von Large Language Models?

Large Language Models (LLMs) sind fortschrittliche KI-Systeme, die entwickelt wurden, um menschenähnlichen Text zu verstehen und zu generieren. Sie basieren auf tiefen neuronalen Netzen mit Milliarden von Parametern und werden auf riesigen Datensätzen trainiert, die Texte aus dem Internet, Büchern, Artikeln und anderen Quellen umfassen. Beispiele für LLMs sind OpenAIs GPT-3 und GPT-4, Googles BERT, Metas LLaMA-Serie und Modelle von Mistral AI.

Die mit LLMs verbundenen Kosten beziehen sich auf die finanziellen Mittel, die für die Entwicklung (Training) und Bereitstellung (Inferenz) dieser Modelle erforderlich sind. Trainingskosten umfassen die Ausgaben für den Aufbau und die Feinabstimmung des Modells, während Inferenzkosten die Betriebsausgaben für das Ausführen des Modells zur Verarbeitung von Eingaben und zur Generierung von Ausgaben in Echtzeitanwendungen umfassen.

Das Verständnis dieser Kosten ist für Organisationen, die LLMs in ihre Produkte oder Dienstleistungen integrieren möchten, entscheidend. Es hilft bei der Budgetierung, Ressourcenallokation und der Einschätzung der Machbarkeit von KI-Projekten.

Trainingskosten von Large Language Models

Faktoren, die zu den Trainingskosten beitragen

1. Rechenressourcen: Das Training von LLMs erfordert erhebliche Rechenleistung, häufig mit Tausenden von Hochleistungs-GPUs oder spezialisierter KI-Hardware wie NVIDIAs A100- oder H100-GPUs. Die Anschaffung oder Anmietung dieser Hardware ist kostenintensiv.
2. Energieverbrauch: Der hohe Rechenaufwand führt zu einem erheblichen Energiebedarf und damit zu steigenden Stromkosten. Das Training großer Modelle kann Megawattstunden an Energie verbrauchen.
3. Datenmanagement: Das Sammeln, Speichern und Verarbeiten riesiger Trainingsdatensätze verursacht Kosten für Speicherinfrastruktur und Bandbreite.
4. Personal: Qualifizierte KI-Ingenieure, Datenwissenschaftler und Forscher werden für die Entwicklung und Steuerung des Trainingsprozesses benötigt, was zu Personalkosten beiträgt.
5. Infrastrukturwartung: Die Wartung von Rechenzentren oder Cloud-Infrastruktur umfasst Ausgaben für Kühlsysteme, physische Räumlichkeiten und Netzwerkausstattung.
6. Forschung und Entwicklung: Kosten für die Entwicklung von Algorithmen, Experimente und Optimierung während der Trainingsphase.

Geschätzte Trainingskosten für bekannte LLMs

• OpenAIs GPT-3: Die geschätzten Trainingskosten lagen zwischen 500.000 und 4,6 Millionen US-Dollar, hauptsächlich aufgrund des Einsatzes hochwertiger GPUs und des erforderlichen Energieaufwands.
• GPT-4: Die Trainingskosten werden mit über 100 Millionen US-Dollar angegeben, bedingt durch die erhöhte Modellgröße und -komplexität.
• BloombergGPT: Die Trainingsausgaben beliefen sich auf mehrere Millionen US-Dollar, vor allem durch GPU-Kosten und den hohen Rechenaufwand.

Diese Zahlen verdeutlichen, dass das Training von State-of-the-Art-LLMs von Grund auf hauptsächlich für große Organisationen mit erheblichen Ressourcen möglich ist.

Wie sich Trainingskosten steuern und senken lassen

1. Feinabstimmung vortrainierter Modelle: Anstatt ein LLM von Grund auf zu trainieren, können Organisationen bestehende Open-Source-Modelle (wie LLaMA 2 oder Mistral 7B) mit domänenspezifischen Daten feinabstimmen. Dieser Ansatz reduziert den Rechenaufwand und die Kosten erheblich.
2. Modell-Optimierungstechniken:
   • Quantisierung: Die Reduzierung der Genauigkeit von Modellgewichten (z.B. von 32-Bit auf 8-Bit), um Speicher- und Rechenbedarf zu senken.
   • Pruning: Entfernen unnötiger Modellparameter, um das Modell zu verschlanken, ohne die Leistung wesentlich zu beeinträchtigen.
   • Knowledge Distillation: Trainieren eines kleineren Modells, das ein größeres nachahmt und dabei wichtige Eigenschaften übernimmt.
3. Effiziente Trainingsalgorithmen: Implementierung von Algorithmen, die die Hardwareauslastung optimieren, wie Mixed-Precision-Training oder Gradient Checkpointing, um Rechenzeit und Kosten zu reduzieren.
4. Cloud Computing und Spot-Instanzen: Die Nutzung von Cloud-Diensten und Spot-Instanzpreisen kann die Rechenkosten senken, indem überschüssige Rechenzentrumsressourcen zu vergünstigten Tarifen genutzt werden.
5. Kooperationen und Community-Projekte: Die Teilnahme an Forschungskollaborationen oder Open-Source-Projekten kann Kosten und Aufwand für das Training großer Modelle verteilen.
6. Datenvorbereitungsstrategien: Reinigung und Deduplizierung von Trainingsdaten, um unnötige Berechnungen für redundante Informationen zu vermeiden.

Inferenzkosten von Large Language Models

Faktoren, die die Inferenzkosten beeinflussen

1. Modellgröße und -komplexität: Größere Modelle benötigen für jede Inferenz mehr Rechenressourcen, was die Betriebskosten erhöht.
2. Hardwareanforderungen: Für den produktiven Einsatz von LLMs werden meist leistungsstarke GPUs oder spezialisierte Hardware benötigt, was die Kosten steigert.
3. Bereitstellungsinfrastruktur: Kosten für Server (vor Ort oder in der Cloud), Netzwerke und Speicher, die zum Hosten und Bereitstellen des Modells erforderlich sind.
4. Nutzungsmuster: Die Häufigkeit der Modellausführung, die Zahl gleichzeitiger Nutzer und geforderte Antwortzeiten wirken sich auf den Ressourcenverbrauch und damit auf die Kosten aus.
5. Skalierbarkeitsbedarf: Die Skalierung des Dienstes zur Bewältigung steigender Nachfrage erfordert zusätzliche Ressourcen und kann die Ausgaben erhöhen.
6. Wartung und Monitoring: Laufende Kosten für Systemadministration, Software-Updates und Leistungsüberwachung.

Abschätzung der Inferenzkosten

Die Inferenzkosten können je nach Bereitstellungsoption stark variieren:

• Nutzung cloudbasierter APIs:
  • Anbieter wie OpenAI oder Anthropic bieten LLMs als Service an und berechnen nach verarbeiteten Tokens.
  • Beispiel: OpenAIs GPT-4 kostet 0,03 US-Dollar pro 1.000 Input-Tokens und 0,06 US-Dollar pro 1.000 Output-Tokens.
  • Bei hohem Nutzungsvolumen können die Kosten schnell steigen.
• Eigenes Hosting von Modellen in der Cloud:
  • Die Bereitstellung eines Open-Source-LLM auf Cloud-Infrastruktur erfordert das Mieten von Compute-Instanzen mit GPUs.
  • Beispiel: Das Hosting eines LLM auf einer AWS ml.p4d.24xlarge Instanz kostet ca. 38 US-Dollar pro Stunde on-demand, was bei Dauerbetrieb über 27.000 US-Dollar pro Monat entspricht.
• On-Premises-Bereitstellung:
  • Erfordert eine beträchtliche Anfangsinvestition in Hardware.
  • Kann bei hoher und gleichmäßiger Nutzung langfristig Kostenvorteile bieten.

Strategien zur Senkung der Inferenzkosten

1. Modellkompression und -optimierung:
   • Quantisierung: Verwendung von Berechnungen mit geringerer Genauigkeit zur Reduzierung des Ressourcenbedarfs.
   • Distillation: Einsatz kleinerer, effizienter Modelle, die eine ausreichende Leistung bieten.
2. Wahl geeigneter Modellgrößen:
   • Auswahl eines Modells, das Leistung und Rechenaufwand ausbalanciert.
   • Kleinere Modelle können für bestimmte Anwendungsfälle ausreichen und die Inferenzkosten senken.
3. Effiziente Serving-Techniken:
   • Implementierung von Batch-Verarbeitung, um mehrere Inferenzanfragen gleichzeitig zu bearbeiten.
   • Nutzung asynchroner Verarbeitung, wenn keine Echtzeitantworten erforderlich sind.
4. Autoskalierende Infrastruktur:
   • Einsatz von Cloud-Diensten, die Ressourcen bedarfsgerecht automatisch skalieren, um Überprovisionierung zu vermeiden.
5. Caching von Antworten:
   • Speicherung häufiger Anfragen und deren Antworten, um redundante Berechnungen zu vermeiden.
6. Nutzung spezialisierter Hardware:
   • Einsatz von KI-Beschleunigern oder für Inferenz optimierten GPUs zur Effizienzsteigerung.

Forschung zu den Kosten von Large Language Models: Training und Inferenz

Die mit dem Training und der Inferenz großer Sprachmodelle (LLMs) verbundenen Kosten sind aufgrund des ressourcenintensiven Charakters dieser Modelle zu einem wichtigen Forschungsfeld geworden.

• Patch-Level-Training für LLMs: Ein Ansatz zur Reduzierung der Trainingskosten wird im Paper „Patch-Level Training for Large Language Models“ von Chenze Shao et al. (2024) vorgestellt. Diese Forschung führt das Patch-Level-Training ein, bei dem mehrere Tokens zu einem Patch zusammengefasst werden, wodurch sich die Sequenzlänge und der Rechenaufwand halbieren, ohne die Modellleistung zu beeinträchtigen. Das Verfahren umfasst eine erste Phase des Patch-Level-Trainings, gefolgt von Token-Level-Training zur Abstimmung auf den Inferenzmodus, und zeigt seine Wirksamkeit bei verschiedenen Modellgrößen.

• Energiekosten der Inferenz: Ein weiterer kritischer Aspekt von LLMs sind die mit der Inferenz verbundenen Energiekosten, wie in „From Words to Watts: Benchmarking the Energy Costs of Large Language Model Inference“ von Siddharth Samsi et al. (2023) untersucht. Diese Arbeit bewertet den Rechen- und Energieaufwand der LLM-Inferenz, insbesondere am Beispiel des LLaMA-Modells. Die Studie zeigt signifikante Energiekosten für die Inferenz über verschiedene GPU-Generationen und Datensätze hinweg und hebt die Notwendigkeit effizienter Hardware-Nutzung und optimaler Inferenzstrategien zur effektiven Kostenkontrolle in der Praxis hervor.

• Kontrollierbarkeit von LLMs und Inferenz-Effizienz: Das Paper „Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models“ von Han Liu et al. (2022) behandelt die Herausforderung, vortrainierte Sprachmodelle während der Inferenz ohne Änderung der Parameter gezielt für bestimmte Eigenschaften einzusetzen. Die Forschung unterstreicht, wie wichtig die Abstimmung von Trainingsmethoden auf Inferenzanforderungen zur Verbesserung der Kontrollierbarkeit und Effizienz von LLMs ist, wobei externe Diskriminatoren zur Steuerung vortrainierter Modelle während der Inferenz eingesetzt werden.