Entdecken Sie, wie Mira Muratis Thinking Machines Lab das Problem des Nichtdeterminismus in großen Sprachmodellen löst, reproduzierbare KI-Ausgaben ermöglicht und unser Vertrauen sowie die Auditierbarkeit von KI-Systemen transformiert.
Die Reproduzierbarkeitskrise in der künstlichen Intelligenz ist seit langem ein Dorn im Auge von Forschern, Ingenieuren und Unternehmen, die sich auf große Sprachmodelle verlassen. Wenn Sie ChatGPT zweimal dieselbe Frage stellen, erhalten Sie selten identische Antworten – ein Phänomen, das wissenschaftliche Strenge und praktische Zuverlässigkeit untergräbt. Kürzlich hat Mira Murati, die ehemalige CTO von OpenAI, das Thinking Machines Lab mit einer kühnen Mission gegründet: eines der grundlegendsten Probleme der KI zu lösen – den Nichtdeterminismus bei der LLM-Inferenz. Über ihren Forschungsblog Connectionism haben sie bahnbrechende Arbeiten zur Überwindung des Nichtdeterminismus veröffentlicht und nicht nur die Ursachen dieser Inkonsistenz offenbart, sondern auch praktische Lösungen präsentiert, die unser Vertrauen in KI-Systeme grundlegend verändern könnten. Dieser Artikel erläutert ihre Erkenntnisse, erklärt die technischen Mechanismen hinter der LLM-Variabilität und beleuchtet die Auswirkungen auf die zukünftige Zuverlässigkeit von KI.
Nichtdeterminismus in großen Sprachmodellen ist ein scheinbar einfaches Konzept mit weitreichenden Folgen. Wenn Sie einem LLM exakt dieselbe Eingabe mehrfach geben, erhalten Sie unterschiedliche Antworten – manchmal subtil, manchmal gravierend verschieden. Diese Inkonsistenz verletzt eines der Grundprinzipien wissenschaftlicher Methodik: die Reproduzierbarkeit. Sie gilt als Grundpfeiler wissenschaftlichen Fortschritts, ist jedoch mit modernen großen Sprachmodellen erstaunlich schwer zu erreichen. Das Problem ist nicht bloß ein Ärgernis – es stellt eine kritische Schwachstelle beim Einsatz von KI-Systemen in Branchen dar, in denen Konsistenz und Zuverlässigkeit oberste Priorität haben. Ob Sie ein LLM zur medizinischen Diagnoseunterstützung, für juristische Analysen, Finanzprognosen oder wissenschaftliche Forschung einsetzen: Die Unfähigkeit, Ergebnisse zu reproduzieren, zieht eine Kette von Folgeproblemen nach sich, die Vertrauen, Validierung und regulatorische Anforderungen betreffen.
Das Auftreten von Nichtdeterminismus ist beobachtbar und frustrierend. Lassen Sie dasselbe Prompt zehnmal durch ein LLM laufen, erhalten Sie zehn verschiedene Antworten. Selbst wenn Sie versuchen, Zufall auszuschließen, indem Sie den Temperatur-Parameter auf null setzen – was theoretisch deterministische Ausgaben liefern sollte – produziert das Modell weiterhin unterschiedliche Ergebnisse. Diese anhaltende Variabilität selbst unter vermeintlich deterministischen Bedingungen gab Forschern jahrelang Rätsel auf. Die gängige Annahme war, dass dies einfach zur Funktionsweise von Sprachmodellen gehört, also eine inhärente Eigenschaft der Technologie sei. Die Forschung von Thinking Machines zeigt jedoch, dass diese Annahme unvollständig war. Die wahren Ursachen des Nichtdeterminismus sind viel spezifischer und vor allem durch gezielte technische Eingriffe adressierbar.
Die Bedeutung der Überwindung des Nichtdeterminismus reicht weit über akademisches Interesse hinaus. In der Praxis ist Reproduzierbarkeit essenziell, um vertrauenswürdige KI-Systeme zu entwickeln, die Unternehmen mit gutem Gewissen produktiv einsetzen können. Wenn ein LLM inkonsistente Ausgaben liefert, wird effektives Debugging nahezu unmöglich. Gibt ein Modell eine falsche oder schädliche Antwort, können Ingenieure das Problem nicht zuverlässig reproduzieren, um die Ursache zu verstehen. Dadurch ist es extrem schwer herauszufinden, ob das Problem am Modell selbst, am Prompt-Engineering, an den Daten oder einem anderen Faktor liegt. Die Fehlersuche wird zum Glücksspiel, statt zu einem systematischen Ausschlussverfahren.
Auch für Auditierung und Verifikation ist Reproduzierbarkeit unerlässlich. Regulierungsbehörden, Compliance-Beauftragte und Sicherheitsteams müssen verstehen, wie KI-Systeme Entscheidungen treffen. Sind die Ausgaben nichtdeterministisch, wird die Auditierung zum Alptraum. Sie können eine bestimmte Ausgabe nicht mit Gewissheit auf ihre Ursachen zurückführen. Besonders problematisch ist das in regulierten Branchen wie Gesundheitswesen, Finanzen und Recht, in denen Nachvollziehbarkeit und Auditierbarkeit rechtlich vorgeschrieben sind. Zudem werden Benchmarks unzuverlässig, wenn Ein- und Ausgaben nichtdeterministisch sind. Vergleichen Sie zwei Modelle oder zwei Versionen desselben Modells, benötigen Sie stabile, reproduzierbare Ergebnisse, um aussagekräftige Vergleiche zu ziehen. Nichtdeterminismus bringt Rauschen in Benchmarks, sodass es schwer fällt festzustellen, ob Leistungsunterschiede real oder bloß zufällig sind.
Auch aus Nutzersicht ist Reproduzierbarkeit entscheidend. Nutzer wollen wissen, dass sie bei einer Frage an das KI-System eine konsistente, verlässliche Antwort erhalten. Führt dieselbe Frage zu völlig unterschiedlichen Antworten, sinkt das Vertrauen. Besonders gilt das für Anwendungen, bei denen Nutzer die KI für Entscheidungsunterstützung oder Informationsabruf verwenden. Darüber hinaus ermöglicht Reproduzierbarkeit bessere Prompt-Optimierung. Können Sie Ergebnisse nicht reproduzieren, können Sie auch Ihre Prompts nicht systematisch verbessern oder herausfinden, welche Varianten besser funktionieren.
Die klassische Annahme, warum LLMs nichtdeterministische Ergebnisse liefern, konzentriert sich auf zwei technische Faktoren: Nichtassoziativität von Fließkomma-Operationen und parallele Ausführung auf GPUs. Um das zu verstehen, muss man in die mathematischen und rechnerischen Grundlagen neuronaler Netze eintauchen. Fließkommazahlen sind der Standard, wie Computer Dezimalzahlen – etwa 5,23 oder 3,14159 – repräsentieren. Computer können jedoch keine unendliche Genauigkeit speichern. Irgendwann müssen Zahlen gerundet werden, um sie im Speicher unterzubringen. Dieses Runden führt zu geringfügigen Fehlern, und bei Millionen oder Milliarden von Berechnungen summieren sich diese Fehler.
Die Nichtassoziativität ist hierbei besonders relevant. In der Mathematik ist Addition assoziativ: (a + b) + c = a + (b + c). Bei Fließkomma-Arithmetik stimmt das wegen Rundungsfehlern oft nicht. Je nachdem, in welcher Reihenfolge Sie Zahlen addieren, erhalten Sie leicht unterschiedliche Ergebnisse. Das mag trivial erscheinen, doch bei neuronalen Netzen mit Milliarden von Parametern und Operationen können sich diese kleinen Unterschiede durch das gesamte Netzwerk fortpflanzen und beeinflussen, welches Token das Modell als nächstes auswählt.
Der zweite Faktor ist die parallele Ausführung auf GPUs. Grafikprozessoren sind dafür gebaut, viele Berechnungen gleichzeitig auszuführen. Ein mathematischer Auftrag wird auf Tausende Kerne verteilt, die parallel laufen. Dabei ist oft unklar, welcher Kern wann fertig wird. Diese nichtdeterministische Reihenfolge kann das Endergebnis beeinflussen, besonders wenn Operationen voneinander abhängen oder Ergebnisse aggregiert werden. Spezialisierte Hardware wie etwa Chips von Groq begegnet dem mit vollkommen symmetrischen Architekturen, bei denen die Dauer jedes Vorgangs exakt bekannt ist. Die meisten GPUs verfügen jedoch nicht über diese Eigenschaft.
Obwohl Fließkomma-Arithmetik und parallele Ausführung Teil der Wahrheit sind, zeigt die Forschung von Thinking Machines, dass sie nicht die ganze Geschichte erklären. Der eigentliche Auslöser für Nichtdeterminismus in LLMs ist die Variabilität der Batchgröße. Stellen Sie sich hierzu ein Fahrgemeinschaftssystem vor. Wenn Sie ein Prompt an ein LLM senden, wird Ihre Anfrage nicht isoliert verarbeitet. Stattdessen wird sie mit anderen Anfragen zu einem Batch – einer Fahrgemeinschaft – zusammengefasst. Ist das System ausgelastet, ist die Fahrgemeinschaft groß, bei wenig Auslastung klein. Die Batchgröße ist also dynamisch und schwankt je nach Systemlast.
Der entscheidende Punkt: Die Batchgröße beeinflusst die Reihenfolge, in der winzige mathematische Operationen im neuronalen Netzwerk ausgeführt werden. Unterschiedliche Batchgrößen können dazu führen, dass identische Berechnungen in unterschiedlicher Reihenfolge ablaufen. Da Fließkomma-Operationen nichtassoziativ sind, führt eine leicht andere Reihenfolge zu leicht unterschiedlichen Zwischenwerten, die sich durch das Netzwerk fortpflanzen und am Ende beeinflussen, welches Token das Modell auswählt. Da LLMs Token für Token generieren und jede Vorhersage auf den bisherigen Ausgaben basiert, kann ein kleiner Unterschied am Anfang zu völlig verschiedenen Endausgaben führen.
Das ist eine subtile, aber grundlegende Erkenntnis. Der Nichtdeterminismus ist also nicht der Modellarchitektur oder dem Wesen neuronaler Netze an sich geschuldet, sondern eine Folge der Implementierung von Batching während der Inferenz. Die Batchgröße ist eine variable Systemgröße, deren Schwankungen direkt zur Variabilität der Ausgaben führen. Diese Entdeckung ist entscheidend, weil sie bedeutet, dass das Problem durch gezielte Optimierung der Inferenz-Pipeline gelöst werden kann.
Die Lösung von Thinking Machines gegen Nichtdeterminismus besteht aus drei koordinierten technischen Korrekturen, zusammengefasst als batchinvariante Kerne. Die erste Korrektur sorgt dafür, dass alle Berechnungen unabhängig von der Batchgröße stets gleich gewichtet und normalisiert werden. In der Restaurant-Analogie bedeutet das: Sie müssen sicherstellen, dass jede Schüssel gleich schwer ist, egal wie voll die Küche gerade ist. Dafür werden Rechenkernels verwendet, die konsistente Normalisierung und Gewichtung garantieren, unabhängig von der Anzahl der Anfragen im Batch. Der Kompromiss: Eventuell sinkt die Verarbeitungsgeschwindigkeit etwas, aber die gewonnene Konsistenz wiegt diesen Nachteil mehr als auf.
Die zweite Korrektur betrifft den Mixing-Schritt, der bei allen Batchgrößen identisch ablaufen muss. Bei neuronalen Netzen gibt es Mix-Operationen, in denen verschiedene Komponenten kombiniert werden. Diese müssen unabhängig von der Batchgröße stets in derselben Weise ausgeführt werden. Das erfordert eine sorgfältige Implementierung der Rechenkernels, um Reihenfolge und Methode des Mischens konstant zu halten. Auch hier entsteht etwas Mehraufwand, doch der Gewinn an deterministischen Ausgaben rechtfertigt diesen.
Die dritte Korrektur betrifft den Attention-Mechanismus, der das Kernstück transformerbasierter Sprachmodelle ist. Der Attention-Mechanismus ermöglicht dem Modell, auf zuvor generierten Text zurückzublicken und verschiedene Teile unterschiedlich zu gewichten. Wird Text in unterschiedlich großen Chunks verarbeitet, kann sich die Reihenfolge der Operationen im Attention-Mechanismus ändern. Die Lösung: Jedes Mal dieselbe Chunkgröße verwenden, sodass der Attention-Mechanismus die Informationen immer in derselben Reihenfolge verarbeitet. Diese Konsistenz ist entscheidend für deterministische Ausgaben.
Der ultimative Test jeder wissenschaftlichen Behauptung ist die empirische Überprüfung. Thinking Machines hat seine Lösung mit Qwen 2.5B, einem großen Sprachmodell, getestet und ein rigoroses Experiment durchgeführt. Sie generierten 1.000 Vervollständigungen bei Temperatur null (minimale Zufälligkeit) mit demselben Prompt: “Erzähle mir etwas über Richard Feynman.” Jede Vervollständigung umfasste 1.000 Tokens. Vor der Implementierung der batchinvarianten Kerne waren die Ergebnisse ernüchternd, aber aufschlussreich: Von 1.000 Vervollständigungen entstanden 80 unterschiedliche Antworten; die häufigste kam nur 78-mal vor. Das illustriert, wie gravierend das Nichtdeterminismus-Problem ist – selbst bei Temperatur null erzeugte das Modell 80 verschiedene Ausgaben.
Nach der Aktivierung der batchinvarianten Kerne waren die Ergebnisse beeindruckend: Alle 1.000 Vervollständigungen waren identisch. Perfekter Determinismus wurde erreicht. Es handelte sich nicht um eine graduelle Verbesserung, sondern um die vollständige Beseitigung des Nichtdeterminismus. Jeder einzelne Durchlauf produzierte exakt dasselbe Ergebnis. Diese Validierung ist entscheidend, weil sie beweist, dass das Problem tatsächlich lösbar ist und die vorgeschlagene Lösung funktioniert. Das Experiment wurde mit einem realen, produktionsreifen Sprachmodell durchgeführt, nicht mit einem Spielzeugmodell oder einer vereinfachten Version – das macht die Ergebnisse umso bedeutsamer.
Deterministische LLM-Ausgaben haben weitreichende Folgen für Entwicklung, Betrieb und Vertrauen in KI-Systeme. Zunächst ermöglicht Determinismus zuverlässiges Debugging. Wenn ein Modell eine unerwartete oder fehlerhafte Ausgabe erzeugt, können Ingenieure das Problem nun konsistent reproduzieren. Die Fehlersuche wird von einem Glücksspiel zu einem systematischen Prozess. Ingenieure können genau nachvollziehen, welcher Berechnungspfad zur problematischen Ausgabe führte, Fehlerquellen gezielt identifizieren und Korrekturen mit der Gewissheit vornehmen, dass sie das Problem tatsächlich behoben haben.
Zweitens verbessert Determinismus die Auditierbarkeit deutlich. Regulierungsbehörden, Compliance-Beauftragte und Sicherheitsteams können KI-Systeme nun viel zuverlässiger prüfen. Durch konsistente Reproduzierbarkeit lässt sich exakt nachvollziehen, welche Faktoren eine Entscheidung beeinflusst haben. Das ist besonders in regulierten Branchen wie Gesundheitswesen, Finanzen und Recht wichtig, wo Nachvollziehbarkeit rechtlich vorgeschrieben ist. Auditoren können bestätigen, dass das Modell wie erwartet funktioniert und nicht durch Zufallsvariabilität verzerrte oder schädliche Ausgaben erzeugt.
Drittens werden Benchmarks wesentlich zuverlässiger. Beim Vergleich zweier Modelle oder Versionen können Forscher sicher sein, dass Leistungsunterschiede real sind und nicht auf Zufall beruhen. Das ermöglicht strengere wissenschaftliche Evaluation und fundiertere Entscheidungen für den Produktiveinsatz. Zudem wird Prompt-Engineering und -Optimierung verbessert. Forscher können verschiedene Prompts systematisch testen und sicher sein, dass die Ergebnisse reproduzierbar sind.
Für Organisationen, die FlowHunt zur Automatisierung ihrer KI-Workflows nutzen, sind die Auswirkungen deterministischer LLMs erheblich. FlowHunt ermöglicht es, komplexe, mehrstufige KI-Workflows zu bauen, die Sprachmodelle mit anderen Tools und Prozessen integrieren. Sind LLMs nichtdeterministisch, werden diese Workflows unzuverlässig – dieselbe Eingabe kann unterschiedliche Ausgaben und damit inkonsistente Ergebnisse in nachgelagerten Schritten liefern. Mit deterministischen LLMs können FlowHunt-Nutzer Workflows mit deutlich mehr Vertrauen in deren Zuverlässigkeit und Konsistenz bauen.
Die Automatisierungsfunktionen von FlowHunt sind besonders wertvoll in Kombination mit deterministischen LLMs. Nutzer können Workflows erstellen, die auf spezifische LLM-Ausgaben angewiesen sind, und wissen, dass diese Ausgaben konsistent und reproduzierbar sein werden. Das ermöglicht anspruchsvollere Automatisierung, bessere Fehlerbehandlung und zuverlässigere Integration mit anderen Systemen. Beispielsweise kann ein Workflow, der Informationen aus Dokumenten mit einem LLM extrahiert, nun sicher sein, dass dasselbe Dokument immer dieselben Informationen liefert. Diese Konsistenz ist essenziell für vertrauenswürdige, produktionsreife KI-Automatisierung.
Obwohl deterministische Ausgaben meist wünschenswert sind, gibt es wichtige Anwendungsfälle, in denen Nichtdeterminismus von Vorteil ist. Kreatives Schreiben ist das naheliegendste Beispiel. Wenn Sie ein LLM für kreative Inhalte – Geschichten, Gedichte, Werbetexte – einsetzen, wünschen Sie sich Variabilität. Sie möchten, dass das Modell bei jedem Durchlauf unterschiedliche kreative Ausgaben erzeugt und nicht immer den identischen Text. In diesen Fällen sollten Nutzer den deterministischen Modus deaktivieren und dem Modell erlauben, variable Ausgaben zu generieren.
Auch bei Brainstorming- oder Ideengenerierung-Anwendungen ist Variabilität wertvoll. Wenn Sie ein LLM nutzen, um verschiedene Ideen oder Sichtweisen zu einem Thema zu generieren, erwarten Sie unterschiedliche Ergebnisse, nicht identische Wiederholungen. Die Lösung ist, Determinismus optional zu gestalten – Nutzer können ihn bei Bedarf aktivieren, wenn Reproduzierbarkeit erforderlich ist, und deaktivieren, wenn Variabilität gewünscht wird. Diese Flexibilität stellt sicher, dass deterministische LLMs Anwendungsfälle mit Variabilitätsbedarf nicht unnötig einschränken.
Die Arbeit von Thinking Machines zur Überwindung des Nichtdeterminismus ist ein bedeutender Schritt hin zu zuverlässigeren, vertrauenswürdigeren und produktionsfähigen KI-Systemen. Diese Forschung adressiert ein grundlegendes Problem, das die KI-Branche seit dem Aufkommen großer Sprachmodelle begleitet. Mit der Lösung dieses Problems ermöglicht Thinking Machines eine neue Generation von KI-Anwendungen, die mit größerer Sicherheit in regulierten und unternehmenskritischen Bereichen eingesetzt werden können.
Die Auswirkungen gehen über LLMs hinaus. Die entwickelten Techniken für deterministische LLM-Inferenz könnten auf andere neuronale Netze und KI-Systeme übertragbar sein. Die Prinzipien batchinvarianter Kerne und konsistenter Berechnungsreihenfolgen sind allgemeingültig und könnten die Zuverlässigkeit von KI insgesamt verbessern. Da KI zunehmend in kritische Infrastruktur und Entscheidungsprozesse integriert wird, werden Reproduzierbarkeit und Determinismus an Bedeutung gewinnen.
Zudem verdeutlicht diese Arbeit die Wichtigkeit grundlagenorientierter KI-Forschung. Während sich ein Großteil der KI-Industrie auf die Skalierung von Modellen und neue Fähigkeiten konzentriert, widmen sich Forschungen wie diese den Basisproblemen, die bessere Einsatzmöglichkeiten und Vertrauen in KI schaffen. Dass eine ehemalige OpenAI-CTO ihre Anstrengungen auf die Lösung dieses Problems fokussiert, unterstreicht dessen Bedeutung und zeigt, dass die Branche erkennt: Zuverlässigkeit und Reproduzierbarkeit sind genauso wichtig wie reine Leistungsfähigkeit.
Mira Muratis Thinking Machines Lab hat ein zentrales Problem bei der Inferenz großer Sprachmodelle identifiziert und gelöst: den Nichtdeterminismus. Indem erkannt wurde, dass Variabilität der Batchgröße – und nicht allein Fließkomma-Arithmetik oder GPU-Konkurrenz – die Hauptursache für nichtdeterministische Ausgaben ist, und durch die Entwicklung batchinvarianter Kerne zur Behebung dieses Problems, wurde gezeigt, dass deterministische LLM-Inferenz möglich ist. Die experimentelle Validierung mit Qwen 2.5B bewies: Perfekter Determinismus ist erreichbar – alle 1.000 Testläufe lieferten nach Implementierung der Lösung identische Ergebnisse. Dieser Durchbruch hat weitreichende Auswirkungen auf Vertrauen, Debugging, Auditierung und Einsatz von KI-Systemen, insbesondere in regulierten Branchen. Da Unternehmen zunehmend auf LLMs für kritische Anwendungen setzen, wird die Fähigkeit, reproduzierbare, deterministische Ausgaben zu erzeugen, zu einer Grundvoraussetzung für produktionsreife KI-Systeme.
Nichtdeterminismus in LLMs bezeichnet das Phänomen, dass dieselbe Eingabeaufforderung bei jedem Durchlauf unterschiedliche Ausgaben erzeugt. Dies geschieht aufgrund von Rundungsungenauigkeiten bei Fließkomma-Berechnungen, paralleler GPU-Ausführung und Schwankungen in der Batchgröße, was eine konsistente Reproduktion der Ergebnisse erschwert.
Die Überwindung des Nichtdeterminismus ist entscheidend für Vertrauen, Fehlersuche, Auditierbarkeit und Verifikation von KI-Systemen. Wenn Ausgaben reproduzierbar sind, werden Benchmarks verlässlicher, Nutzer können Ergebnissen besser vertrauen und es wird einfacher zu verstehen, warum ein Modell bestimmte Ausgaben liefert.
Batchinvariante Kerne sind eine technische Lösung, die sicherstellt, dass LLM-Berechnungen unabhängig von der Batchgröße identische Ergebnisse liefern. Durch die Beibehaltung einer konsistenten Verarbeitungsreihenfolge und identischer Berechnungsschritte beseitigt diese Technologie die durch unterschiedliche Batchgrößen verursachte Variabilität während der Inferenz.
Die Lösung von Thinking Machines besteht aus drei zentralen Korrekturen: Beibehaltung konsistenter Batchgewichtung unabhängig von der Systemauslastung, identische Durchführung des Mixing-Schritts in allen Batches und die Verarbeitung der Attention-Mechanismen immer in derselben Reihenfolge. Diese Änderungen gewährleisten deterministische Ausgaben bei akzeptabler Performance.
Deterministische LLMs sind wertvoll für wissenschaftliche Forschung, regulatorische Compliance, Fehlersuche, Auditierung, Benchmarking und überall dort, wo Reproduzierbarkeit entscheidend ist. Für kreative Anwendungen, bei denen Variabilität erwünscht ist, sind sie jedoch weniger geeignet.
Arshia ist eine AI Workflow Engineerin bei FlowHunt. Mit einem Hintergrund in Informatik und einer Leidenschaft für KI spezialisiert sie sich darauf, effiziente Arbeitsabläufe zu entwickeln, die KI-Tools in alltägliche Aufgaben integrieren und so Produktivität und Kreativität steigern.
Erstellen Sie zuverlässige, reproduzierbare KI-Workflows mit FlowHunts intelligenter Automatisierungsplattform. Sorgen Sie für Konsistenz in Ihren KI-Prozessen – von der Forschung bis zum Einsatz.
Entdecken Sie, wie OpenAIs neueste Forschung aufzeigt, warum Sprachmodelle halluzinieren und selbstbewusst Falschaussagen erzeugen. Lernen Sie die Ursachen kenn...
Entdecken Sie, wie MIT-Forscher große Sprachmodelle (LLMs) mit neuen Erkenntnissen über menschliche Überzeugungen, neuartigen Werkzeugen zur Anomalieerkennung u...
Ein umfassender Leitfaden zur Verwendung von Large Language Models als Richter für die Bewertung von KI-Agenten und Chatbots. Erfahren Sie mehr über die LLM-as-...
Cookie-Zustimmung
Wir verwenden Cookies, um Ihr Surferlebnis zu verbessern und unseren Datenverkehr zu analysieren. See our privacy policy.
