Open Neural Network Exchange (ONNX)

Was ist ONNX?

Open Neural Network Exchange (ONNX) ist ein Open-Source-Format, das geschaffen wurde, um die Austauschbarkeit von Machine-Learning-Modellen zwischen verschiedenen Plattformen und Tools zu erleichtern. Als Gemeinschaftsprojekt von Facebook und Microsoft wurde ONNX im September 2017 offiziell vorgestellt. Es dient als Brücke zwischen unterschiedlichen Machine-Learning-Frameworks und ermöglicht Entwicklern, Modelle zu portieren, ohne sie umstrukturieren oder neu trainieren zu müssen. Diese Standardisierung fördert einen effizienteren und flexibleren Ansatz für die Bereitstellung von Modellen in unterschiedlichen Umgebungen.

Wichtige Merkmale von ONNX

1. Interoperabilität: ONNX wurde in erster Linie entwickelt, um einen nahtlosen Modellaustausch zwischen wichtigen Machine-Learning-Frameworks wie TensorFlow, PyTorch, Caffe2 und Microsoft Cognitive Toolkit (CNTK) zu ermöglichen. Diese Interoperabilität erstreckt sich sowohl auf Deep-Learning- als auch auf traditionelle Machine-Learning-Modelle und erlaubt es Entwicklern, die Stärken verschiedener Tools zu nutzen, ohne an ein einzelnes Ökosystem gebunden zu sein.
2. Standardisierung: ONNX bietet ein einheitliches Format mit einem gemeinsamen Satz von Operatoren und Datentypen. Diese Standardisierung sorgt dafür, dass Modelle beim Transfer zwischen Plattformen konsistent und funktionsfähig bleiben und mindert Kompatibilitätsprobleme, die oft bei proprietären Formaten auftreten.
3. Community-getrieben: Der Erfolg und die Weiterentwicklung von ONNX sind zu großen Teilen seiner lebendigen Community aus Entwicklern und Organisationen zu verdanken. Diese Zusammenarbeit sorgt dafür, dass ONNX regelmäßig aktualisiert und verbessert wird, was Innovationen bei der Bereitstellung von KI-Modellen fördert.
4. Hardware-Optimierung: ONNX unterstützt mehrere Hardware-Plattformen und bietet Modelloptimierungen zur Leistungssteigerung auf verschiedenen Geräten, einschließlich GPUs und CPUs. Diese Fähigkeit ist entscheidend für die Bereitstellung von Modellen in ressourcenbeschränkten Umgebungen oder zur Verbesserung der Inferenzzeiten in Produktionssystemen.
5. Versionierung und Kompatibilität: ONNX gewährleistet Rückwärtskompatibilität, sodass mit älteren Versionen entwickelte Modelle auch in neuen Umgebungen effektiv funktionieren. Dieser Ansatz ermöglicht es, Modelle weiterzuentwickeln, ohne Funktionalität oder Leistung zu verlieren.

ONNX Runtime

Die ONNX Runtime ist eine leistungsstarke Engine zur Ausführung von ONNX-Modellen und sorgt für einen effizienten Betrieb auf unterschiedlichen Hardware- und Plattformen. Sie bietet verschiedene Optimierungen und unterstützt mehrere Execution Provider, was sie unverzichtbar für die Bereitstellung von KI-Modellen in der Produktion macht. ONNX Runtime kann mit Modellen aus Frameworks wie PyTorch, TensorFlow und scikit-learn integriert werden. Sie wendet Graph-Optimierungen an und weist Teilgraphen hardware-spezifischen Beschleunigern zu, was eine überlegene Leistung im Vergleich zu den ursprünglichen Frameworks sicherstellt.

Anwendungsfälle und Beispiele

1. Gesundheitswesen: In der medizinischen Bildgebung erleichtert ONNX die Bereitstellung von Deep-Learning-Modellen für Aufgaben wie Tumorerkennung in MRT-Scans auf unterschiedlichen Diagnostikplattformen.
2. Automobilindustrie: ONNX spielt eine entscheidende Rolle bei autonomen Fahrzeugen, indem es die Integration von Objekterkennungsmodellen für die Echtzeit-Entscheidungsfindung in selbstfahrenden Systemen ermöglicht.
3. Einzelhandel: ONNX vereinfacht die Bereitstellung von Empfehlungssystemen im E-Commerce und verbessert personalisierte Einkaufserlebnisse durch die Nutzung von Modellen, die in verschiedenen Frameworks trainiert wurden.
4. Fertigung: Prädiktive Wartungsmodelle können in einem Framework entwickelt und mit ONNX in Fabriksystemen bereitgestellt werden, was zu einer höheren betrieblichen Effizienz führt.
5. Finanzen: In einem Framework erstellte Betrugserkennungsmodelle können nahtlos in Bankensysteme integriert werden, um Maßnahmen zur Betrugsprävention zu verstärken.
6. Landwirtschaft: ONNX unterstützt Precision Farming, indem es die Integration von Pflanzen- und Bodenmodellen in verschiedene landwirtschaftliche Managementsysteme ermöglicht.
7. Bildung: Adaptive Lernsysteme nutzen ONNX, um KI-Modelle einzubinden, die personalisierte Lernerfahrungen auf unterschiedlichen Bildungsplattformen bieten.

Beliebte Frameworks, die mit ONNX kompatibel sind

• PyTorch: Bekannt für seinen dynamischen Rechen-Graphen und seine Benutzerfreundlichkeit, wird PyTorch in Forschung und Entwicklung weit verbreitet genutzt.
• TensorFlow: Ein umfassendes Framework, entwickelt von Google, das APIs für den Aufbau und die Bereitstellung von Machine-Learning-Modellen bietet.
• Microsoft Cognitive Toolkit (CNTK): Effizient für das Training von Deep-Learning-Modellen, insbesondere in der Sprach- und Bilderkennung.
• Apache MXNet: Von Amazon unterstützt, ist MXNet für seine Flexibilität und Effizienz auf Cloud- und Mobilplattformen bekannt.
• Scikit-Learn: Beliebt für traditionelle Machine-Learning-Algorithmen, mit ONNX-Konvertierungsunterstützung über sklearn-onnx.
• Keras: Eine High-Level-API, die auf TensorFlow aufsetzt und sich auf schnelle Experimente konzentriert.
• Apple Core ML: Ermöglicht die Integration von Modellen in iOS-Anwendungen und unterstützt ONNX-Konvertierungen.

Vorteile der Nutzung von ONNX

• Framework-Flexibilität: ONNX ermöglicht das Wechseln zwischen verschiedenen Machine-Learning-Frameworks und fördert so die Flexibilität bei Entwicklung und Bereitstellung von Modellen.
• Effizienz bei der Bereitstellung: Modelle können ohne größere Änderungen auf verschiedenen Plattformen und Geräten bereitgestellt werden.
• Community- und Industrieunterstützung: Eine starke Community und Unterstützung aus der Industrie sorgen für kontinuierliche Verbesserungen und eine weite Verbreitung von ONNX.

Herausforderungen bei der Einführung von ONNX

• Komplexität bei der Konvertierung: Die Umwandlung von Modellen ins ONNX-Format kann komplex sein, insbesondere bei Modellen mit benutzerdefinierten Schichten oder Operationen.
• Versionskompatibilität: Die Sicherstellung der Kompatibilität zwischen unterschiedlichen ONNX- und Framework-Versionen kann herausfordernd sein.
• Begrenzte Unterstützung für proprietäre Operationen: Einige fortgeschrittene Operationen werden in ONNX nicht unterstützt, was die Anwendbarkeit in bestimmten Szenarien einschränkt.

Was ist ONNX (Open Neural Network Exchange)?

Der Open Neural Network Exchange (ONNX) ist ein Open-Source-Format, das entwickelt wurde, um die Austauschbarkeit von KI-Modellen zwischen verschiedenen Machine-Learning-Frameworks zu ermöglichen. ONNX hat in der KI-Community an Bedeutung gewonnen, weil es ein einheitliches und portables Format für die Darstellung von Deep-Learning-Modellen bietet und so eine nahtlose Bereitstellung auf unterschiedlichen Plattformen ermöglicht. Nachfolgend sind Zusammenfassungen bedeutender wissenschaftlicher Veröffentlichungen zu ONNX aufgeführt, die dessen Anwendung und Entwicklung hervorheben:

1. Compiling ONNX Neural Network Models Using MLIR

• Autoren: Tian Jin, Gheorghe-Teodor Bercea, Tung D. Le, Tong Chen, Gong Su, Haruki Imai, Yasushi Negishi, Anh Leu, Kevin O’Brien, Kiyokuni Kawachiya, Alexandre E. Eichenberger
• Zusammenfassung: Diese Veröffentlichung beschreibt den onnx-mlir-Compiler, der ONNX-Modelle mithilfe der Multi-Level Intermediate Representation (MLIR) in ausführbaren Code umwandelt. Die Autoren stellen zwei neue Dialekte in MLIR vor, um die Inferenz von ONNX-Modellen zu optimieren. Diese Arbeit ist entscheidend für die Verbesserung der Portabilität und Optimierung von Modellen in unterschiedlichen Rechenumgebungen.

2. Sionnx: Automatic Unit Test Generator for ONNX Conformance

• Autoren: Xinli Cai, Peng Zhou, Shuhan Ding, Guoyang Chen, Weifeng Zhang
• Zusammenfassung: Die Publikation stellt Sionnx vor, ein Framework zur automatischen Generierung von Unit-Tests, mit denen die Konformität von ONNX-Operatoren über verschiedene Implementierungen hinweg überprüft werden kann. Durch den Einsatz einer Operator Specification Language (OSL) gewährleistet Sionnx eine umfassende Testabdeckung und erleichtert eine robuste plattformübergreifende Verifikation. Dieses Tool ist entscheidend für die Konsistenz und Zuverlässigkeit der Ausführung von ONNX-Modellen.

3. QONNX: Representing Arbitrary-Precision Quantized Neural Networks

• Autoren: Alessandro Pappalardo, Yaman Umuroglu, Michaela Blott, Jovan Mitrevski, Ben Hawks, Nhan Tran, Vladimir Loncar, Sioni Summers, Hendrik Borras, Jules Muhizi, Matthew Trahms, Shih-Chieh Hsu, Scott Hauck, Javier Duarte
• Zusammenfassung: Diese Arbeit erweitert das ONNX-Format um die Unterstützung für Quantized Neural Networks mit beliebiger Präzision. Die Einführung neuer Operatoren wie Quant, BipolarQuant und Trunc im Quantized ONNX (QONNX)-Format ermöglicht eine effiziente Darstellung von Quantisierung mit niedriger Präzision. Dieser Fortschritt fördert effizientere Bereitstellungen neuronaler Netzwerke auf Hardware mit unterschiedlichen Präzisionsanforderungen.