Open Neural Network Exchange (ONNX)

Wat is ONNX?

Open Neural Network Exchange (ONNX) is een open-sourceformaat dat is ontwikkeld om de uitwisselbaarheid van machine learning-modellen tussen verschillende platforms en tools te vergemakkelijken. ONNX is ontstaan uit een samenwerking tussen Facebook en Microsoft en werd officieel gelanceerd in september 2017. Het fungeert als een brug tussen verschillende machine learning-frameworks, waardoor ontwikkelaars modellen kunnen overzetten zonder ze opnieuw te hoeven structureren of trainen. Deze standaardisatie zorgt voor een efficiëntere en flexibelere benadering van modelimplementatie in verschillende omgevingen.

Belangrijkste kenmerken van ONNX

1. Interoperabiliteit: ONNX is in de eerste plaats ontworpen om naadloze modeluitwisseling mogelijk te maken tussen grote machine learning-frameworks zoals TensorFlow, PyTorch, Caffe2 en Microsoft Cognitive Toolkit (CNTK). Deze interoperabiliteit geldt zowel voor deep learning- als traditionele machine learning-modellen, waardoor ontwikkelaars de sterke punten van verschillende tools kunnen benutten zonder vast te zitten aan één ecosysteem.
2. Standaardisatie: ONNX biedt een uniform formaat met een gemeenschappelijke set operators en datatypes. Deze standaardisatie zorgt ervoor dat modellen consistent en functioneel blijven bij overdracht tussen platforms, waardoor compatibiliteitsproblemen die vaak voorkomen bij propriëtaire formaten worden verminderd.
3. Community-gedreven: Het succes en de ontwikkeling van ONNX zijn grotendeels toe te schrijven aan de levendige community van ontwikkelaars en organisaties. Deze samenwerking zorgt ervoor dat ONNX regelmatig wordt bijgewerkt en verbeterd, wat innovatie in AI-modelimplementatie stimuleert.
4. Hardware-optimalisatie: ONNX ondersteunt meerdere hardwareplatforms en biedt modeloptimalisaties om de prestaties op verschillende apparaten, waaronder GPU’s en CPU’s, te verbeteren. Deze mogelijkheid is cruciaal voor het implementeren van modellen in omgevingen met beperkte middelen of voor het verbeteren van de inference-tijden in productieomgevingen.
5. Versiebeheer en compatibiliteit: ONNX behoudt achterwaartse compatibiliteit, waardoor modellen die met eerdere versies zijn ontwikkeld effectief functioneren in nieuwere omgevingen. Hierdoor kunnen modellen evolueren zonder functionaliteit of prestaties te verliezen.

ONNX Runtime

De ONNX Runtime is een krachtige engine die ONNX-modellen uitvoert en zorgt voor efficiënte werking op verschillende hardware en platforms. Het biedt diverse optimalisaties en ondersteunt verschillende execution providers, waardoor het onmisbaar is voor het implementeren van AI-modellen in productie. ONNX Runtime kan worden geïntegreerd met modellen uit frameworks als PyTorch, TensorFlow en scikit-learn, onder andere. Het voert graafoptimalisaties uit en wijst subgraphs toe aan hardware-specifieke versnellers, waardoor superieure prestaties worden bereikt ten opzichte van de oorspronkelijke frameworks.

Toepassingen en voorbeelden

1. Zorg: In medische beeldvorming maakt ONNX de implementatie mogelijk van deep learning-modellen voor taken zoals tumordetectie in MRI-scans op verschillende diagnostische platforms.
2. Automotive: ONNX speelt een essentiële rol in autonome voertuigen door de integratie van objectdetectiemodellen die realtime beslissingen ondersteunen in zelfrijdende systemen.
3. Retail: ONNX stroomlijnt de implementatie van aanbevelingssystemen in e-commerce, waardoor gepersonaliseerde winkelervaringen mogelijk worden met modellen die in verschillende frameworks zijn getraind.
4. Productie: Predictive maintenance-modellen kunnen in het ene framework worden ontwikkeld en met ONNX in fabrieksomgevingen worden ingezet, wat leidt tot een hogere operationele efficiëntie.
5. Financiën: Fraudebestrijdingsmodellen die in het ene framework zijn gemaakt, kunnen naadloos in banksystemen worden geïntegreerd met ONNX, waardoor fraudepreventie wordt versterkt.
6. Landbouw: ONNX ondersteunt precisielandbouw door de integratie van gewas- en bodemmodellen in diverse landbouwbeheersystemen mogelijk te maken.
7. Onderwijs: Adaptieve leersystemen maken gebruik van ONNX om AI-modellen te integreren die leerervaringen personaliseren op verschillende educatieve platforms.

Populaire frameworks compatibel met ONNX

• PyTorch: Bekend om zijn dynamische computationele graaf en gebruiksgemak, breed gebruikt in onderzoek en ontwikkeling.
• TensorFlow: Een uitgebreid framework ontwikkeld door Google, met API’s voor het bouwen en implementeren van machine learning-modellen.
• Microsoft Cognitive Toolkit (CNTK): Efficiënt voor het trainen van deep learning-modellen, vooral bij spraak- en beeldherkenning.
• Apache MXNet: Ondersteund door Amazon, bekend om zijn flexibiliteit en efficiëntie op cloud- en mobiele platforms.
• Scikit-Learn: Populair voor traditionele machine learning-algoritmen, met ONNX-conversieondersteuning via sklearn-onnx.
• Keras: Een high-level API die draait op TensorFlow, gericht op snelle experimentatie.
• Apple Core ML: Maakt modelintegratie in iOS-applicaties mogelijk, met ondersteuning voor ONNX-conversies.

Voordelen van het gebruik van ONNX

• Frameworkflexibiliteit: ONNX maakt het mogelijk om tussen verschillende machine learning-frameworks te wisselen, wat flexibiliteit biedt in modelontwikkeling en -implementatie.
• Implementatie-efficiëntie: Maakt het mogelijk om modellen te implementeren op verschillende platforms en apparaten zonder grote aanpassingen.
• Community- en industrieondersteuning: Een sterke community en brede steun vanuit de industrie zorgen voor continue verbeteringen en brede adoptie van ONNX.

Uitdagingen bij het adopteren van ONNX

• Complexiteit bij conversie: Het proces van het converteren van modellen naar het ONNX-formaat kan complex zijn, vooral voor modellen met aangepaste lagen of operaties.
• Versiecompatibiliteit: Het waarborgen van compatibiliteit tussen verschillende versies van ONNX en frameworks kan uitdagend zijn.
• Beperkte ondersteuning voor propriëtaire operaties: Sommige geavanceerde operaties worden mogelijk niet ondersteund in ONNX, wat de toepasbaarheid in bepaalde scenario’s beperkt.

Wat is ONNX (Open Neural Network Exchange)?

De Open Neural Network Exchange (ONNX) is een open-sourceformaat dat is ontworpen om de uitwisselbaarheid van AI-modellen tussen verschillende machine learning-frameworks te vergemakkelijken. ONNX wint aan populariteit binnen de AI-community vanwege de mogelijkheid om een uniform en draagbaar formaat te bieden voor deep learning-modellen, waardoor naadloze implementatie op diverse platforms mogelijk wordt. Hieronder staan samenvattingen van belangrijke wetenschappelijke publicaties over ONNX, die de toepassing en ontwikkeling ervan belichten:

1. Compiling ONNX Neural Network Models Using MLIR

• Auteurs: Tian Jin, Gheorghe-Teodor Bercea, Tung D. Le, Tong Chen, Gong Su, Haruki Imai, Yasushi Negishi, Anh Leu, Kevin O’Brien, Kiyokuni Kawachiya, Alexandre E. Eichenberger
• Samenvatting: Dit artikel bespreekt de onnx-mlir compiler, die ONNX-modellen omzet in uitvoerbare code via de Multi-Level Intermediate Representation (MLIR)-infrastructuur. De auteurs introduceren twee nieuwe dialecten binnen MLIR om de inferentie van ONNX-modellen te optimaliseren. Dit werk is essentieel voor het verbeteren van de portabiliteit en optimalisatie van modellen op verschillende computeromgevingen.

2. Sionnx: Automatic Unit Test Generator for ONNX Conformance

• Auteurs: Xinli Cai, Peng Zhou, Shuhan Ding, Guoyang Chen, Weifeng Zhang
• Samenvatting: Het artikel introduceert Sionnx, een framework voor het genereren van unittests om de ONNX-operatorconformiteit over verschillende implementaties te verifiëren. Door gebruik te maken van een high-level Operator Specification Language (OSL) zorgt Sionnx voor uitgebreide testdekking, wat robuuste cross-framework verificatie mogelijk maakt. Deze tool is cruciaal voor het waarborgen van consistentie en betrouwbaarheid bij de uitvoering van ONNX-modellen.

3. QONNX: Representing Arbitrary-Precision Quantized Neural Networks

• Auteurs: Alessandro Pappalardo, Yaman Umuroglu, Michaela Blott, Jovan Mitrevski, Ben Hawks, Nhan Tran, Vladimir Loncar, Sioni Summers, Hendrik Borras, Jules Muhizi, Matthew Trahms, Shih-Chieh Hsu, Scott Hauck, Javier Duarte
• Samenvatting: Dit artikel breidt het ONNX-formaat uit om quantized neurale netwerken met willekeurige precisie te ondersteunen. De introductie van nieuwe operators zoals Quant, BipolarQuant en Trunc binnen het Quantized ONNX (QONNX)-formaat maakt efficiënte representatie van lage-precisie quantization mogelijk. Deze vooruitgang stimuleert efficiëntere implementaties van neurale netwerken op hardware met uiteenlopende precisie-eisen.