Open Neural Network Exchange (ONNX)

Qu’est-ce qu’ONNX ?

Open Neural Network Exchange (ONNX) est un format open source créé pour faciliter l’interopérabilité des modèles d’apprentissage automatique entre différentes plateformes et outils. Issu d’une collaboration entre Facebook et Microsoft, ONNX a été officiellement lancé en septembre 2017. Il sert de passerelle entre différents frameworks de machine learning, permettant aux développeurs de transférer des modèles sans avoir à les restructurer ni à les réentraîner. Cette standardisation favorise une approche plus efficace et flexible du déploiement de modèles dans divers environnements.

Principales fonctionnalités d’ONNX

1. Interopérabilité : ONNX est principalement conçu pour permettre un échange fluide de modèles entre les principaux frameworks de machine learning tels que TensorFlow, PyTorch, Caffe2 et Microsoft Cognitive Toolkit (CNTK). Cette interopérabilité s’étend aux modèles de deep learning et de machine learning traditionnels, permettant aux développeurs de tirer parti des points forts de divers outils sans être enfermés dans un seul écosystème.
2. Standardisation : ONNX fournit un format unifié incluant un ensemble commun d’opérateurs et de types de données. Cette standardisation garantit la cohérence et le bon fonctionnement des modèles lors de leur transfert entre plateformes, atténuant les problèmes de compatibilité souvent rencontrés avec les formats propriétaires.
3. Dynamique communautaire : Le succès et l’évolution d’ONNX sont largement attribués à sa communauté dynamique de développeurs et d’organisations. Cette collaboration assure une mise à jour régulière et une amélioration continue du format, favorisant l’innovation dans le déploiement des modèles IA.
4. Optimisation matérielle : ONNX prend en charge de multiples plateformes matérielles, proposant des optimisations de modèles pour améliorer les performances sur divers appareils, y compris les GPU et CPU. Cette capacité est essentielle pour le déploiement de modèles dans des environnements à ressources limitées ou pour améliorer les temps d’inférence en production.
5. Versionnage et compatibilité : ONNX maintient la rétrocompatibilité, permettant aux modèles développés avec d’anciennes versions de fonctionner efficacement dans de nouveaux environnements. Cette approche garantit l’évolution continue des modèles sans compromettre leur fonctionnalité ou leurs performances.

ONNX Runtime

ONNX Runtime est un moteur haute performance qui exécute les modèles ONNX, assurant un fonctionnement efficace sur différents matériels et plateformes. Il propose de multiples optimisations et prend en charge divers fournisseurs d’exécution, ce qui en fait un outil indispensable pour le déploiement des modèles IA en production. ONNX Runtime peut être intégré à des modèles issus de frameworks comme PyTorch, TensorFlow ou scikit-learn, entre autres. Il applique des optimisations de graphe et attribue des sous-graphes à des accélérateurs spécifiques, garantissant ainsi des performances supérieures à celles des frameworks d’origine.

Cas d’utilisation et exemples

1. Santé : En imagerie médicale, ONNX facilite le déploiement de modèles de deep learning pour des tâches telles que la détection de tumeurs sur des IRM, et cela sur différentes plateformes de diagnostic.
2. Automobile : ONNX joue un rôle clé dans les véhicules autonomes, permettant l’intégration de modèles de détection d’objets pour la prise de décision en temps réel dans les systèmes de conduite autonome.
3. Retail : ONNX simplifie le déploiement des systèmes de recommandation en e-commerce, améliorant l’expérience d’achat personnalisée grâce à des modèles entraînés dans divers frameworks.
4. Industrie : Des modèles de maintenance prédictive peuvent être développés dans un framework puis déployés dans les systèmes d’usine grâce à ONNX, améliorant ainsi l’efficacité opérationnelle.
5. Finance : Les modèles de détection de fraude créés dans un framework peuvent être intégrés sans difficulté dans les systèmes bancaires via ONNX, renforçant ainsi les mesures de prévention.
6. Agriculture : ONNX favorise l’agriculture de précision en facilitant l’intégration de modèles de culture et de sol dans différents systèmes de gestion agricole.
7. Éducation : Les systèmes d’apprentissage adaptatif utilisent ONNX pour intégrer des modèles IA personnalisant les expériences d’apprentissage sur diverses plateformes éducatives.

Frameworks populaires compatibles avec ONNX

• PyTorch : Réputé pour son graphe computationnel dynamique et sa simplicité d’utilisation, PyTorch est largement adopté en recherche et développement.
• TensorFlow : Framework complet développé par Google, offrant des API pour la création et le déploiement de modèles d’apprentissage automatique.
• Microsoft Cognitive Toolkit (CNTK) : Efficace pour l’entraînement de modèles de deep learning, notamment en reconnaissance vocale et d’images.
• Apache MXNet : Soutenu par Amazon, MXNet est reconnu pour sa flexibilité et son efficacité sur le cloud et le mobile.
• Scikit-Learn : Populaire pour les algorithmes traditionnels de machine learning, avec conversion ONNX via sklearn-onnx.
• Keras : API de haut niveau fonctionnant au-dessus de TensorFlow, axée sur l’expérimentation rapide.
• Apple Core ML : Permet l’intégration de modèles dans des applications iOS, avec prise en charge de la conversion ONNX.

Avantages de l’utilisation d’ONNX

• Flexibilité des frameworks : ONNX autorise le passage entre divers frameworks de machine learning, favorisant la flexibilité dans le développement et le déploiement de modèles.
• Efficacité du déploiement : Permet le déploiement de modèles sur différentes plateformes et appareils sans modifications majeures.
• Soutien communautaire et industriel : Une communauté et un soutien industriel solides assurent l’amélioration continue et l’adoption généralisée d’ONNX.

Défis liés à l’adoption d’ONNX

• Complexité de conversion : Le processus de conversion des modèles au format ONNX peut être complexe, en particulier pour les modèles comportant des couches ou opérations personnalisées.
• Compatibilité des versions : Assurer la compatibilité entre différentes versions d’ONNX et de frameworks peut représenter un défi.
• Support limité pour les opérations propriétaires : Certaines opérations avancées peuvent ne pas être prises en charge dans ONNX, limitant ainsi son applicabilité à certains cas.

Comprendre ONNX (Open Neural Network Exchange)

Open Neural Network Exchange (ONNX) est un format open source conçu pour faciliter l’interopérabilité des modèles IA entre différents frameworks de machine learning. Il s’est imposé dans la communauté IA grâce à sa capacité à fournir un format unifié et portable pour la représentation des modèles de deep learning, permettant un déploiement fluide sur de nombreuses plateformes. Vous trouverez ci-dessous des résumés d’articles scientifiques majeurs liés à ONNX, mettant en avant ses applications et son développement :

1. Compilation de modèles de réseaux neuronaux ONNX à l’aide de MLIR

• Auteurs : Tian Jin, Gheorghe-Teodor Bercea, Tung D. Le, Tong Chen, Gong Su, Haruki Imai, Yasushi Negishi, Anh Leu, Kevin O’Brien, Kiyokuni Kawachiya, Alexandre E. Eichenberger
• Résumé : Cet article présente le compilateur onnx-mlir, qui convertit les modèles ONNX en code exécutable à l’aide de l’infrastructure MLIR (Multi-Level Intermediate Representation). Les auteurs introduisent deux nouveaux dialectes au sein de MLIR pour optimiser l’inférence des modèles ONNX. Ce travail est essentiel pour améliorer la portabilité et l’optimisation des modèles sur différents environnements de calcul.

2. Sionnx : Générateur automatique de tests unitaires pour la conformité ONNX

• Auteurs : Xinli Cai, Peng Zhou, Shuhan Ding, Guoyang Chen, Weifeng Zhang
• Résumé : L’article présente Sionnx, un cadre pour générer des tests unitaires afin de vérifier la conformité des opérateurs ONNX dans diverses implémentations. Grâce à un langage de spécification d’opérateurs de haut niveau (OSL), Sionnx assure une couverture étendue des tests, facilitant la vérification inter-frameworks. Cet outil est crucial pour maintenir la cohérence et la fiabilité de l’exécution des modèles ONNX.

3. QONNX : Représentation de réseaux neuronaux quantifiés à précision arbitraire

• Auteurs : Alessandro Pappalardo, Yaman Umuroglu, Michaela Blott, Jovan Mitrevski, Ben Hawks, Nhan Tran, Vladimir Loncar, Sioni Summers, Hendrik Borras, Jules Muhizi, Matthew Trahms, Shih-Chieh Hsu, Scott Hauck, Javier Duarte
• Résumé : Cet article étend le format ONNX pour prendre en charge les réseaux neuronaux quantifiés à précision arbitraire. L’introduction de nouveaux opérateurs comme Quant, BipolarQuant et Trunc dans le format Quantized ONNX (QONNX) permet de représenter efficacement la quantification basse précision. Cette avancée favorise des déploiements de réseaux neuronaux plus efficaces sur du matériel aux exigences de précision variées.