Open Neural Network Exchange (ONNX)

Czym jest ONNX?

Open Neural Network Exchange (ONNX) to otwarty format stworzony, by ułatwić wymienność modeli uczenia maszynowego pomiędzy różnymi platformami i narzędziami. Powstał jako efekt współpracy Facebooka i Microsoftu, a oficjalnie został zaprezentowany we wrześniu 2017 roku. Służy jako most pomiędzy różnymi frameworkami uczenia maszynowego, umożliwiając deweloperom przenoszenie modeli bez konieczności ich przebudowy czy ponownego trenowania. Taka standaryzacja sprzyja bardziej efektywnemu i elastycznemu wdrażaniu modeli w różnych środowiskach.

Kluczowe cechy ONNX

1. Interoperacyjność: ONNX został zaprojektowany głównie po to, by umożliwić bezproblemową wymianę modeli pomiędzy głównymi frameworkami uczenia maszynowego, takimi jak TensorFlow, PyTorch, Caffe2 i Microsoft Cognitive Toolkit (CNTK). Interoperacyjność ta obejmuje zarówno modele głębokiego uczenia, jak i tradycyjne modele uczenia maszynowego, pozwalając deweloperom korzystać z mocnych stron różnych narzędzi bez uzależnienia od jednego ekosystemu.
2. Standaryzacja: ONNX zapewnia zunifikowany format, który obejmuje wspólny zestaw operatorów i typów danych. Taka standaryzacja zapewnia spójność i funkcjonalność modeli podczas przenoszenia ich między platformami, eliminując problemy z kompatybilnością często występujące przy własnościowych formatach.
3. Napędzany przez społeczność: Sukces i rozwój ONNX są w dużej mierze zasługą aktywnej społeczności deweloperów i organizacji. Dzięki tej współpracy ONNX jest regularnie aktualizowany i ulepszany, wspierając innowacje w zakresie wdrażania modeli AI.
4. Optymalizacja sprzętowa: ONNX obsługuje wiele platform sprzętowych, umożliwiając optymalizację modeli pod kątem wydajności na różnych urządzeniach, w tym GPU i CPU. To szczególnie ważne przy wdrażaniu modeli w środowiskach o ograniczonych zasobach lub w celu poprawy czasu inferencji w systemach produkcyjnych.
5. Wersjonowanie i kompatybilność: ONNX zachowuje kompatybilność wsteczną, umożliwiając działanie modeli utworzonych we wcześniejszych wersjach w nowszych środowiskach. Dzięki temu modele mogą ewoluować bez utraty funkcjonalności czy wydajności.

ONNX Runtime

ONNX Runtime to silnik wysokiej wydajności, który wykonuje modele ONNX, zapewniając efektywną pracę na różnych platformach i sprzęcie. Oferuje liczne optymalizacje oraz obsługuje różne providery wykonawcze, przez co staje się niezbędny przy wdrażaniu modeli AI w środowiskach produkcyjnych. ONNX Runtime można zintegrować z modelami pochodzącymi m.in. z PyTorch, TensorFlow czy scikit-learn. Stosuje optymalizacje grafu i przydziela podgrafy do akceleratorów sprzętowych, co pozwala na osiągnięcie lepszej wydajności niż w oryginalnych frameworkach.

Zastosowania i przykłady

1. Ochrona zdrowia: W obrazowaniu medycznym ONNX ułatwia wdrażanie modeli głębokiego uczenia do detekcji guzów w skanach MRI na różnych platformach diagnostycznych.
2. Motoryzacja: ONNX odgrywa kluczową rolę w pojazdach autonomicznych, umożliwiając integrację modeli detekcji obiektów wspierających podejmowanie decyzji w czasie rzeczywistym.
3. Handel detaliczny: ONNX usprawnia wdrażanie systemów rekomendacyjnych w e-commerce, poprawiając personalizację zakupów dzięki wykorzystaniu modeli trenowanych w różnych frameworkach.
4. Przemysł: Modele predykcyjnej konserwacji mogą być rozwijane w jednym frameworku i wdrażane w systemach fabrycznych przy użyciu ONNX, co prowadzi do zwiększenia efektywności operacyjnej.
5. Finanse: Modele wykrywania oszustw utworzone w jednym frameworku mogą być bezproblemowo zintegrowane z systemami bankowymi za pomocą ONNX, wzmacniając środki zapobiegania oszustwom.
6. Rolnictwo: ONNX wspiera rolnictwo precyzyjne, umożliwiając integrację modeli upraw i gleby z różnymi systemami zarządzania rolnictwem.
7. Edukacja: Systemy adaptacyjnego nauczania wykorzystują ONNX do wdrażania modeli AI personalizujących naukę na różnych platformach edukacyjnych.

Popularne frameworki kompatybilne z ONNX

• PyTorch: Znany z dynamicznego grafu obliczeniowego i łatwości użycia, szeroko stosowany w badaniach i rozwoju.
• TensorFlow: Kompleksowy framework opracowany przez Google, oferujący API do budowy i wdrażania modeli uczenia maszynowego.
• Microsoft Cognitive Toolkit (CNTK): Wydajny przy trenowaniu modeli głębokiego uczenia, szczególnie w zadaniach rozpoznawania mowy i obrazu.
• Apache MXNet: Wspierany przez Amazon, MXNet znany jest z elastyczności i wydajności zarówno w chmurze, jak i na urządzeniach mobilnych.
• Scikit-Learn: Popularny w tradycyjnych algorytmach uczenia maszynowego, z obsługą konwersji do ONNX przez sklearn-onnx.
• Keras: Wysokopoziomowe API działające na TensorFlow, skupiające się na szybkim eksperymentowaniu.
• Apple Core ML: Umożliwia integrację modeli w aplikacjach iOS, z obsługą konwersji ONNX.

Korzyści z używania ONNX

• Elastyczność frameworków: ONNX pozwala na przełączanie się pomiędzy różnymi frameworkami uczenia maszynowego, zwiększając elastyczność rozwoju i wdrażania modeli.
• Efektywność wdrożeń: Umożliwia wdrażanie modeli na różnych platformach i urządzeniach bez konieczności wprowadzania znaczących modyfikacji.
• Wsparcie społeczności i branży: Silne wsparcie społeczności oraz branży zapewnia ciągły rozwój i szerokie przyjęcie ONNX.

Wyzwania przy wdrażaniu ONNX

• Złożoność konwersji: Proces konwersji modeli do formatu ONNX bywa złożony, szczególnie w przypadku modeli z niestandardowymi warstwami czy operacjami.
• Kompatybilność wersji: Zapewnienie kompatybilności pomiędzy różnymi wersjami ONNX i frameworków może być wyzwaniem.
• Ograniczone wsparcie dla własnościowych operacji: Niektóre zaawansowane operacje mogą nie być obsługiwane w ONNX, co ogranicza jego zastosowanie w wybranych scenariuszach.

Zrozumienie ONNX (Open Neural Network Exchange)

Open Neural Network Exchange (ONNX) to otwarty format zaprojektowany w celu ułatwienia wymiany modeli AI pomiędzy różnymi frameworkami uczenia maszynowego. Zyskał uznanie społeczności AI dzięki możliwości zapewnienia jednolitego i przenośnego formatu reprezentacji modeli głębokiego uczenia, umożliwiającego płynne wdrożenia na różnych platformach. Poniżej znajdują się podsumowania istotnych prac naukowych związanych z ONNX, ukazujących jego zastosowania i rozwój:

1. Compiling ONNX Neural Network Models Using MLIR

• Autorzy: Tian Jin, Gheorghe-Teodor Bercea, Tung D. Le, Tong Chen, Gong Su, Haruki Imai, Yasushi Negishi, Anh Leu, Kevin O’Brien, Kiyokuni Kawachiya, Alexandre E. Eichenberger
• Podsumowanie: Artykuł omawia kompilator onnx-mlir, który przekształca modele ONNX w kod wykonywalny z wykorzystaniem infrastruktury Multi-Level Intermediate Representation (MLIR). Autorzy wprowadzają dwa nowe dialekty w MLIR w celu optymalizacji inferencji modeli ONNX. Praca ta jest kluczowa dla zwiększenia przenośności i optymalizacji modeli w różnych środowiskach obliczeniowych.

2. Sionnx: Automatic Unit Test Generator for ONNX Conformance

• Autorzy: Xinli Cai, Peng Zhou, Shuhan Ding, Guoyang Chen, Weifeng Zhang
• Podsumowanie: Artykuł przedstawia Sionnx, framework do generowania testów jednostkowych weryfikujących zgodność operatorów ONNX w różnych implementacjach. Dzięki wykorzystaniu wysokopoziomowego Operator Specification Language (OSL), Sionnx zapewnia szeroki zakres testów, ułatwiając solidną weryfikację międzyframeworkową. Narzędzie to jest kluczowe dla zachowania spójności i niezawodności wykonywania modeli ONNX.

3. QONNX: Representing Arbitrary-Precision Quantized Neural Networks

• Autorzy: Alessandro Pappalardo, Yaman Umuroglu, Michaela Blott, Jovan Mitrevski, Ben Hawks, Nhan Tran, Vladimir Loncar, Sioni Summers, Hendrik Borras, Jules Muhizi, Matthew Trahms, Shih-Chieh Hsu, Scott Hauck, Javier Duarte
• Podsumowanie: Praca rozszerza format ONNX o obsługę sieci neuronowych kwantyzowanych z dowolną precyzją. Wprowadzenie nowych operatorów, takich jak Quant, BipolarQuant i Trunc w ramach formatu Quantized ONNX (QONNX), umożliwia efektywną reprezentację kwantyzacji niskiej precyzji. To osiągnięcie sprzyja bardziej wydajnym wdrożeniom sieci neuronowych na sprzęcie wymagającym różnych poziomów precyzji.