MLflow

MLflow je open-source platforma, která zjednodušuje životní cyklus strojového učení a nabízí nástroje pro sledování experimentů, balení kódu, správu modelů a spolupráci. Její komponenty zvyšují reprodukovatelnost, nasazení a kontrolu nad životním cyklem v různých prostředích.

MLflow je open-source platforma navržená pro zjednodušení a správu životního cyklu strojového učení (ML), která řeší komplexnost vývoje, nasazení a správy modelů strojového učení. Poskytuje sadu nástrojů, které umožňují datovým vědcům a ML inženýrům sledovat experimenty, balit kód, spravovat modely a spolupracovat organizovaněji a efektivněji. MLflow je nezávislý na knihovnách, takže je kompatibilní se širokou škálou ML frameworků a knihoven.

Hlavní komponenty MLflow

MLflow je strukturován kolem čtyř hlavních komponent, z nichž každá slouží specifickému účelu v rámci workflow strojového učení:

1. MLflow Tracking

Co to je
MLflow Tracking je komponenta, která poskytuje API a uživatelské rozhraní pro logování experimentů strojového učení. Zaznamenává a umožňuje dotazovat se na parametry, verze kódu, metriky a výstupní soubory (artefakty).

Případ použití
Datový vědec může použít MLflow Tracking k logování různých hyperparametrů použitých v různých experimentech a porovnávat jejich vliv na výkon modelu. Například při trénování neuronové sítě lze logovat různé hodnoty learning rate a batch size a analyzovat, která konfigurace přináší nejlepší výsledky.

Příklad
Logování parametrů, jako je learning rate, batch size, a metrik, jako je přesnost a ztráta během trénování modelu. Tyto informace pomáhají vizualizovat a porovnávat více běhů a identifikovat nejúčinnější nastavení hyperparametrů.

2. MLflow Projects

Co to je
MLflow Projects poskytuje standardní formát pro balení a sdílení kódu strojového učení. Zajišťuje, že experimenty jsou reprodukovatelné a přenositelné, definuje závislosti projektu a prostředí pro spuštění.

Případ použití
Při spolupráci na projektu napříč týmy nebo při nasazování modelů do různých prostředí MLflow Projects zajišťuje, že kód poběží konzistentně bez ohledu na to, kde je spuštěn.

Příklad
Adresář projektu obsahující soubor MLproject, který specifikuje, jak spustit kód, jeho závislosti a vstupní body. Toto nastavení umožňuje týmu snadno sdílet svou práci a reprodukovat výsledky v různých prostředích.

3. MLflow Models

Co to je
MLflow Models je komponenta, která umožňuje balit modely strojového učení do formátu, který lze nasadit na více platformách, a podporuje real-time i batch inferenci.

Případ použití
Po natrénování modelu může datový vědec použít MLflow Models k zabalení modelu se všemi závislostmi, čímž jej připraví k nasazení na cloudové platformy jako AWS SageMaker nebo Azure ML.

Příklad
Uložení natrénovaného modelu ve formátu MLflow, který zahrnuje serializovaný soubor modelu a konfigurační soubor MLmodel. Díky tomu lze model snadno načíst a použít k inferenci v různých prostředích.

4. MLflow Model Registry

Co to je
Model Registry je centralizovaný úložiště pro správu životního cyklu MLflow modelů. Poskytuje verzování modelů, změny fází a anotace, což zajišťuje správnou správu a spolupráci.

Případ použití
V produkčním prostředí pomáhá Model Registry týmům MLOps spravovat verze modelů, sledovat změny a ovládat fáze nasazení modelů od vývoje po produkci.

Příklad
Registrace modelu v MLflow Model Registry, přiřazení čísla verze a převádění modelu mezi fázemi jako „Staging“ a „Production“ pro zajištění kontrolovaného procesu nasazení.

Výhody používání MLflow

MLflow nabízí několik výhod, které zlepšují proces vývoje strojového učení:

1. Zjednodušené sledování experimentů: MLflow poskytuje jednotné rozhraní pro logování a porovnávání experimentů, což usnadňuje reprodukovatelnost a spolupráci.
2. Zlepšená spolupráce: Díky centralizaci dat z experimentů a jednotné platformě podporuje MLflow sdílení znalostí a týmovou práci mezi datovými vědci a inženýry.
3. Efektivní nasazení modelů: MLflow Models standardizuje proces balení a nasazení modelů, takže je lze snadno přesouvat z vývoje do produkce.
4. Komplexní správa modelů: Model Registry umožňuje efektivní správu životního cyklu včetně verzování a změn fází, což zajišťuje kontrolované nasazení modelů.
5. Reprodukovatelné pipeline: MLflow Projects a Pipelines podporují tvorbu reprodukovatelných workflow, čímž zvyšují konzistenci a škálovatelnost procesů strojového učení.
6. Open Source a rozšiřitelnost: Jako open-source platforma je MLflow neustále vylepšován komunitou přispěvatelů. Jeho rozšiřitelnost umožňuje integraci s různými nástroji a přizpůsobení konkrétním potřebám.

Případy použití MLflow

MLflow je univerzální a lze jej využít v různých scénářích strojového učení:

• Sledování experimentů: Datoví vědci používají MLflow Tracking pro logování a porovnávání výsledků experimentů a vylepšování modelů na základě datových poznatků.
• Výběr a nasazení modelů: MLOps inženýři využívají Model Registry pro výběr a nasazení nejvýkonnějších modelů v produkčních prostředích.
• Monitorování výkonu modelů: Po nasazení týmy využívají MLflow k monitorování výkonu modelů a provádějí potřebné úpravy pro udržení přesnosti a spolehlivosti.
• Spolupráce na projektech: Týmy organizují svou práci pomocí MLflow Projects, což podporuje spolupráci a zajišťuje konzistentní provádění v různých prostředích.

MLflow v AI, AI automatizaci a chatbotech

Schopnosti MLflow přesahují do AI automatizace a vývoje chatbotů tím, že poskytuje nástroje, které zjednodušují trénování, nasazení a monitorování AI modelů. Například při vývoji chatbotů lze MLflow použít k trénování modelů pro zpracování přirozeného jazyka, sledování jejich výkonu na různých datasetech a správě jejich nasazení na různých konverzačních platformách, což zajišťuje, že odpovědi chatbota jsou přesné a spolehlivé.

Výzkum o MLflow

MLflow je open-source platforma navržená pro správu životního cyklu strojového učení, včetně experimentování, reprodukovatelnosti a nasazení. Stále více se využívá v různých vědeckých i průmyslových aplikacích pro zjednodušení workflow ML projektů.

1. SAINE: Scientific Annotation and Inference Engine of Scientific Research
   V tomto článku autoři představují SAINE, engine pro anotaci, který využívá MLflow ke zlepšení klasifikačních procesů ve vědeckém výzkumu. Studie zdůrazňuje, jak MLflow pomáhá při vývoji transparentního a přesného systému klasifikace. Engine podporuje meta-vědecké projekty a rozvíjí spolupráci ve vědecké komunitě. Článek také nabízí demonstrační video a živé demo pro lepší pochopení možností systému. Více zde.

2. IQUAFLOW: Nový rámec pro měření kvality obrazu
   IQUAFLOW využívá MLflow k poskytování rámce pro hodnocení kvality obrazu na základě vyhodnocení výkonu AI modelů. Rámec integruje vlastní metriky a usnadňuje studie o zhoršení výkonu v důsledku úprav obrazu, jako je komprese. MLflow je v tomto kontextu využíván jako interaktivní nástroj pro vizualizaci a shrnutí výsledků. Článek popisuje různé případy použití a poskytuje odkazy na doplňkové repozitáře. Prozkoumat zde.

3. Towards Lightweight Data Integration using Multi-workflow Provenance and Data Observability
   Tato studie představuje MIDA, framework, který využívá MLflow pro pozorovatelnost dat a integraci napříč různými výpočetními prostředími. Řeší výzvy v multidisciplinárních spolupracích a podporuje rozvoj odpovědné AI. MLflow zde hraje roli při správě datových toků napříč různými systémy bez další instrumentace, což zvyšuje reprodukovatelnost a efektivitu vědeckých workflow.