MLflow

MLflow is een open-source platform dat de ML-levenscyclus stroomlijnt en tools biedt voor experimenttracking, codeverpakking, modelbeheer en samenwerking. De componenten verbeteren reproduceerbaarheid, uitrol en lifecycle control in verschillende omgevingen.

MLflow is een open-source platform dat is ontworpen om de levenscyclus van machine learning (ML) te stroomlijnen en te beheren, en de complexiteiten aan te pakken die gepaard gaan met de ontwikkeling, uitrol en het beheer van machine learning-modellen. Het biedt een reeks tools waarmee data scientists en ML-engineers experimenten kunnen volgen, code kunnen verpakken, modellen kunnen beheren en op een meer georganiseerde en efficiënte manier kunnen samenwerken. MLflow is bibliotheek-agnostisch, waardoor het compatibel is met een breed scala aan machine learning-frameworks en -bibliotheken.

Kerncomponenten van MLflow

MLflow is opgebouwd rond vier primaire componenten, die elk een specifiek doel dienen binnen de machine learning workflow:

1. MLflow Tracking

Wat het is
MLflow Tracking is een component die een API en UI biedt voor het loggen van machine learning-experimenten. Het registreert en bevraagt parameters, codeversies, metrics en outputbestanden (artefacten).

Gebruikstoepassing
Een data scientist kan MLflow Tracking gebruiken om verschillende hyperparameters te loggen die in diverse experimenten worden gebruikt en hun effect op de modelprestaties te vergelijken. Bijvoorbeeld: bij het trainen van een neuraal netwerk kunnen verschillende learning rates en batchgroottes worden gelogd en geanalyseerd om te bepalen welke configuratie het beste resultaat oplevert.

Voorbeeld
Het loggen van parameters zoals learning rate, batchgrootte, en metrics zoals nauwkeurigheid en verlies tijdens het trainen van een model. Deze informatie helpt om meerdere runs te visualiseren en te vergelijken om de meest effectieve hyperparameters te identificeren.

2. MLflow Projects

Wat het is
MLflow Projects biedt een standaardformaat voor het verpakken en delen van machine learning-code. Het zorgt ervoor dat experimenten reproduceerbaar en overdraagbaar zijn, door projectafhankelijkheden en uitvoeromgevingen te definiëren.

Gebruikstoepassing
Wanneer er wordt samengewerkt aan een project tussen verschillende teams of modellen worden uitgerold naar diverse omgevingen, zorgt MLflow Projects ervoor dat de code consistent draait, ongeacht waar deze wordt uitgevoerd.

Voorbeeld
Een projectmap met een MLproject-bestand dat specificeert hoe de code moet worden uitgevoerd, inclusief afhankelijkheden en entry points. Dit maakt het voor een team eenvoudig om werk te delen en resultaten in verschillende omgevingen te reproduceren.

3. MLflow Models

Wat het is
MLflow Models is een component waarmee je machine learning-modellen kunt verpakken in een formaat dat op meerdere platforms kan worden uitgerold, zowel voor real-time als batch-inferentie.

Gebruikstoepassing
Na het trainen van een model kan een data scientist MLflow Models gebruiken om het model samen met zijn afhankelijkheden te verpakken, zodat het klaar is voor uitrol op cloudplatforms zoals AWS SageMaker of Azure ML.

Voorbeeld
Het opslaan van een getraind model in MLflow-formaat, inclusief een geserialiseerd modelfile en een MLmodel-configuratiebestand. Zo kan het model gemakkelijk worden geladen en gebruikt voor inferentie in verschillende omgevingen.

4. MLflow Model Registry

Wat het is
De Model Registry is een gecentraliseerde opslagplaats voor het beheren van de levenscyclus van MLflow Models. Het biedt modelversiebeheer, overgangen tussen stadia en annotaties, en zorgt zo voor goede governance en samenwerking.

Gebruikstoepassing
In een productieomgeving helpt de Model Registry MLOps-teams bij het beheren van modelversies, het bijhouden van wijzigingen en het controleren van modeluitrolstadia van ontwikkeling tot productie.

Voorbeeld
Het registreren van een model in de MLflow Model Registry, het toekennen van een versienummer en het doorlopen van stadia als “Staging” en “Production” om een gecontroleerd releaseproces te waarborgen.

Voordelen van het gebruik van MLflow

MLflow biedt diverse voordelen die het ontwikkelproces van machine learning verbeteren:

1. Gestroomlijnde experimenttracking: MLflow biedt een uniforme interface voor het loggen en vergelijken van experimenten, wat reproduceerbaarheid en samenwerking vergemakkelijkt.
2. Verbeterde samenwerking: Door experimentdata te centraliseren en een gemeenschappelijk platform te bieden, stimuleert MLflow kennisdeling en teamwork tussen data scientists en engineers.
3. Efficiënte modeluitrol: MLflow Models standaardiseert het verpakken en uitrollen van modellen, waardoor modellen eenvoudig van ontwikkeling naar productie kunnen worden gebracht.
4. Uitgebreid modelbeheer: De Model Registry maakt efficiënt lifecycle management mogelijk, inclusief versiebeheer en fase-overgangen, zodat modellen gecontroleerd worden uitgerold.
5. Reproduceerbare pipelines: MLflow Projects en Pipelines ondersteunen het creëren van reproduceerbare workflows, wat consistentie en schaalbaarheid in machine learning-processen bevordert.
6. Open source en uitbreidbaar: Als open-source platform wordt MLflow continu verbeterd door een gemeenschap van bijdragers. Dankzij de uitbreidbaarheid kan het met diverse tools worden geïntegreerd en aangepast aan specifieke behoeften.

Toepassingen van MLflow

MLflow is veelzijdig en kan in verschillende machine learning-scenario’s worden ingezet:

• Experimenttracking: Data scientists gebruiken MLflow Tracking om experimentele resultaten te loggen en te vergelijken, en modellen te verfijnen op basis van datagedreven inzichten.
• Modelselectie en uitrol: MLOps-engineers gebruiken de Model Registry om de best presterende modellen te selecteren en in productieomgevingen uit te rollen.
• Modelprestatie-monitoring: Na uitrol gebruiken teams MLflow om modelprestaties te monitoren en waar nodig bij te sturen voor blijvende nauwkeurigheid en betrouwbaarheid.
• Samenwerkingsprojecten: Teams organiseren hun werk via MLflow Projects, wat samenwerking bevordert en zorgt voor consistente uitvoering in verschillende omgevingen.

MLflow in AI, AI-automatisering en chatbots

De mogelijkheden van MLflow strekken zich uit tot AI-automatisering en chatbotontwikkeling, door tools te bieden die het trainen, uitrollen en monitoren van AI-modellen stroomlijnen. Bij het ontwikkelen van chatbots kan MLflow bijvoorbeeld worden ingezet om NLP-modellen te trainen, hun prestaties over verschillende datasets te volgen en het uitrollen op diverse conversatieplatformen te beheren, zodat de antwoorden van de chatbot accuraat en betrouwbaar blijven.

Onderzoek naar MLflow

MLflow is een open-source platform dat is ontworpen om de machine learning-levenscyclus te beheren, waaronder experimentatie, reproduceerbaarheid en uitrol. Het wordt steeds vaker ingezet in wetenschappelijke en industriële toepassingen om de workflow van ML-projecten te stroomlijnen.

1. SAINE: Scientific Annotation and Inference Engine of Scientific Research
   In dit artikel introduceren de auteurs SAINE, een annotatie-engine die MLflow integreert om classificatieprocessen in wetenschappelijk onderzoek te verbeteren. De studie benadrukt hoe MLflow bijdraagt aan de ontwikkeling van een transparant en accuraat classificatiesysteem. De engine ondersteunt meta-wetenschappelijke projecten en bevordert samenwerking binnen de wetenschappelijke gemeenschap. Het artikel biedt ook een demonstratievideo en live demo voor beter begrip van de mogelijkheden van het systeem. Lees meer.

2. IQUAFLOW: Een nieuw framework voor het meten van beeldkwaliteit
   IQUAFLOW gebruikt MLflow om een framework te bieden voor het beoordelen van beeldkwaliteit via de prestaties van AI-modellen. Het framework integreert aangepaste metrics en faciliteert studies naar prestatievermindering door beeldbewerkingen, zoals compressie. MLflow wordt als interactieve tool ingezet om resultaten te visualiseren en samen te vatten. Dit artikel beschrijft verschillende toepassingen en biedt aanvullende repo-links. Meer info.

3. Towards Lightweight Data Integration using Multi-workflow Provenance and Data Observability
   Deze studie stelt MIDA voor, een framework dat MLflow gebruikt voor data-observeerbaarheid en integratie over verschillende computingsomgevingen heen. Het adresseert uitdagingen in multidisciplinaire samenwerkingen en ondersteunt Responsible AI-ontwikkeling. MLflow speelt een rol in het beheren van dataflows over verschillende systemen zonder extra instrumentatie, wat de reproduceerbaarheid en efficiëntie van wetenschappelijke workflows verhoogt.