Kubeflow

Posláním Kubeflow je co nejvíce zjednodušit škálování ML modelů a jejich nasazení do produkce, a to díky využití možností Kubernetes. To zahrnuje snadné, opakovatelné a přenositelné nasazení napříč různými infrastrukturami. Platforma začala jako způsob spouštění TensorFlow úloh na Kubernetes a od té doby se vyvinula ve všestranný framework podporující širokou škálu ML frameworků a nástrojů.

Klíčové pojmy a komponenty Kubeflow

1. Kubeflow Pipelines

Kubeflow Pipelines je základní komponenta, která umožňuje uživatelům definovat a spouštět ML workflow jako orientované acyklické grafy (DAG). Poskytuje platformu pro tvorbu přenositelných a škálovatelných workflow strojového učení s využitím Kubernetes. Komponenta Pipelines zahrnuje:

• Uživatelské rozhraní (UI): Webové rozhraní pro správu a sledování experimentů, úloh a běhů.
• SDK: Sada Python balíčků pro definici a manipulaci s pipeline a komponentami.
• Orchestrovací engine: Plánuje a spravuje vícekrokové ML workflow.

Tyto funkce umožňují datovým vědcům automatizovat celý proces od předzpracování dat přes trénování modelu, jeho vyhodnocení až po nasazení, což podporuje reprodukovatelnost a spolupráci v ML projektech. Platforma podporuje znovupoužitelnost komponent i pipeline, čímž urychluje tvorbu ML řešení.

2. Centrální dashboard

Centrální dashboard Kubeflow slouží jako hlavní rozhraní pro přístup ke Kubeflow a jeho ekosystému. Sdružuje uživatelská rozhraní různých nástrojů a služeb v rámci clusteru, poskytuje jednotný přístupový bod pro správu činností strojového učení. Dashboard nabízí funkce jako autentizace uživatelů, izolace více uživatelů a správu zdrojů.

3. Jupyter Notebooks

Kubeflow je integrován s Jupyter Notebooks a nabízí interaktivní prostředí pro průzkum dat, experimentování a vývoj modelů. Notebooks podporují různé programovací jazyky a umožňují uživatelům společně tvořit a spouštět workflow ML.

4. Trénování a nasazení modelů

• Training Operator: Podporuje distribuované trénování ML modelů pomocí populárních frameworků jako TensorFlow, PyTorch a XGBoost. Využívá škálovatelnost Kubernetes pro efektivní trénování modelů napříč clustery strojů.
• KFServing: Poskytuje serverless platformu pro inferenci a nasazení trénovaných ML modelů. Zjednodušuje nasazení a škálování modelů a podporuje frameworky jako TensorFlow, PyTorch a scikit-learn.

5. Správa metadat

Kubeflow Metadata je centralizované úložiště pro sledování a správu metadat souvisejících s ML experimenty, běhy a artefakty. Zajišťuje reprodukovatelnost, spolupráci a governance napříč ML projekty tím, že poskytuje konzistentní pohled na ML metadata.

6. Katib pro ladění hyperparametrů

Katib je komponenta pro automatizované strojové učení (AutoML) v rámci Kubeflow. Podporuje ladění hyperparametrů, předčasné zastavení a hledání architektury neuronových sítí, a optimalizuje výkonnost ML modelů automatizovaným hledáním optimálních hyperparametrů.

Příklady použití a scénáře

Kubeflow je využíván organizacemi v různých odvětvích pro zefektivnění jejich ML operací. Mezi běžné případy použití patří:

• Příprava a průzkum dat: Využití Jupyter Notebooks a Kubeflow Pipelines pro efektivní předzpracování a analýzu rozsáhlých datových sad.
• Trénování modelů ve velkém měřítku: Využití škálovatelnosti Kubernetes pro trénování komplexních modelů na rozsáhlých datech, což zvyšuje přesnost a zkracuje dobu tréninku.
• Automatizované workflow ML: Automatizace opakovaných ML úloh pomocí Kubeflow Pipelines, zvýšení produktivity a uvolnění kapacit datových vědců na vývoj a optimalizaci modelů.
• Nasazení modelů v reálném čase: Nasazování modelů jako škálovatelných, produkčně připravených služeb pomocí KFServing, což zajišťuje nízkolatenční predikce pro aplikace v reálném čase.

Případová studie: Spotify

Spotify využívá Kubeflow k tomu, aby umožnil svým datovým vědcům a inženýrům vyvíjet a nasazovat modely strojového učení ve velkém měřítku. Integrací Kubeflow do stávající infrastruktury Spotify zefektivnilo své ML workflow, zkrátilo dobu uvedení nových funkcí na trh a zlepšilo efektivitu svých doporučovacích systémů.

Výhody používání Kubeflow

Škálovatelnost a přenositelnost

Kubeflow umožňuje organizacím škálovat ML workflow podle potřeby a nasazovat je napříč různými infrastrukturami, včetně on-premises, cloudu nebo hybridních prostředí. Tato flexibilita pomáhá vyhnout se závislosti na jednom dodavateli a umožňuje plynulé přechody mezi různými výpočetními prostředími.

Reprodukovatelnost a sledování experimentů

Komponentově orientovaná architektura Kubeflow usnadňuje reprodukci experimentů i modelů. Poskytuje nástroje pro verzování a sledování datových sad, kódu i parametrů modelů, což zajišťuje konzistenci a spolupráci mezi datovými vědci.

Rozšiřitelnost a integrace

Kubeflow je navržen pro rozšiřitelnost, což umožňuje integraci s různými dalšími nástroji a službami včetně cloudových ML platforem. Organizace si mohou Kubeflow přizpůsobit pomocí dalších komponent a využít stávající nástroje a workflow pro rozšíření svého ML ekosystému.

Snížení provozní složitosti

Automatizací mnoha úloh spojených s nasazením a správou ML workflow uvolňuje Kubeflow datovým vědcům a inženýrům ruce pro hodnotnější činnosti, jako je vývoj a optimalizace modelů, což vede ke zvýšení produktivity a efektivity.

Efektivnější využití zdrojů

Integrace Kubeflow s Kubernetes umožňuje efektivnější využití hardwarových zdrojů a optimalizuje alokaci prostředků, čímž snižuje náklady spojené s provozem ML úloh.

Jak začít s Kubeflow

Pro zahájení práce s Kubeflow jej mohou uživatelé nasadit na Kubernetes cluster – buď on-premises, nebo v cloudu. K dispozici je řada instalačních návodů, které vyhovují různým úrovním zkušeností a požadavkům na infrastrukturu. Pro ty, kteří s Kubernetes začínají, nabízejí spravované služby jako Vertex AI Pipelines dostupnější vstupní bod, protože řeší správu infrastruktury a uživatel se může soustředit na tvorbu a provoz ML workflow.

Tato detailní analýza Kubeflow přináší přehled jeho funkcí, výhod a případů použití a nabízí komplexní porozumění organizacím, které chtějí posílit své schopnosti v oblasti strojového učení.

Porozumění Kubeflow: Nástrojová sada strojového učení na Kubernetes

Kubeflow je open-source projekt navržený pro usnadnění nasazení, orchestraci a správu modelů strojového učení na Kubernetes. Poskytuje komplexní end-to-end stack pro workflow strojového učení, díky čemuž mohou datoví vědci a inženýři snadněji stavět, nasazovat a spravovat škálovatelné ML modely.

Vybrané studie a zdroje

1. Deployment of ML Models using Kubeflow on Different Cloud Providers
   Autoři: Aditya Pandey et al. (2022)
   Tento článek zkoumá nasazení modelů strojového učení pomocí Kubeflow na různých cloudových platformách. Studie přináší poznatky k procesu instalace, modelům nasazení i výkonnostním metrikám Kubeflow a slouží jako užitečný průvodce pro začátečníky. Autoři zdůrazňují vlastnosti i omezení nástroje a ukazují jeho využití při tvorbě end-to-end ML pipeline. Článek má pomoci uživatelům s minimálními zkušenostmi s Kubernetes využít Kubeflow pro nasazení modelů.
   Více zde

2. CLAIMED, a visual and scalable component library for Trusted AI
   Autoři: Romeo Kienzler a Ivan Nesic (2021)
   Tato práce se zaměřuje na integraci důvěryhodných AI komponent s Kubeflow. Řeší témata vysvětlitelnosti, robustnosti a férovosti AI modelů. Článek představuje CLAIMED, znovupoužitelný framework komponent, který integruje nástroje jako AI Explainability360 a AI Fairness360 do pipeline Kubeflow. Tato integrace usnadňuje vývoj produkčně připravených ML aplikací pomocí vizuálních editorů jako ElyraAI.
   Více zde

3. Jet energy calibration with deep learning as a Kubeflow pipeline
   Autoři: Daniel Holmberg et al. (2023)
   Kubeflow je zde využit k vytvoření ML pipeline pro kalibraci měření energie jetů v experimentu CMS. Autoři nasazují hluboké učení ke zlepšení kalibrace a ukazují, jak možnosti Kubeflow lze rozšířit i do oblasti vysokých energií ve fyzice. Článek popisuje efektivitu pipeline při škálování ladění hyperparametrů a efektivním nasazení modelů v cloudu.
   Více zde