MLflow

MLflow 是一个开源平台，用于简化 ML 生命周期，提供实验跟踪、代码打包、模型管理和协作工具。其各个组件提升了在不同环境下的可复现性、部署和生命周期控制。

MLflow 是一个开源平台，旨在简化和管理机器学习（ML）生命周期，解决模型开发、部署和管理过程中的复杂性。它为数据科学家和机器学习工程师提供了一套工具，可用于跟踪实验、打包代码、管理模型并高效协作。MLflow 与库无关，兼容各种机器学习框架和库。

MLflow 的核心组件

MLflow 围绕四个主要组件构建，每个组件在机器学习工作流中承担特定功能：

1. MLflow Tracking

定义
MLflow Tracking 提供 API 和 UI，用于记录机器学习实验。它能够记录和查询参数、代码版本、指标以及输出文件（artifact）。

使用场景
数据科学家可以使用 MLflow Tracking 记录不同实验中使用的超参数，并比较它们对模型表现的影响。例如，在训练神经网络时，可以记录不同的学习率和批量大小，并分析哪种配置效果最佳。

示例
在模型训练过程中，记录如学习率、批量大小等参数，以及准确率、损失等指标。通过这些信息，可以可视化并对比多次运行，找出最优超参数设置。

2. MLflow Projects

定义
MLflow Projects 为机器学习代码的打包和共享提供标准格式，确保实验结果可复现且可移植，明确项目依赖和执行环境。

使用场景
跨团队协作或在不同环境部署模型时，MLflow Projects 可确保代码在任何地方都能一致运行。

示例
项目目录包含一个 MLproject 文件，指定代码如何运行、依赖项和入口点。这样的设置便于团队成员共享工作并在不同环境中复现结果。

3. MLflow Models

定义
MLflow Models 允许将机器学习模型打包为可在多平台部署的格式，支持实时或批量推理。

使用场景
在模型训练完成后，数据科学家可以使用 MLflow Models 将模型及其依赖打包，便于在 AWS SageMaker、Azure ML 等云平台上部署。

示例
将训练好的模型保存为 MLflow 格式，包括序列化的模型文件和 MLmodel 配置文件，确保模型在不同环境中都能方便地加载和推理。

4. MLflow Model Registry

定义
Model Registry 是管理 MLflow Models 生命周期的集中存储。它支持模型版本管理、阶段转换和注释，保障治理和协作。

使用场景
在生产环境中，Model Registry 帮助 MLOps 团队管理模型版本、跟踪变更，并控制从开发到生产的模型部署阶段。

示例
将模型注册到 MLflow Model Registry，分配版本号，并按“Staging”、“Production”等阶段进行转换，实现受控的发布流程。

使用 MLflow 的优势

MLflow 提升了机器学习开发流程，主要优势包括：

1. 高效实验跟踪：MLflow 提供统一界面用于记录和对比实验，便于可复现和协作。
2. 增强协作：集中实验数据和统一平台，促进数据科学家与工程师之间的知识共享和团队协作。
3. 高效模型部署：MLflow Models 标准化打包与部署流程，方便模型从开发到生产环境的迁移。
4. 全面模型管理：Model Registry 支持高效的生命周期管理，包括版本控制和阶段转换，保证模型受控部署。
5. 可复现流水线：MLflow Projects 和 Pipelines 支持构建可复现的工作流，提升机器学习过程的一致性和可扩展性。
6. 开源且可扩展：作为开源平台，MLflow 持续由社区贡献完善，并可集成各种工具、满足特定需求。

MLflow 的应用场景

MLflow 适用于多种机器学习场景：

• 实验跟踪：数据科学家使用 MLflow Tracking 记录和对比实验结果，根据数据驱动的洞察优化模型。
• 模型选择与部署：MLOps 工程师利用 Model Registry 在生产环境中选择和部署最佳模型。
• 模型性能监控：部署后，团队用 MLflow 监控模型性能，及时调整以保持准确性和可靠性。
• 协作型项目：团队用 MLflow Projects 组织工作，促进协作并确保在不同环境中一致执行。

MLflow 在 AI、AI 自动化与聊天机器人领域

MLflow 的能力延伸到 AI 自动化和聊天机器人开发，为训练、部署和监控 AI 模型提供了便捷工具。例如，在聊天机器人开发中，MLflow 可用于训练自然语言处理模型，跟踪其在不同数据集上的表现，并管理其在各类会话平台的部署，确保机器人回复准确可靠。

关于 MLflow 的研究

MLflow 作为管理机器学习生命周期（包括实验、可复现性和部署）的开源平台，已在诸多科研与工业领域广泛应用，有效简化了机器学习项目的工作流程。

1. SAINE：科学研究的科学注释与推理引擎
   本论文介绍了 SAINE 注释引擎，该引擎集成了 MLflow，以提升科学研究中的分类流程。研究强调 MLflow 如何促进透明且高准确率的分类系统开发。该引擎支持元科学项目，并促进科学社区协作。论文还提供了演示视频和在线演示，帮助理解系统功能。阅读更多。

2. IQUAFLOW：用于图像质量衡量的新框架
   IQUAFLOW 利用 MLflow 提供一个通过评估 AI 模型性能来衡量图像质量的框架。该框架集成自定义指标，并促进对因图像压缩等修改导致性能下降的研究。MLflow 作为交互工具用于可视化和汇总结果。论文还描述了多种应用场景并附有代码仓库链接。进一步探索。

3. 多工作流溯源与数据可观测性助力轻量级数据集成
   该研究提出了 MIDA 框架，利用 MLflow 实现跨多种计算环境的数据可观测性与集成。它解决了多学科协作中的挑战，并支持负责任的 AI 开发。MLflow 在无需额外代码埋点的情况下，管理不同系统间的数据流，提升了科学工作流的可复现性与效率。