MLflow

MLflow는 오픈 소스 플랫폼으로, ML 라이프사이클을 간소화하며 실험 추적, 코드 패키징, 모델 관리, 협업을 위한 도구를 제공합니다. 이 구성 요소들은 다양한 환경에서 재현성, 배포, 라이프사이클 제어를 향상시킵니다.

MLflow는 기계 학습(ML) 라이프사이클을 간소화하고 관리하기 위해 설계된 오픈 소스 플랫폼으로, 머신러닝 모델의 개발, 배포, 관리에서 발생하는 복잡성을 해결합니다. 이 플랫폼은 데이터 과학자와 머신러닝 엔지니어가 실험을 추적하고, 코드를 패키징하며, 모델을 관리하고, 보다 체계적이고 효율적으로 협업할 수 있도록 다양한 도구를 제공합니다. MLflow는 라이브러리 독립적으로 설계되어 다양한 머신러닝 프레임워크 및 라이브러리와 호환됩니다.

MLflow의 핵심 구성 요소

MLflow는 머신러닝 워크플로우에서 각각의 역할을 수행하는 네 가지 주요 구성 요소로 구성되어 있습니다.

1. MLflow Tracking

개념
MLflow Tracking은 머신러닝 실험을 기록하고 관리할 수 있는 API와 UI를 제공합니다. 매개변수, 코드 버전, 지표, 산출물(artifact) 파일을 기록 및 조회할 수 있습니다.

사용 사례
데이터 과학자는 MLflow Tracking을 활용해 다양한 실험에서 사용한 하이퍼파라미터를 기록하고, 이들이 모델 성능에 미치는 영향을 비교할 수 있습니다. 예를 들어, 신경망을 훈련할 때 다양한 학습률과 배치 크기를 기록·분석하여 최적의 설정을 찾을 수 있습니다.

예시
모델 학습 시 학습률, 배치 크기와 정확도, 손실 같은 지표를 기록합니다. 이렇게 기록된 정보를 통해 여러 실험 결과를 시각화하고 비교하여 가장 효과적인 하이퍼파라미터 설정을 찾을 수 있습니다.

2. MLflow Projects

개념
MLflow Projects는 머신러닝 코드를 표준화된 형태로 패키징하고 공유할 수 있는 기능을 제공합니다. 프로젝트의 의존성 및 실행 환경을 정의함으로써 실험의 재현성과 이동성을 보장합니다.

사용 사례
여러 팀과 협업하거나 다양한 환경에 모델을 배포할 때, MLflow Projects는 어디서든 일관되게 코드를 실행할 수 있도록 해줍니다.

예시
MLproject 파일이 포함된 프로젝트 디렉터리를 구성하여 코드 실행 방법, 의존성, 진입점을 정의합니다. 이 방식으로 팀원들이 작업을 쉽게 공유하고, 서로 다른 환경에서도 결과를 재현할 수 있습니다.

3. MLflow Models

개념
MLflow Models는 머신러닝 모델을 다양한 플랫폼에 배포 가능한 형식으로 패키징할 수 있게 해주는 구성 요소입니다. 실시간 또는 배치 추론을 지원합니다.

사용 사례
모델을 훈련시킨 후, MLflow Models를 사용해 모델과 그 의존성을 패키징하면, AWS SageMaker나 Azure ML 같은 클라우드 플랫폼에 쉽게 배포할 수 있습니다.

예시
학습된 모델을 MLflow 포맷으로 저장하면 직렬화된 모델 파일과 MLmodel 설정 파일이 포함됩니다. 이를 통해 다양한 환경에서 모델을 쉽게 불러와 추론에 사용할 수 있습니다.

4. MLflow Model Registry

개념
Model Registry는 MLflow Models의 라이프사이클을 관리하는 중앙 저장소입니다. 모델 버전 관리, 단계 전환, 주석을 지원하여 올바른 거버넌스와 협업을 보장합니다.

사용 사례
프로덕션 환경에서는 Model Registry를 통해 MLOps 팀이 모델 버전을 관리하고, 변경 사항을 추적하며, 개발부터 운영까지 모델 배포 단계를 제어할 수 있습니다.

예시
MLflow Model Registry에 모델을 등록하고 버전 번호를 부여한 뒤, “Staging”, “Production” 등 단계별로 전환하여 통제된 방식으로 릴리즈할 수 있습니다.

MLflow 사용의 장점

MLflow는 머신러닝 개발 프로세스를 향상시키는 여러 이점을 제공합니다.

1. 실험 추적의 간소화: MLflow는 실험 기록과 비교를 위한 통합 인터페이스를 제공하여 재현성과 협업을 촉진합니다.
2. 협업 강화: 실험 데이터를 중앙화하고 공통 플랫폼을 제공하여 데이터 과학자와 엔지니어 간의 지식 공유와 팀워크를 증진합니다.
3. 효율적인 모델 배포: MLflow Models는 패키징과 배포 과정을 표준화하여, 모델을 개발 환경에서 운영 환경으로 손쉽게 이전할 수 있게 합니다.
4. 종합적인 모델 관리: Model Registry는 버전 관리와 단계 전환 등 모델의 라이프사이클을 효율적으로 관리할 수 있도록 지원합니다.
5. 재현 가능한 파이프라인: MLflow Projects 및 Pipelines는 일관되고 확장 가능한 머신러닝 워크플로우 구현을 지원합니다.
6. 오픈 소스 및 확장성: MLflow는 오픈 소스로, 커뮤니티의 지속적인 개선이 이루어지고 있습니다. 다양한 도구와의 통합 및 맞춤화도 가능합니다.

MLflow의 사용 사례

MLflow는 다양한 머신러닝 시나리오에 유연하게 적용할 수 있습니다.

• 실험 추적: 데이터 과학자는 MLflow Tracking을 통해 실험 결과를 기록·비교하며, 데이터 기반 인사이트로 모델을 개선합니다.
• 모델 선택 및 배포: MLOps 엔지니어는 Model Registry를 활용해 최고의 성능을 보이는 모델을 운영 환경에 배포합니다.
• 모델 성능 모니터링: 배포 후, 팀은 MLflow로 모델 성능을 모니터링하고, 정확도와 신뢰성을 유지하기 위한 조정을 합니다.
• 협업 프로젝트: 팀은 MLflow Projects로 작업을 체계적으로 관리하며, 다양한 환경에서 일관된 실행과 협업을 보장합니다.

AI, AI 자동화, 챗봇 분야에서의 MLflow

MLflow의 기능은 AI 자동화와 챗봇 개발 분야로 확장되어, AI 모델의 학습, 배포, 모니터링을 간소화합니다. 예를 들어 챗봇 개발 시, MLflow를 활용해 자연어 처리 모델을 학습하고, 다양한 데이터셋에서 성능을 추적하며, 여러 대화 플랫폼에 배포할 수 있습니다. 이를 통해 챗봇의 응답이 정확하고 신뢰성 있게 유지됩니다.

MLflow 관련 연구

MLflow는 실험, 재현성, 배포를 포함한 머신러닝 라이프사이클을 관리하기 위해 설계된 오픈 소스 플랫폼으로, 다양한 과학 및 산업 분야에서 머신러닝 프로젝트의 워크플로우를 간소화하는 데 점차 활용되고 있습니다.

1. SAINE: Scientific Annotation and Inference Engine of Scientific Research
   이 논문에서는 MLflow를 통합하여 과학 연구의 분류 프로세스를 개선하는 주석 엔진 SAINE을 소개합니다. MLflow가 투명하고 정확한 분류 시스템 개발에 어떻게 기여하는지 강조하며, 메타 사이언스 프로젝트와 과학 커뮤니티 내 협업을 지원합니다. 시스템의 기능을 이해할 수 있도록 데모 영상과 라이브 데모도 제공합니다. 더 알아보기.

2. IQUAFLOW: A new framework to measure image quality
   IQUAFLOW는 MLflow를 활용해 AI 모델 성능을 기반으로 이미지 품질을 평가하는 프레임워크를 제공합니다. 커스텀 지표를 통합하고, 압축 등 이미지 변형에 따른 성능 저하 연구를 지원합니다. MLflow는 결과를 시각화하고 요약하는 대화형 도구로 사용됩니다. 논문에서는 다양한 사용 사례와 리포지토리 링크를 제공합니다. 자세히 보기.

3. Towards Lightweight Data Integration using Multi-workflow Provenance and Data Observability
   이 연구에서는 다양한 컴퓨팅 환경에서 데이터 관측성과 통합을 지원하기 위해 MLflow를 활용하는 MIDA 프레임워크를 제안합니다. 다학제 협업의 과제를 해결하고 Responsible AI 개발을 지원합니다. MLflow는 추가 계측 없이도 여러 시스템 간 데이터 흐름을 관리하여, 과학 워크플로우의 재현성과 효율성을 높이는 데 기여합니다.