Horovod

Horovod on suunniteltu optimoimaan nopeus, skaalautuvuus ja resurssien allokointi koneoppimismallien koulutuksessa. Sen ydinmekanismi—Ring-AllReduce-algoritmi—hallinnoi tehokkaasti datan siirtoa, minimoiden koodimuutokset, joita tarvitaan siirryttäessä yksittäisestä solmusta useamman solmun ympäristöihin.

Historiallinen tausta

Uber esitteli Horovodin vuonna 2017 osana sisäistä ML-as-a-service-alustaansa, Michelangeloa. Työkalu luotiin ratkaisemaan skaalausongelmia, joita ilmeni standardissa hajautetussa TensorFlow-järjestelyssä, joka ei riittänyt Uberin laajoihin tarpeisiin. Horovodin arkkitehtuuri suunniteltiin dramaattisesti lyhentämään koulutusaikoja ja mahdollistamaan saumaton hajautettu koulutus.

Nykyisin Horovodia ylläpidetään Linux Foundationin AI Foundationin alla, mikä kertoo sen laajasta hyväksynnästä ja jatkuvasta kehityksestä avoimen lähdekoodin yhteisössä.

Keskeiset ominaisuudet

1. Kehysriippumattomuus
   Integroituu useisiin syväoppimisen kehyksiin, mahdollistaen yhtenäisen hajautetun koulutuksen lähestymistavan eri työkalujen välillä. Tämä pienentää oppimiskynnystä kehittäjille, jotka tuntevat yhden kehyksen mutta tarvitsevat työskennellä erilaisissa ympäristöissä.

2. Ring-AllReduce-algoritmi
   Horovodin tehokkuuden ytimessä oleva algoritmi laskee gradienttien keskiarvon solmujen välillä pienellä kaistanleveydellä, vähentäen viestintäkuormaa laajamittaisessa koulutuksessa.

3. Helppokäyttöisyys
   Yksinkertaistaa siirtymistä yhden GPU:n koulutuksesta moni-GPU-koulutukseen vaatimalla vain vähäisiä koodimuutoksia. Kietoutuu olemassa olevien optimointien ympärille ja käyttää Message Passing Interfaceä (MPI) prosessien välisessä viestinnässä.

4. GPU-tietoisuus
   Hyödyntää NVIDIAn NCCL-kirjastoa optimoidakseen GPU-laitteiden välisen viestinnän nopeisiin tiedonsiirtoihin ja tehokkaaseen muistin hallintaan—olennaista suurille, moniulotteisille aineistoille.

Asennus ja käyttöönotto

Horovodin asennus:

• Vaatimukset:

  • GNU Linux tai macOS
  • Python 3.6+
  • CMake 3.13+

• Asennuskomento:

  pip install horovod[tensorflow,keras,pytorch,mxnet]
  

• Kehyskohtaiset ympäristömuuttujat:
  Aseta ympäristömuuttujia, kuten HOROVOD_WITH_TENSORFLOW=1, hallitaksesi kehystukea asennuksen aikana.

Käyttökohteet

Horovodia käytetään laajasti tilanteissa, joissa tarvitaan nopeaa mallin iterointia ja koulutusta:

• Tekoälyn automaatio ja chatbotit:
  Tekoälypohjaisissa sovelluksissa, kuten chatboteissa, nopeampi NLP-mallien koulutus nopeuttaa tuotteiden käyttöönottoa.

• Itseajavat autot:
  Uberilla Horovodia käytetään autonomisten ajoneuvojen ML-mallien kehityksessä, joissa suuret aineistot ja monimutkaiset mallit edellyttävät hajautettua koulutusta.

• Petosten havainnointi ja ennustaminen:
  Horovodin tehokkuus suurten aineistojen kanssa tekee siitä ihanteellisen rahoituspalveluihin ja verkkokauppaan, joissa tarvitaan nopeaa mallikoulutusta tapahtumadatan, petosten tunnistuksen ja trendien ennustamisen osalta.

Esimerkkejä ja koodikatkelmia

Esimerkki: Horovodin integrointi TensorFlow-koulutusskriptiin:

import tensorflow as tf
import horovod.tensorflow as hvd

# Alusta Horovod
hvd.init()

# Kiinnitä käytettävä GPU lokaalin rankin mukaan
config = tf.ConfigProto()
config.gpu_options.visible_device_list = str(hvd.local_rank())

# Rakenna malli
model = ...  # Määrittele mallisi tähän
optimizer = tf.train.AdagradOptimizer(0.01)

# Lisää Horovodin hajautettu optimointilaite
optimizer = hvd.DistributedOptimizer(optimizer)

# Lähetä alkuperäiset muuttujatilat rank 0:sta kaikille prosesseille
hvd.broadcast_global_variables(0)

# Koulutussilmukka
for epoch in range(num_epochs):
    # Koulutuskoodi tähän
    ...

Kehittyneet ominaisuudet

• Horovod Timeline:
  Profiloi hajautetut koulutusprosessit suorituskykyongelmien tunnistamiseksi. Huom: sen käyttö voi vähentää suorituskykyä—käytä harkiten.

• Elastinen koulutus:
  Tukee resurssien dynaamista säätöä koulutuksen aikana—erityisen hyödyllistä pilviympäristöissä, joissa resurssit voivat vaihdella.

Yhteisö ja osallistuminen

Horovod on GitHubissa, ja sillä on vahva yhteisö kehittäjiä ja käyttäjiä. Linux Foundation AI:n osana kehittäjiä kannustetaan osallistumaan sen jatkuvaan kehitykseen. Horovodilla on yli 14 000 tähteä ja lukuisia haaroja, mikä korostaa sen merkitystä hajautetussa koulutuksessa.

Horovod: Hajautetun syväoppimisen tehostaja

Horovod virtaviivaistaa hajautetun syväoppimisen ja ratkaisee kaksi suurta skaalaushaastetta: viestintäkuorman ja koodimuutosten määrän.

• Tehokas GPU-laitteiden välinen viestintä:
  Alexander Sergeevin ja Mike Del Balson kehittämä Horovod käyttää ring-reduktiota GPU-laitteiden välisessä viestinnässä, vähentäen merkittävästi tarvittavia koodimuutoksia hajautettua koulutusta varten.

• Saavutettavuus:
  Mahdollistaa nopeamman ja helpomman hajautetun koulutuksen TensorFlow’ssa ja muissa kehyksissä, tehden tutkijoille helpommaksi siirtyä yhden GPU:n koulutuksesta eteenpäin.

• Lisätietoa:
  Lisätietoja löytyy artikkelista “Horovod: fast and easy distributed deep learning in TensorFlow.”

Tutkimus: Horovod suurimittakaavaisessa koulutuksessa

• NLP-mallien koulutus:
  Hao Bain artikkeli “Modern Distributed Data-Parallel Large-Scale Pre-training Strategies For NLP models” tarkastelee dataparalleelia koulutusta PyTorchilla ja Horovodilla. Tutkimus korostaa Horovodin luotettavuutta, erityisesti Apexin mixed-precision-strategian kanssa, tehden siitä tehokkaan suurille malleille, kuten 100M parametrin GPT-2:lle.

• Dynaaminen ajoitus:
  Tim Capesin ym. artikkeli “Dynamic Scheduling of MPI-based Distributed Deep Learning Training Jobs” tarkastelee syväoppimistehtävien dynaamista ajoitusta Horovodin ring-arkkitehtuurilla. Tulokset osoittavat, että se mahdollistaa tehokkaan koulutusten pysäytyksen ja uudelleenkäynnistyksen, lyhentäen loppuun saattamiseen kuluvaa aikaa ja todistaen soveltuvuutensa vaativiin syväoppimistehtäviin.