Réglage des hyperparamètres

Le réglage des hyperparamètres est un processus fondamental dans le domaine de l’apprentissage automatique, essentiel pour optimiser les performances d’un modèle. Les hyperparamètres sont les aspects des modèles d’apprentissage automatique définis avant le début du processus d’entraînement. Ces paramètres influencent le processus d’apprentissage et l’architecture du modèle, et se distinguent des paramètres du modèle qui sont dérivés des données. L’objectif principal du réglage des hyperparamètres est d’identifier la configuration optimale qui donne les meilleures performances, souvent en minimisant une fonction de perte prédéfinie ou en améliorant la précision.

Le réglage des hyperparamètres est indispensable pour affiner la façon dont un modèle s’ajuste aux données. Il consiste à ajuster le modèle pour équilibrer le compromis biais-variance, garantissant robustesse et capacité de généralisation. En pratique, le réglage des hyperparamètres détermine le succès d’un modèle d’apprentissage automatique, qu’il soit déployé pour prédire des cours de bourse, reconnaître la parole ou effectuer toute autre tâche complexe.

Hyperparamètres vs. Paramètres du modèle

Les hyperparamètres sont des configurations externes qui régissent le processus d’apprentissage d’un modèle d’apprentissage automatique. Ils ne sont pas appris à partir des données mais sont définis avant l’entraînement. Les hyperparamètres courants incluent le taux d’apprentissage, le nombre de couches cachées dans un réseau de neurones et la force de régularisation. Ces derniers déterminent la structure et le comportement du modèle.

À l’inverse, les paramètres du modèle sont internes et sont appris à partir des données pendant la phase d’entraînement. Des exemples de paramètres du modèle incluent les poids dans un réseau de neurones ou les coefficients dans un modèle de régression linéaire. Ils définissent les relations et les motifs appris par le modèle dans les données.

La distinction entre hyperparamètres et paramètres du modèle est cruciale pour comprendre leurs rôles respectifs en apprentissage automatique. Alors que les paramètres du modèle capturent des informations issues des données, les hyperparamètres dictent la manière et l’efficacité de cette capture.

Importance du réglage des hyperparamètres

La sélection et le réglage des hyperparamètres ont un impact direct sur l’efficacité de l’apprentissage du modèle et sa capacité à se généraliser à de nouvelles données. Un bon réglage des hyperparamètres peut considérablement améliorer la précision, l’efficacité et la robustesse du modèle. Il garantit que le modèle capte correctement les tendances sous-jacentes des données sans surapprentissage ni sous-apprentissage, maintenant un équilibre entre biais et variance.

Biais et variance

• Biais : erreur introduite en approchant un problème réel complexe par un modèle simple. Un biais élevé peut mener à un sous-apprentissage, où le modèle simplifie à l’excès et manque des tendances de données importantes.
• Variance : erreur introduite par la sensibilité du modèle aux fluctuations du jeu de données d’entraînement. Une variance élevée peut provoquer un surapprentissage, où le modèle capte du bruit en plus des tendances sous-jacentes.

Le réglage des hyperparamètres vise à trouver l’équilibre optimal entre biais et variance, améliorant la performance et la généralisation du modèle.

Méthodes de réglage des hyperparamètres

Plusieurs stratégies sont utilisées pour explorer efficacement l’espace des hyperparamètres :

1. Recherche sur grille

La recherche sur grille est une approche de force brute où un ensemble prédéfini d’hyperparamètres est exploré de façon exhaustive. Chaque combinaison est évaluée pour identifier la meilleure performance. Malgré son exhaustivité, la recherche sur grille est coûteuse en calcul et prend beaucoup de temps, souvent peu pratique pour de grands jeux de données ou des modèles complexes.

2. Recherche aléatoire

La recherche aléatoire améliore l’efficacité en sélectionnant de façon aléatoire des combinaisons d’hyperparamètres à évaluer. Cette méthode est particulièrement efficace lorsque seule une partie des hyperparamètres a un impact significatif sur la performance du modèle, permettant une recherche plus pratique et moins gourmande en ressources.

3. Optimisation bayésienne

L’optimisation bayésienne utilise des modèles probabilistes pour prédire la performance des combinaisons d’hyperparamètres. Elle affine progressivement ces prédictions, se concentrant sur les zones les plus prometteuses de l’espace des hyperparamètres. Cette méthode équilibre exploration et exploitation, surpassant souvent les méthodes exhaustives en termes d’efficacité.

4. Hyperband

Hyperband est un algorithme efficace en ressources qui attribue de façon adaptative les ressources de calcul à différentes configurations d’hyperparamètres. Il élimine rapidement les configurations peu performantes, concentrant les ressources sur les configurations prometteuses, ce qui améliore à la fois la vitesse et l’efficacité.

5. Algorithmes génétiques

Inspirés des processus évolutifs, les algorithmes génétiques font évoluer une population de configurations d’hyperparamètres au fil de générations successives. Ces algorithmes appliquent des opérations de croisement et de mutation, sélectionnant les configurations les plus performantes pour créer de nouvelles solutions candidates.

Exemples d’hyperparamètres

Dans les réseaux neuronaux

• Taux d’apprentissage : détermine la taille du pas à chaque itération lors de la descente vers le minimum d’une fonction de perte.
• Nombre de couches cachées et de neurones : influence la capacité du modèle à apprendre des motifs complexes.
• Momentum : accélère les vecteurs de gradient dans la bonne direction, aidant à une convergence plus rapide.

Dans les machines à vecteurs de support (SVM)

• C : un paramètre de régularisation qui équilibre la minimisation de l’erreur d’entraînement et la maximisation de la marge.
• Noyau : fonction qui transforme les données dans un espace de dimension supérieure, cruciale pour la classification de données non linéairement séparables.

Dans XGBoost

• Profondeur maximale (Max Depth) : définit la profondeur maximale des arbres de décision, affectant la complexité du modèle.
• Taux d’apprentissage : contrôle la rapidité avec laquelle le modèle s’adapte au problème.
• Sous-échantillonnage (Subsample) : détermine la fraction d’échantillons utilisée pour ajuster les apprenants de base individuels.

Réglage des hyperparamètres dans les frameworks d’apprentissage automatique

Réglage automatisé avec AWS SageMaker

AWS SageMaker propose un réglage automatisé des hyperparamètres utilisant l’optimisation bayésienne. Ce service explore efficacement l’espace des hyperparamètres, permettant la découverte de configurations optimales avec moins d’efforts.

Vertex AI par Google Cloud

Vertex AI de Google offre des capacités robustes de réglage des hyperparamètres. Tirant parti des ressources de calcul de Google, il prend en charge des méthodes efficaces telles que l’optimisation bayésienne pour fluidifier le processus de réglage.

IBM Watson et systèmes d’IA

IBM Watson propose des outils complets pour le réglage des hyperparamètres, mettant l’accent sur l’efficacité computationnelle et la précision. Des techniques telles que la recherche sur grille et la recherche aléatoire sont utilisées, souvent en combinaison avec d’autres stratégies d’optimisation.

Cas d’usage en IA et apprentissage automatique

• Réseaux neuronaux : optimisation des taux d’apprentissage et des architectures pour des tâches comme la reconnaissance d’images et de la parole.
• SVM : réglage précis du noyau et des paramètres de régularisation pour améliorer la performance en classification.
• Méthodes d’ensemble : ajustement de paramètres tels que le nombre d’estimateurs et les taux d’apprentissage dans des algorithmes comme XGBoost pour améliorer la précision.

Contributions scientifiques notables

1. JITuNE: Just-In-Time Hyperparameter Tuning for Network Embedding Algorithms
   Auteurs : Mengying Guo, Tao Yi, Yuqing Zhu, Yungang Bao
   Cet article aborde le défi du réglage des hyperparamètres dans les algorithmes d’intégration de réseau, utilisés pour des applications telles que la classification de nœuds et la prédiction de liens. Les auteurs proposent JITuNE, un cadre permettant le réglage des hyperparamètres sous contrainte de temps grâce à des synopsis hiérarchiques de réseau. La méthode transfère les connaissances des synopsis vers l’ensemble du réseau, améliorant significativement les performances de l’algorithme en peu d’essais. En savoir plus

2. Self-Tuning Networks: Bilevel Optimization of Hyperparameters using Structured Best-Response Functions
   Auteurs : Matthew MacKay, Paul Vicol, Jon Lorraine, David Duvenaud, Roger Grosse
   Cette étude formule l’optimisation des hyperparamètres comme un problème bi-niveau et introduit les réseaux auto-ajustables (Self-Tuning Networks, STNs), qui adaptent les hyperparamètres en ligne pendant l’entraînement. L’approche construit des approximations best-response évolutives et découvre des plannings adaptatifs d’hyperparamètres, surpassant les valeurs fixes dans des tâches d’apprentissage profond à grande échelle. En savoir plus

3. Stochastic Hyperparameter Optimization through Hypernetworks
   Auteurs : Jonathan Lorraine, David Duvenaud
   Les auteurs proposent une nouvelle méthode intégrant l’optimisation des poids du modèle et des hyperparamètres via des hyperréseaux. Cette technique consiste à entraîner un réseau de neurones à produire les poids optimaux en fonction des hyperparamètres, atteignant ainsi une convergence vers des solutions localement optimales. L’approche est comparée favorablement aux méthodes classiques. En savoir plus