Plan du cours

Introduction

  • Vue d'ensemble des défis de mise à l'échelle de l'apprentissage profond
  • Aperçu de DeepSpeed et de ses caractéristiques
  • DeepSpeed vs. d'autres bibliothèques distribuées d'apprentissage profond

Pour commencer

  • Mise en place de l'environnement de développement
  • Installer PyTorch et DeepSpeed
  • Configurer DeepSpeed pour l'apprentissage distribué

Fonctionnalités d'optimisation de DeepSpeed

  • Pipeline de formation DeepSpeed
  • ZeRO (optimisation de la mémoire)
  • Point de contrôle de l'activation
  • Point de contrôle du gradient
  • Parallélisme du pipeline

Mise à l'échelle des modèles avec DeepSpeed

  • Mise à l'échelle de base avec DeepSpeed
  • Techniques avancées de mise à l'échelle
  • Considérations sur les performances et meilleures pratiques
  • Techniques de débogage et de dépannage

Sujets avancés sur DeepSpeed

  • Techniques d'optimisation avancées
  • Utilisation de DeepSpeed avec un entraînement en précision mixte
  • DeepSpeed sur différents matériels (par ex. GPUs, TPUs)
  • DeepSpeed avec plusieurs nœuds d'entraînement

Intégrer DeepSpeed avec PyTorch

  • Intégrer DeepSpeed avec les flux de travail PyTorch
  • Utiliser DeepSpeed avec PyTorch Lightning

Résolution des problèmes

  • Déboguer les problèmes courants de DeepSpeed
  • Surveillance et journalisation

Résumé et prochaines étapes

  • Récapitulation des concepts et fonctionnalités clés
  • Meilleures pratiques pour l'utilisation de DeepSpeed en production
  • Ressources supplémentaires pour en savoir plus sur DeepSpeed

Pré requis

  • Connaissance intermédiaire des principes de l'apprentissage profond
  • Expérience avec PyTorch ou des frameworks d'apprentissage profond similaires
  • Familiarité avec la programmation Python.

Audience

  • Scientifiques des données
  • Ingénieurs en apprentissage automatique
  • Développeurs
 21 Heures

Nombre de participants


Prix ​​par Participant

Cours à venir

Catégories Similaires