Plan du cours

Introduction

  • Qu'est-ce que Large Language Models (LLMs) ?
  • LLMs vs modèles NLP traditionnels
  • Aperçu des caractéristiques et de l'architecture des LLMs
  • Défis et limites des LLMs

Comprendre les LLM

  • Le cycle de vie d'un LLM
  • Comment fonctionnent les LLM
  • Les principaux composants d'un LLM : encodeur, décodeur, attention, encastrements, etc.

Pour commencer

  • Mise en place de l'environnement de développement
  • Installation d'un LLM en tant qu'outil de développement, par exemple Google Colab, Hugging Face.

Travailler avec des LLM

  • Explorer les options LLM disponibles
  • Créer et utiliser un LLM
  • Affiner un LLM sur un ensemble de données personnalisé

Résumé de texte

  • Comprendre la tâche de résumé de texte et ses applications
  • Utilisation d'un LLM pour le résumé de texte extractif et abstractif
  • Evaluer la qualité des résumés générés en utilisant des métriques telles que ROUGE, BLEU, etc.

Réponse aux questions

  • Comprendre la tâche de réponse aux questions et ses applications
  • Utilisation d'un LLM pour la réponse à des questions dans des domaines ouverts et fermés
  • Evaluer la précision des réponses générées en utilisant des métriques telles que F1, EM, etc.

Génération de texte

  • Comprendre la tâche de génération de texte et ses applications
  • Utilisation d'un LLM pour la génération de textes conditionnels et inconditionnels
  • Contrôler le style, le ton et le contenu des textes générés en utilisant des paramètres tels que la température, top-k, top-p, etc.

Intégration des LLM avec d'autres cadres et plates-formes

  • Utiliser les LLMs avec PyTorch ou TensorFlow
  • Utilisation des LLMs avec Flask ou Streamlit
  • Utiliser les LLMs avec Google Cloud ou AWS

Résolution des problèmes

  • Comprendre les erreurs et les bogues courants dans les LLMs
  • Utiliser TensorBoard pour surveiller et visualiser le processus d'apprentissage
  • Utiliser PyTorch Lightning pour simplifier le code d'apprentissage et améliorer les performances
  • Utilisation de Hugging Face Datasets pour charger et prétraiter les données

Résumé et prochaines étapes

Pré requis

  • Une compréhension du traitement du langage naturel et de l'apprentissage profond
  • Expérience avec Python et PyTorch ou TensorFlow
  • Expérience de base en programmation

Public

  • Développeurs
  • Passionnés de NLP
  • Scientifiques des données
 14 Heures

Nombre de participants


Prix ​​par Participant

Cours à venir

Catégories Similaires