Introduction

Dans le chapitre 2 nous avons étudié comment utiliser les tokenizers et les modèles pré-entraînés pour faire des prédictions. Mais que faire si vous souhaitez finetuner un modèle pré-entraîné pour votre propre jeu de données ? C’est le sujet de ce chapitre ! Vous allez apprendre à :

• savoir comment préparer un très grand jeu de données à partir du Hub,
• savoir comment utiliser l’API de haut niveau Trainer pour finetuner un modèle,
• savoir comment utiliser une boucle d’entraînement personnalisée,
• savoir comment tirer parti de la bibliothèque 🤗 Accelerate pour exécuter facilement cette boucle d’entraînement personnalisée sur n’importe quelle configuration distribuée.

Afin de télécharger vos checkpoints entraînés sur le Hub Hugging Face, vous aurez besoin d’un compte huggingface.co : créer un compte

Update on GitHub