CS 471/671 (How to grow language models) - #18 - Fall 2026

Item: CS 471/671 (How to grow language models) - #18 - Fall 2026
Rating: 4
Author: PostSingularity Institute

CS 471/671 (Comment faire évoluer les modèles de langage) - #18 - Automne 2026

Historique des titres

CS 471/671 (How to grow language models) - #18 - Fall 2026 — observé le 20261104-0808 UTC (YouTube)

par Center for Language & Speech Processing (CLSP), JHU · Voir la chaîne sur PSI

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQLLangage naturel et traduction automatique

🎙 Center for Language & Speech Processing (CLSP), JHU 👥 4K 📅 4 novembre 2026 ⏱ 47 min 👁 20 📄 tutoriel 🧭 2026-11-04

Disponible en : Français (actuel) English

Mots-clés

LoRAfine-tuninginstruction tuningreinforcement learningpost-training

Résumé

Cette vidéo, enregistrée lors d’un cours de l’université Johns Hopkins, aborde la suite de la discussion sur l’adaptation des grands modèles de langage. Le professeur commence par rappeler les méthodes d’adaptation déjà vues : le fine-tuning supervisé (SFT), le head tuning et LoRA. Il analyse ensuite les coûts computationnels de LoRA par rapport au fine-tuning complet, en distinguant les opérations en virgule flottante (FLOPs) et l’utilisation mémoire, concluant que LoRA économise principalement de la mémoire mais pas forcément des FLOPs. Une comparaison avec le head tuning est également menée, avec un calcul concret du nombre de paramètres pour un modèle spécifique. La vidéo introduit ensuite la notion de post-entraînement, qui vise à rendre le modèle utile de manière générale, et se concentre sur l’instruction tuning, qui consiste à fine-tuner le modèle sur des instructions annotées par des humains. Des résultats de scaling sont présentés, montrant que l’instruction tuning améliore la généralisation. Les limites de cette méthode, comme les hallucinations dues à des données hors distribution, sont discutées. Enfin, la vidéo introduit les bases du reinforcement learning, inspiré de la psychologie cognitive, comme outil clé pour le post-entraînement, notamment pour des tâches vérifiables comme la programmation ou les mathématiques.

198 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La vidéo offre un contenu riche et structuré sur les stratégies d’adaptation et de post-entraînement des LLM. Elle apporte des analyses nuancées, notamment sur les coûts en FLOPs et en mémoire de LoRA par rapport au fine-tuning complet, souvent mal comprises. L’exemple chiffré comparant LoRA et head tuning pour un modèle hypothétique est très concret. L’argumentation est solide, s’appuyant sur des résultats empiriques et des considérations théoriques. La discussion sur les limites de l’instruction tuning, en particulier le risque d’hallucination lié à des données hors distribution, est pertinente et bien illustrée. L’introduction au reinforcement learning est pédagogique et relie les concepts à des analogies quotidiennes, facilitant la compréhension.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est élevée dans la mesure où il s’agit d’un cours académique donné par un expert du CLSP de JHU, spécialisé en traitement du langage. Les explications sont conformes aux pratiques actuelles de l’industrie et de la recherche, et les limites des méthodes sont clairement mentionnées. Cependant, la vidéo ne cite pas explicitement de sources bibliographiques à l’écran ; seule la page du cours est mentionnée dans la description. Le titre est adapté au contenu : le cours traite bien de la croissance des modèles de langage, en couvrant les étapes d’adaptation et de post-entraînement. La discussion sur les coûts computationnels et les comparaisons entre méthodes est rigoureuse, mais elle repose sur des connaissances générales du domaine plutôt que sur des références précises.

248 mots

Adéquation titre / contenu

Le titre indique qu'il s'agit du cours 18 sur comment faire croître les modèles de langage, ce qui correspond bien au contenu : adaptation, post-entraînement, instruction tuning et RL.

Qualité & fiabilité

8/10

Cours universitaire de niveau master, présenté par un expert du CLSP de JHU, couvrant des méthodes standard de l'industrie. Le contenu est précis et à jour, mais il s'agit d'un cours, sans références bibliographiques détaillées dans la vidéo elle-même.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Sources citées

Course page for CS 471/671 — Description de la vidéo, fournit les informations sur le cours et les ressources.

Apport & nouveautés

Cette vidéo apporte une perspective académique sur les méthodes d’adaptation et de post-entraînement des grands modèles de langage, avec un éclairage précis sur les nuances entre LoRA, head tuning et fine-tuning complet, notamment en termes de coûts computationnels. Elle illustre les tendances récentes vers l’utilisation du reinforcement learning pour des tâches vérifiables, comme la programmation ou les mathématiques, et discute des limites de l’instruction tuning. L’exposé est clair et permet de comprendre les compromis entre performance, mémoire et FLOPs.

Pour aller plus loin :

Low-Rank Adaptation (LoRA) — Concept central de la vidéo, détaillé avec ses implications.
Instruction tuning — Méthode clé du post-entraînement, avec discussions sur ses variantes et limites.
Reinforcement learning from human feedback (RLHF) — Base du RL utilisé pour l’alignement des modèles, évoqué en fin de vidéo.

131 mots

Profil radar

Le profil est équilibré, avec des scores élevés en quantité et qualité d'information, ainsi qu'un niveau technique élevé, indiquant un contenu dense et pointu pour un public avancé. La fiabilité est également bonne, ce qui en fait une ressource fiable pour comprendre les méthodes d'entraînement des LLM.

Fiabilité 8/10