AIR Seminar with Minjoon Jung | Hariri Institute | Boston University

AIR Seminar with Minjoon Jung | Hariri Institute | Boston University

Séminaire AIR avec Minjoon Jung | Institut Hariri | Université de Boston

🎙 Minjoon Jung 👥 1K 📅 21 octobre 2026 ⏱ 49 min 👁 0 📄 étude originale 🧭 2026-10-21
Disponible en : Français (actuel) English

Mots-clés

grounding temporelauto-évolutionagentsrécompensesapprentissage par renforcement

Résumé

Minjoon Jung, doctorant à l’Université Nationale de Séoul et chercheur invité, présente son travail intitulé « EvoGround : Self-Evolving Video Agents for Video Temporal Grounding » lors d’un séminaire de l’Institut Hariri. Il commence par contextualiser la complexité du grounding temporel, qui consiste à localiser dans une vidéo non découpée l’intervalle correspondant à une description textuelle. Il souligne la difficulté de collecter des annotations temporelles manuelles, coûteuses et parfois ambiguës. Il propose alors un cadre d’apprentissage auto-évolutif reposant sur deux agents : un proposer qui génère des paires requête-intervalle à partir de vidéos non annotées, et un solver qui apprend à localiser ces moments. Ces agents interagissent en s’appuyant sur trois récompenses : une récompense de format validant les contraintes temporelles, une récompense de cohérence mesurant la correspondance visuelle interne et externe, et une récompense de retour évaluant la capacité du solver à retrouver les moments proposés. Il détaille l’utilisation de l’optimisation par politique de groupe (GRPO) et de l’optimisation directe préférentielle groupée (GDPO) pour combiner ces signaux, et montre que normaliser chaque composante séparément (GDPO) améliore les performances. L’analyse des dynamiques d’entraînement révèle que le proposer apprend progressivement à générer des paires plus pertinentes et résolubles grâce à un curriculum augmentant les seuils. Les résultats sur cinq benchmarks de grounding temporel montrent des performances comparables ou supérieures à des modèles supervisés, malgré l’absence d’annotations manuelles. Il présente également des gains en sous-titrage vidéo fin, montrant que les capacités apprises dépassent la simple localisation temporelle. Enfin, il discute de l’impact des choix d’optimisation et des réglages de curriculum sur la qualité des données générées.

264 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur de cette présentation réside dans la proposition d’un cadre novateur pour l’apprentissage de tâches visuo-temporelles sans annotations manuelles, répondant à une limitation majeure du domaine. L’argumentation est solide : l’orateur justifie chaque composante par des intuitions claires, appuie ses choix par des analyses de distributions et de dynamiques d’entraînement, et valide par des expériences comparatives. La distinction entre récompenses de format, de cohérence et de retour est bien articulée, et l’analyse des effets respectifs sur la distribution des moments générés est convaincante. La comparaison entre GRPO et GDPO, bien que spécifique au contexte, est étayée par des résultats empiriques. L’auteur nuance ses conclusions en soulignant que les résultats sont conditionnés à la configuration expérimentale, ce qui renforce la crédibilité. Toutefois, certaines parties, comme la discussion sur les groupes et les indices, sont confuses et auraient gagné à être clarifiées.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est globalement bonne : la méthode est décrite avec précision, les équations sont présentées et les expériences sont détaillées. L’orateur s’appuie sur des modèles de référence (Qwen 2.5, etc.) et des techniques d’optimisation connues, mais sans citer explicitement de publications dans la présentation. La description ne fournit que le lien vers les événements de l’Institut Hariri, sans référence directe aux travaux. L’adéquation entre le titre et le contenu est parfaite, le titre reflétant exactement le sujet du séminaire et le nom du présentateur. Aucune source discordante n’est mentionnée. La discussion avec le public permet d’éclaircir certains points, mais elle révèle aussi des ambiguïtés dans la notation, notamment sur la signification des indices et des groupes.

274 mots

Adéquation titre / contenu

Le titre correspond exactement au contenu : il s'agit bien d'un séminaire AIR avec Minjoon Jung, présentant son travail sur EvoGround.

Qualité & fiabilité

8/10

Présentation académique détaillée d'un travail de recherche original, avec explications méthodologiques et résultats expérimentaux, mais sans publication vérifiable accessible dans la description.

Moments clés

Sources citées

Apport & nouveautés

L’apport original de ce travail est la proposition d’un cadre auto-évolutif, nommé EvoGround, permettant d’apprendre le grounding temporel vidéo et d’autres tâches temporelles sans recourir à des annotations manuelles. Le mécanisme d’interaction entre un proposer et un solver, couplé à trois récompenses complémentaires, offre une approche novatrice pour générer des données d’entraînement synthétiques mais pertinentes. L’analyse fine des dynamiques d’entraînement et la comparaison de méthodes d’optimisation comme GRPO et GDPO constituent également des contributions utiles à la communauté.

Pour aller plus loin :

  • Apprentissage par renforcement — Pertinent pour comprendre les bases des méthodes d’optimisation utilisées.
  • Modèle vision-langage — Pertinent pour les architectures multimodales employées.
  • “Temporal grounding” (concept central, sans URL fiable disponible) — Pour approfondir la tâche de localisation d’événements dans des vidéos.

124 mots

Profil radar

Le profil radar montre une très haute technicité et une bonne quantité d'informations, avec une qualité et une fiabilité élevées. La note globale en étoiles est cohérente avec un contenu académique dense mais restreint à un public spécialiste.

Fiabilité 8/10