Le plan d’agent de Lilian Weng en 2023, et le fichier que chaque partie laisse

Ce que le billet avance

L’aperçu de Weng pose le cadre de tout le texte :

“In a LLM-powered autonomous agent system, LLM functions as the agent’s brain, complemented by several key components: Planning ... Memory ... Tool use”.

La planification, chez elle, couvre à la fois le découpage d’une tâche en sous-objectifs et la réflexion sur les actions passées pour améliorer les suivantes. La mémoire se partage entre court terme (le contexte que le modèle voit actuellement, qu’elle appelle in-context) et long terme (en général stocké hors du modèle, dans une base vectorielle interrogeable). L’usage d’outils laisse le modèle appeler tout ce qu’un jeu de poids figé ne peut fournir seul — informations actuelles, exécution de code, autres API. Vers la fin, dans une section « Challenges », elle nomme une limite clairement :

“LLMs struggle to adjust plans when faced with unexpected errors, making them less robust compared to humans who learn from trial and error.”

Ailleurs, dans une étude de cas sur l’agent de chimie ChemCrow, elle signale un problème plus étroit : une évaluation basée sur un LLM le notait à peu près égal à GPT-4, tandis que des experts humains jugeaient ChemCrow bien meilleur en exactitude. Sa conclusion porte sur l’auto-évaluation, pas spécifiquement sur son composant « reflection » :

“The lack of expertise may cause LLMs not knowing its flaws and thus cannot well judge the correctness of task results.”

Weng ne mentionne MarsDawn nulle part dans ce billet et ne recommande aucun outil Markdown.

Notre lecture, pas celle de Weng

Weng décrit l’architecture d’agent en 2023, pas la lecture de la sortie d’un agent — elle ne mentionne aucune personne qui vérifierait un fichier. Mais ses trois composants se projettent sur trois choses différentes que vous pouvez vous retrouver à lire. La planification tend à vous laisser un document avant l’exécution — le plan lui-même, parfois avec une « reflection » ou une auto-revue déjà pliée dedans. La mémoire est en général invisible, sauf si l’agent tient un fichier brouillon courant comme stockage long terme ; alors ce fichier mérite d’être ouvert pour lui-même, car il peut traîner une vieille hypothèse fausse à travers bien des étapes suivantes sans le dire. L’usage d’outils tend à vous laisser un rapport de ce qui a tourné et de ce qui est revenu — plus près d’un transcript que d’un plan.

Son point sur les plans qui ne s’ajustent pas aux erreurs inattendues est, lu de votre côté, une raison pour qu’un plan approuvé hier soit périmé aujourd’hui : si quelque chose que le plan n’avait pas prévu est arrivé entre-temps, l’agent peut continuer plutôt que de replanifier, et le rapport final peut décrire le succès du plan d’origine sans décrire le détour. C’est notre inférence, pas une affirmation d’elle — elle écrit sur la robustesse du modèle, pas sur ce qu’un lecteur devrait surveiller.

Où MarsDawn aide, et où non

MarsDawn n’a aucun modèle d’IA à l’intérieur, donc il ne peut pas vous dire si un plan a discrètement dérivé de ce qui s’est vraiment passé, et il ne distingue pas un fichier de planification d’un fichier de mémoire ou d’un rapport d’usage d’outils — c’est une lecture du contenu, qui vous appartient. Ce qu’il fait : l’onglet Plan (Présentation ▸ Afficher la barre latérale, ⌃⌘S) montre d’un coup d’œil la forme d’un long plan, la source et l’aperçu rendu côte à côte (⌘2) avec Mermaid et KaTeX dessinés, et si l’agent réécrit le fichier en cours de lecture, MarsDawn le recharge et garde votre place, tant que vous n’avez pas de modifications non enregistrées — utile précisément parce qu’un plan silencieusement révisé est exactement le mode de défaillance que sa section « Challenges » décrit du côté du modèle.

Essayer

MarsDawn est sur le Mac App Store. L’outil en ligne de commande gratuit marsdawn fonctionne déjà :

brew install redtear1115/tap/marsdawn

Il exporte le Markdown en PDF sans l’app.

Ligne de commande · Avant d’acheter : Ce que MarsDawn ne fait pas

Ensuite

• Quels documents les différents patrons de conception d’agents tendent à vous rendre : Quatre patrons de conception d’agents et les documents que chacun vous tend
• La relecture en cinq minutes d’un plan avant qu’il ne tourne : Relire le plan d’un agent en cinq minutes
• Retour à la série : Notes de lecture de la rédaction

Sources

• Lilian Weng, “LLM Powered Autonomous Agents,” Lil’Log, June 23, 2023: https://lilianweng.github.io/posts/2023-06-23-agent/ (récupéré et cité le 2026-09-26 ; elle était alors chez OpenAI, décrite ici seulement telle qu’elle était alors).