MarsDawn

El plano de agente de Lilian Weng de 2023, y el archivo que deja cada parte

En junio de 2023, entonces en OpenAI, Lilian Weng publicó en su blog Lil’Log una larga encuesta que describe un agente impulsado por LLM como un cerebro (el modelo) más tres componentes: planificación, memoria y uso de herramientas. Es un marco temprano y muy citado de de qué está hecho un agente, y sincero sobre dónde ese marco todavía se rompe.

Lo que sostiene el post

La visión general de Weng fija el marco de todo el texto:

“In a LLM-powered autonomous agent system, LLM functions as the agent’s brain, complemented by several key components: Planning ... Memory ... Tool use”.

La planificación, en su relato, cubre tanto partir una tarea en submetas como reflexionar sobre acciones pasadas para mejorar las futuras. La memoria se parte en corto plazo (el contexto que el modelo ve ahora, que llama in-context) y largo plazo (suele guardarse fuera del modelo, en un almacén vectorial consultable). El uso de herramientas deja al modelo pedir todo lo que un conjunto de pesos congelado no puede dar solo — información actual, ejecución de código, otras APIs. Hacia el final, en una sección titulada «Challenges», nombra un límite con claridad:

“LLMs struggle to adjust plans when faced with unexpected errors, making them less robust compared to humans who learn from trial and error.”

En otro lugar, en un caso de estudio sobre el agente de química ChemCrow, señala un problema más estrecho: una evaluación basada en LLM lo puntuaba casi igual que GPT-4, mientras expertos humanos juzgaban ChemCrow mucho mejor en corrección. Su conclusión habla de autoevaluación, no específicamente de su componente «reflection»:

“The lack of expertise may cause LLMs not knowing its flaws and thus cannot well judge the correctness of task results.”

Weng no menciona MarsDawn en ningún sitio de este post y no recomienda ninguna herramienta Markdown.

Nuestra lectura, no la de Weng

Weng describe arquitectura de agentes en 2023, no a nadie leyendo la salida de un agente — no menciona a una persona comprobando un archivo. Pero sus tres componentes se proyectan sobre tres cosas distintas que puedes encontrarte leyendo. La planificación suele dejarte un documento antes de que corra — el plan mismo, a veces con una «reflection» o auto-revisión ya plegada dentro. La memoria suele ser invisible salvo que el agente lleve un archivo borrador como almacén a largo plazo; entonces ese archivo merece abrirse por sí solo, porque puede arrastrar una asunción vieja y equivocada a lo largo de muchos pasos posteriores sin decirlo. El uso de herramientas suele dejarte un informe de lo que corrió y lo que volvió — más cerca de una transcripción que de un plan.

Su punto sobre planes que no se ajustan a errores inesperados es, leído desde tu lado, una razón para que un plan que aprobaste ayer esté obsoleto hoy: si entre entonces y ahora pasó algo que el plan no anticipó, el agente puede seguir en lugar de replanificar, y el informe final puede describir el éxito del plan original sin describir el desvío. Esa es nuestra inferencia, no una afirmación suya — escribe sobre la robustez del modelo, no sobre lo que un lector debería vigilar.

Dónde ayuda MarsDawn y dónde no

MarsDawn no tiene ningún modelo de IA dentro, así que no puede decirte si un plan se ha desviado en silencio de lo que realmente pasó, y no distingue un archivo de planificación de uno de memoria o de un informe de uso de herramientas — eso es una lectura del contenido, y te toca a ti. Lo que hace: la pestaña Esquema (Visualización ▸ Mostrar barra lateral, ⌃⌘S) muestra de un vistazo la forma de un plan largo, el código y la vista previa renderizada van lado a lado (⌘2) con Mermaid y KaTeX dibujados, y si el agente reescribe el archivo a mitad de lectura, MarsDawn lo vuelve a cargar y mantiene tu sitio, siempre que no tengas cambios sin guardar — útil precisamente porque un plan revisado en silencio es exactamente el modo de fallo que su sección «Challenges» describe desde el lado del modelo.

Probarlo

MarsDawn está en el Mac App Store. La herramienta de línea de comandos gratuita marsdawn ya funciona hoy:

brew install redtear1115/tap/marsdawn

Exporta Markdown a PDF sin la app.

Línea de comandos · Antes de comprar: Lo que MarsDawn no hace

Siguiente

Fuentes