MarsDawn

Cuatro patrones de diseño de agentes y los documentos que te entrega cada uno

En marzo de 2024, Andrew Ng describió en su boletín, The Batch, cuatro patrones de diseño para agentes de IA: reflexión, uso de herramientas, planificación y colaboración multiagente. Normalmente se explican desde el lado de quien construye agentes, como formas de obtener mejores resultados de un modelo. Este artículo mira desde el otro lado. Si usas un agente basado en uno de estos patrones, ¿qué llega a tu carpeta y qué deberías leer primero?

Los cuatro patrones son de Andrew Ng. Los documentos que suele entregarte cada uno, y qué revisar en ellos, son deducción nuestra. Él no escribe sobre ninguna de las dos cosas, y en esta serie no defiende la revisión humana.

Los cuatro patrones, en breve

Ng los describe en «Agentic Design Patterns Part 1». En resumen: con la reflexión, el modelo revisa su propio trabajo y lo mejora. Con el uso de herramientas, puede llamar a herramientas como la búsqueda web o la ejecución de código. Con la planificación, elabora un plan de varios pasos y lo ejecuta. Con la colaboración multiagente, varios agentes se reparten el trabajo y lo discuten.

En la parte 1 muestra la mejora en un benchmark de programación, HumanEval, con resultados que su equipo reunió de varios grupos de investigación: «GPT-3.5 (zero-shot) acertaba el 48,1 %. GPT-4 (zero-shot) lo hace mejor, con un 67,0 %. Sin embargo, la mejora de GPT-3.5 a GPT-4 queda eclipsada al incorporar un flujo de trabajo agéntico iterativo. De hecho, dentro de un bucle de agente, GPT-3.5 alcanza hasta un 95,1 %». Estas cifras corresponden a un solo benchmark de programación, y 95,1 % es el mejor caso («hasta»). Muestran que los flujos de trabajo con agentes pueden mejorar el resultado. No dicen nada sobre quién lo comprueba.

A partir de aquí, los documentos y las comprobaciones son nuestra lectura, no la de Ng. Además, los agentes reales mezclan patrones. Un agente de programación puede planificar, ejecutar herramientas y revisar su propio trabajo en una misma sesión, así que a menudo recibirás los cuatro tipos de archivo.

1. Reflexión: un borrador que ya se revisó a sí mismo

El artículo de Ng sobre la reflexión la plantea como automatizar los comentarios que, de otro modo, daría una persona: «¿Y si automatizamos el paso de los comentarios críticos, de modo que el modelo critique automáticamente su propia salida y mejore su respuesta?».

Lo que suele entregarte: un documento revisado, a veces con una sección de autoevaluación o líneas como «casos límite revisados de nuevo».

Qué revisar: el resultado frente a tu pedido, no frente a la autocrítica del agente. La autoevaluación puede equivocarse a su manera. Chip Huyen: «Un modo interesante de fallo de planificación se debe a errores en la reflexión. El agente está convencido de haber completado una tarea cuando no es así». Lilian Weng, en su blog Lil’Log en junio de 2023, entonces en OpenAI, sobre los modelos de esa época: «La falta de conocimiento experto puede impedir que los LLM conozcan sus defectos y, por lo tanto, que juzguen bien si los resultados de una tarea son correctos». (En el estudio que describía, la evaluación de resultados hecha por un LLM y la de expertos humanos no coincidían). Si dice «verificado», comprueba una cosa tú mismo.

2. Uso de herramientas: un informe de lo que se ejecutó

Lo que suele entregarte: un resumen de lo que el agente ejecutó o buscó y de lo que obtuvo. «Ejecuté la suite de pruebas: todo pasa». Una tabla de resultados. Enlaces que encontró.

La guía de Anthropic presenta los resultados de las herramientas como la comprobación que el agente hace de sí mismo: «Durante la ejecución, es crucial que los agentes obtengan del entorno, en cada paso, una “verdad de referencia” (como los resultados de llamadas a herramientas o la ejecución de código) para evaluar su avance». Esa comprobación ocurre dentro del agente. Lo que te llega a ti es su relato de ella.

Qué revisar: que cada afirmación remita a una salida que puedas ver. Compara una cifra del resumen con la salida real. Abre uno de los enlaces.

3. Planificación: plan.md

Lo que suele entregarte: un plan, una especificación, una lista de tareas que el agente va marcando.

Ng es franco sobre este patrón en la parte 4:

«Por un lado, la planificación es una capacidad muy potente; por otro, produce resultados menos predecibles. En mi experiencia, aunque consigo que los patrones agénticos de reflexión y uso de herramientas funcionen de forma fiable y mejoren el rendimiento de mis aplicaciones, la planificación es una tecnología menos madura, y me cuesta predecir de antemano qué va a hacer».

También es optimista: «Pero el campo sigue avanzando rápido, y estoy seguro de que las capacidades de planificación mejorarán pronto».

Qué revisar: el plan antes de que se ejecute, con la revisión de cinco minutos: estructura, una afirmación, pasos irreversibles, diagramas, alcance. Si el agente reescribe el plan a mitad de camino, compáralo con la versión que aprobaste; si está en git, git diff plan.md muestra qué cambió. En MarsDawn, la pestaña Esquema muestra la estructura de un plan largo, y un plan reescrito se recarga sin que pierdas tu posición, siempre que no tengas cambios sin guardar.

4. Colaboración multiagente: varios archivos, varios autores

Lo que suele entregarte: una especificación de un agente, notas de implementación de otro, una revisión de un tercero, y resúmenes que pasan de uno a otro. A veces cada uno trabaja en su propia rama o worktree.

Qué revisar: los traspasos. Donde un agente resume el trabajo de otro, busca un requisito que no haya pasado. Busca dos archivos que se contradigan, y decide cuál manda antes de que alguien construya sobre el otro. En MarsDawn, abre la carpeta compartida con Archivo ▸ Abrir carpeta… (⇧⌘O): los archivos nuevos aparecen en la pestaña Archivos en un segundo aproximadamente, a medida que los agentes los escriben, y en una copia de trabajo de git el encabezado muestra la rama o el worktree, para que dos ventanas con el mismo nombre de archivo en ramas distintas no parezcan iguales. Cuando el resultado tiene que llegar a personas que no leen Markdown, Compartir PDF exportados cubre ese paso.

De un vistazo

Patrón (Ng)Lo que suele entregarte (deducción nuestra)Qué leer primero (sugerencia nuestra)
ReflexiónUn borrador revisado, quizá con una autoevaluaciónEl resultado frente a tu pedido; comprueba un «verificado»
Uso de herramientasUn informe de lo que se ejecutó y lo que obtuvoUna afirmación rastreada hasta la salida real
Planificaciónplan.md, una especificación, una lista de tareasLa revisión de cinco minutos, antes de ejecutar
Colaboración multiagenteVarios archivos de varios agentes, quizá en varias ramasLos traspasos, y qué archivo manda

Ninguno de los autores citados aquí menciona MarsDawn ni lo recomienda, ni a ninguna otra herramienta de Markdown. MarsDawn no incluye ningún modelo de IA: no sabe qué modelo produjo un archivo, y no hará estas comprobaciones por ti. Mantiene los archivos legibles mientras tú las haces.

Pruébalo

MarsDawn está en el Mac App Store. También existe la herramienta de línea de comandos gratuita marsdawn:

brew install redtear1115/tap/marsdawn

Exporta Markdown a PDF sin la app: consulta Markdown a PDF.

Línea de comandos · Antes de comprar, conviene saber: Lo que MarsDawn no hace

Para seguir leyendo

Fuentes