MarsDawn

El pipeline de evals de Jess Ou, y el paso que sigue siendo tuyo

En julio de 2026, LangChain publicó un nuevo «What is an AI agent?» en la dirección donde estaba el post de 2024 de Harrison Chase «What is an agent?» — este escrito por Jess Ou, con una definición casi palabra por palabra la suya. La mayor parte de su post trata algo que el de él no cubría: todo un pipeline para evaluar agentes automáticamente. Su texto es sincero sobre dónde ese pipeline todavía necesita a una persona — y dónde no.

Lo que sostiene el post

La definición de Ou hace eco de cerca de la de Chase:

“An AI agent is a system that uses a large language model to decide the control flow of an application.”

Control flow, otra vez, solo significa qué paso corre a continuación. Desde ahí describe el Agent Development Lifecycle de LangChain — build, test, deploy, monitor — y un enfoque por capas para comprobar el trabajo de un agente sin que una persona lea cada ejecución: las evals online muestrean traces de producción (registros de ejecuciones reales) buscando regresiones, las evals offline corren contra conjuntos curados para pillar un mal cambio antes de publicarlo, y «LLM-as-a-judge» puntúa la salida de una ejecución según criterios que una persona definió de antemano, a una escala que la revisión manual no alcanza. Es directa sobre dónde sigue cabiendo una persona en ese pipeline:

“For sensitive or irreversible actions, we recommend human-in-the-loop controls that pause the agent for approval, edits, rejection, or clarification.”

También tiene una frase sobre el juicio que no se escala aunque el pipeline mejore: «Do not outsource judgment you cannot evaluate. If you wouldn’t recognize a correct answer, neither will the agent.» /reviewing-agent-plans/ ya se apoya en exactamente esa frase — esta nota no repite esa discusión. Ou no menciona MarsDawn en ningún sitio y no recomienda ninguna herramienta Markdown. Tampoco nombra a Chase; lo que une los dos posts es que LangChain publicó el suyo en 2026 en la dirección que ocupaba el de 2024, con una definición casi idéntica — una observación nuestra, no suya.

Nuestra lectura, no la de Ou

La línea human-in-the-loop de Ou habla de frenar acciones concretas antes de que corran — pausar una write action para aprobación, la misma idea que la división read-only/write de Chip Huyen apunta desde otro ángulo — no de una persona leyendo un informe terminado a posteriori. Leída con cuidado, la mayor parte de su pipeline está hecha para sacar a una persona de la comprobación rutinaria, no para meterla: las evals online y offline y el LLM-as-a-judge existen precisamente para que un equipo no tenga que revisar a mano cada trace. Eso no es una crítica del texto — es su objetivo declarado, y uno razonable a escala de producción. Pero significa que la revisión que haces a mano — leer un plan o un informe que un agente te entrega directamente — es exactamente el tipo de comprobación que su pipeline está construido para reducir, no reemplazar. Su propia frase sobre el juicio pone un suelo bajo esa reducción: allí donde tú personalmente no puedes distinguir una respuesta correcta de una incorrecta, todavía tienes que leerlo tú.

Dónde ayuda MarsDawn y dónde no

MarsDawn no es un pipeline de evals y no tiene ningún modelo de IA dentro — no puntuarás un trace, no lanzará un pase LLM-as-a-judge ni decidirá qué acciones son lo bastante sensibles para pausarlas. Está hecho para el momento que su pipeline todavía entrega a una persona: leer la cosa directamente. La pestaña Esquema (Visualización ▸ Mostrar barra lateral, ⌃⌘S) lista los encabezados de un informe largo, el código y la vista previa renderizada van lado a lado (⌘2) con Mermaid y KaTeX dibujados, y Edición ▸ Copiar referencia (⌥⌘C) con Copiar para IA (⌃⌥⌘C) convierten una revisión puntual en feedback preciso con el que el agente puede actuar.

Probarlo

MarsDawn está en el Mac App Store. La herramienta de línea de comandos gratuita marsdawn ya funciona hoy:

brew install redtear1115/tap/marsdawn

Exporta Markdown a PDF sin la app.

Línea de comandos · Antes de comprar: Lo que MarsDawn no hace

Siguiente

Fuentes