MarsDawn

Jess Ou 的评测流程，里面还留给你的那一步

2026 年 7 月，LangChain 在 Harrison Chase 2024 年那篇《What is an agent?》原本的网址上，发表了一篇新的《What is an AI agent?》——这次是 Jess Ou 写的，定义几乎和他当年那句一字不差。她这篇大部分在谈他那篇没谈到的东西：一整套自动评测代理的流程。她的文章很坦白地讲清楚，这套流程哪里还需要人，哪里已经不需要了。

这篇文章主张什么

Ou 的定义几乎就是 Chase 那句话的回声：

“An AI agent is a system that uses a large language model to decide the control flow of an application.”

（AI 代理是用大型语言模型来决定应用程序控制流程的系统。“控制流程”一样是指接下来要跑哪一步。）

接下来她描述了 LangChain 的 Agent Development Lifecycle：build、test、deploy、monitor 四个阶段，以及一套不靠人读每一次执行记录就能检查代理表现的分层做法：online evals 对正式流量的 trace（一次执行的记录）取样，抓退步；offline evals 跑在整理好的数据集上，在变更上线前先抓出问题；“LLM-as-a-judge”则是用一个人事先定好的标准，去替一次执行的输出打分数，而且规模是人工审阅做不到的。她也直接讲清楚人在这套流程里还该站在哪里：

“For sensitive or irreversible actions, we recommend human-in-the-loop controls that pause the agent for approval, edits, rejection, or clarification.”

（对于敏感或不可逆的动作，我们建议用 human-in-the-loop 的控制机制，暂停代理，等待核准、修改、拒绝或澄清。）

她也有一句话讲的是不管流程多完善都省不掉的判断：“Do not outsource judgment you cannot evaluate. If you wouldn't recognize a correct answer, neither will the agent.”（无法评估的判断，就不要外包出去。如果你自己认不出正确答案，代理也认不出来。）《五分钟审完一份代理计划》已经拿这句话建过讨论，这篇不重复。Ou 在这篇文章里完全没有提到 MarsDawn，也没有推荐任何 Markdown 工具。她也从来没提过 Chase 这个人；把这两篇文章连在一起的，是 LangChain 在 2026 年把她这篇发表在 Chase 2024 年那篇文章原本的网址上，而且定义几乎一模一样——这是我们自己的观察，不是她的主张。

以下是我们的解读，不是 Ou 的

Ou 讲的 human-in-the-loop，是在特定动作执行前先拦下来——暂停一个 write 动作、等人核准，跟 Chip Huyen 那个 read-only／write action 的分法，其实是同一件事的不同角度——不是读一份已经完成的报告。仔细看她整套流程，大部分设计是要把人从例行检查里拿掉，而不是加进去：online evals、offline evals 和 LLM-as-a-judge，存在的目的就是让团队不用手动看每一次的执行记录。这不是在批评这篇文章——这本来就是她讲明的目标，在正式营运的规模下也很合理。但这代表你亲自动手做的审阅——直接读一份代理交给你的计划或报告——正好就是她这套流程想要减少、而不是取代的那种检查。她自己那句判断的话，替这种减少画了一条底线：你自己读了都认不出对错的地方，还是得自己读过。

MarsDawn 帮得上、帮不上的地方

MarsDawn 不是评测流程，里面也没有 AI 模型——它不会替一次执行记录打分数，不会跑 LLM-as-a-judge，也不会替你决定哪些动作敏感到要先暂停。它做的，正是她这套流程还留给人的那个时刻：直接把东西读过一遍。侧边栏（“显示 ▸ 显示边栏”，⌃⌘S）的“大纲”标签页列出一份长报告的所有标题；源代码和排好的预览并排（⌘2），Mermaid 和 KaTeX 都直接画出来；“编辑 ▸ 拷贝引用”（⌥⌘C）搭配“拷贝给 AI”（⌃⌥⌘C），让你把一次抽查变成代理看得懂、改得动的反馈。

试试看

MarsDawn 已在 Mac App Store 上架。免费的 marsdawn 命令行工具现在就能用：

brew install redtear1115/tap/marsdawn

它不需要 app 就能把 Markdown 导出成 PDF。

命令行工具 · 买之前先看：MarsDawn 做不到的事

接下来

资料来源