MarsDawn

Jess Ou 的評測流程，裡面還留給你的那一步

2026 年 7 月，LangChain 在 Harrison Chase 2024 年那篇〈What is an agent?〉原本的網址上，發表了一篇新的〈What is an AI agent?〉——這次是 Jess Ou 寫的，定義幾乎和他當年那句一字不差。她這篇大部分在談他那篇沒談到的東西：一整套自動評測 agent 的流程。她的文章很坦白地講清楚，這套流程哪裡還需要人，哪裡已經不需要了。

這篇文章主張什麼

Ou 的定義幾乎就是 Chase 那句話的迴聲：

“An AI agent is a system that uses a large language model to decide the control flow of an application.”

（AI agent 是用大型語言模型來決定應用程式控制流程的系統。「控制流程」一樣是指接下來要跑哪一步。）

接下來她描述了 LangChain 的 Agent Development Lifecycle：build、test、deploy、monitor 四個階段，以及一套不靠人讀每一次執行紀錄就能檢查 agent 表現的分層做法：online evals 對正式流量的 trace（一次執行的紀錄）取樣，抓退步；offline evals 跑在整理好的資料集上，在變更上線前先抓出問題；「LLM-as-a-judge」則是用一個人事先定好的標準，去替一次執行的輸出打分數，而且規模是人工審閱做不到的。她也直接講清楚人在這套流程裡還該站在哪裡：

“For sensitive or irreversible actions, we recommend human-in-the-loop controls that pause the agent for approval, edits, rejection, or clarification.”

（對於敏感或不可逆的動作，我們建議用 human-in-the-loop 的控制機制，暫停 agent，等待核准、修改、拒絕或澄清。）

她也有一句話講的是不管流程多完善都省不掉的判斷：「Do not outsource judgment you cannot evaluate. If you wouldn't recognize a correct answer, neither will the agent.」（無法評估的判斷，就不要外包出去。如果你自己認不出正確答案，agent 也認不出來。）〈五分鐘審完一份 agent 計畫〉已經拿這句話建過討論，這篇不重複。Ou 在這篇文章裡完全沒有提到 MarsDawn，也沒有推薦任何 Markdown 工具。她也從來沒提過 Chase 這個人；把這兩篇文章連在一起的，是 LangChain 在 2026 年把她這篇發表在 Chase 2024 年那篇文章原本的網址上，而且定義幾乎一模一樣——這是我們自己的觀察，不是她的主張。

以下是我們的解讀，不是 Ou 的

Ou 講的 human-in-the-loop，是在特定動作執行前先攔下來——暫停一個 write 動作、等人核准，跟 Chip Huyen 那個 read-only／write action 的分法，其實是同一件事的不同角度——不是讀一份已經完成的報告。仔細看她整套流程，大部分設計是要把人從例行檢查裡拿掉，而不是加進去：online evals、offline evals 和 LLM-as-a-judge，存在的目的就是讓團隊不用手動看每一次的執行紀錄。這不是在批評這篇文章——這本來就是她講明的目標，在正式營運的規模下也很合理。但這代表你親自動手做的審閱——直接讀一份 agent 交給你的計畫或報告——正好就是她這套流程想要減少、而不是取代的那種檢查。她自己那句判斷的話，替這種減少畫了一條底線：你自己讀了都認不出對錯的地方，還是得自己讀過。

MarsDawn 幫得上、幫不上的地方

MarsDawn 不是評測流程，裡面也沒有 AI 模型——它不會替一次執行紀錄打分數，不會跑 LLM-as-a-judge，也不會替你決定哪些動作敏感到要先暫停。它做的，正是她這套流程還留給人的那個時刻：直接把東西讀過一遍。側邊欄（「顯示方式 ▸ 顯示側邊欄」，⌃⌘S）的「大綱」分頁列出一份長報告的所有標題；原始碼和排好的預覽並排（⌘2），Mermaid 和 KaTeX 都直接畫出來；「編輯 ▸ 拷貝引用」（⌥⌘C）搭配「拷貝給 AI」（⌃⌥⌘C），讓你把一次抽查變成 agent 看得懂、改得動的回饋。

試試看

MarsDawn 已在 Mac App Store 上架。免費的 marsdawn 命令列工具現在就能用：

brew install redtear1115/tap/marsdawn

它不需要 app 就能把 Markdown 輸出成 PDF。

命令列工具 · 買之前先看：MarsDawn 做不到的事

接下來

資料來源