MarsDawn

Lilian Wengs Agenten-Bauplan von 2023 und die Datei, die jeder Teil hinterlässt

Im Juni 2023, damals bei OpenAI, veröffentlichte Lilian Weng auf ihrem Blog Lil’Log eine lange Umfrage: ein LLM-gestützter Agent als Gehirn (das Modell) plus drei Komponenten — Planung, Gedächtnis und Werkzeugnutzung. Es ist ein früh und breit zitiertes Gerüst dafür, woraus ein Agent besteht, und offen dazu, wo dieses Gerüst noch bricht.

Was der Beitrag argumentiert

Wengs Überblick setzt den Rahmen für den ganzen Text:

“In a LLM-powered autonomous agent system, LLM functions as the agent’s brain, complemented by several key components: Planning ... Memory ... Tool use”.

Planung umfasst bei ihr sowohl das Zerlegen einer Aufgabe in Teilziele als auch das Reflektieren über vergangene Aktionen, um künftige zu verbessern. Gedächtnis teilt sich in kurzfristig (Kontext, den das Modell gerade sieht — in-context) und langfristig (meist außerhalb des Modells, in einem durchsuchbaren Vector Store). Werkzeugnutzung lässt das Modell alles holen, was ein eingefrorener Gewichtssatz allein nicht liefern kann — aktuelle Informationen, Codeausführung, andere APIs. Gegen Ende, unter „Challenges“, benennt sie eine Grenze klar:

“LLMs struggle to adjust plans when faced with unexpected errors, making them less robust compared to humans who learn from trial and error.”

An anderer Stelle, in einer Fallstudie zum Chemie-Agenten ChemCrow, markiert sie ein engeres Problem: eine LLM-basierte Bewertung setzte ihn etwa gleich mit GPT-4, während menschliche Experten ChemCrow bei der Korrektheit weit besser fanden. Ihre Schlussfolgerung betrifft die Selbstbewertung, nicht speziell ihre „reflection“-Komponente:

“The lack of expertise may cause LLMs not knowing its flaws and thus cannot well judge the correctness of task results.”

Weng erwähnt MarsDawn in diesem Beitrag nirgends und empfiehlt kein Markdown-Werkzeug.

Unsere Lesart, nicht die von Weng

Weng beschreibt Agentenarchitektur 2023, nicht das Lesen von Agentenausgaben — sie erwähnt gar keine Person, die eine Datei prüft. Aber ihre drei Komponenten lassen sich auf drei verschiedene Dinge abbilden, die du zu lesen bekommst. Planung hinterlässt dir typischerweise ein Dokument vor dem Lauf — den Plan selbst, manchmal mit schon eingefalteter „reflection“ oder Selbstprüfung. Gedächtnis ist meist unsichtbar, es sei denn, der Agent führt eine laufende Scratch-Datei als Langzeitspeicher; dann lohnt es sich, sie für sich zu öffnen, weil sie eine alte, falsche Annahme über viele spätere Schritte tragen kann, ohne es zu sagen. Werkzeugnutzung hinterlässt eher einen Bericht darüber, was lief und was zurückkam — näher an einem Transkript als an einem Plan.

Ihr Punkt, dass Pläne sich unerwarteten Fehlern nicht anpassen, ist von deiner Seite gelesen ein Grund, warum ein gestern freigegebener Plan heute veraltet sein kann: ist zwischenzeitlich etwas passiert, das der Plan nicht vorsah, kann der Agent trotzdem weiterlaufen statt neu zu planen, und der Schlussbericht beschreibt den Erfolg des Originalplans, ohne den Umweg. Das ist unsere Folgerung, kein Anspruch von ihr — sie schreibt über die Robustheit des Modells, nicht darüber, worauf eine lesende Person achten soll.

Wo MarsDawn hilft und wo nicht

MarsDawn hat kein KI-Modell innen, kann also nicht sagen, ob ein Plan still vom Tatsächlichen abgewichen ist, und unterscheidet auch keine Planungs-, Gedächtnis- oder Werkzeugnutzungs-Datei — das ist eine Lesart des Inhalts, und die liegt bei dir. Was es tut: Der Tab Gliederung (Darstellung ▸ Seitenleiste einblenden, ⌃⌘S) zeigt die Form eines langen Plans auf einen Blick, Quelltext und gerenderte Vorschau stehen nebeneinander (⌘2) mit gezeichnetem Mermaid und KaTeX, und wenn der Agent die Datei mitten im Lesen umschreibt, lädt MarsDawn sie neu und behält deine Stelle, solange du keine eigenen ungesicherten Änderungen hast — nützlich gerade deshalb, weil ein still überarbeiteter Plan genau der Fehlermodus ist, den ihr Abschnitt „Challenges“ von der Modellseite beschreibt.

Ausprobieren

MarsDawn ist im Mac App Store erhältlich. Das kostenlose Befehlszeilenwerkzeug marsdawn funktioniert schon heute:

brew install redtear1115/tap/marsdawn

Es exportiert Markdown ohne die App als PDF.

Befehlszeile · Vor dem Kauf wissen: Was MarsDawn nicht kann

Weiter

Quellen