MarsDawn

Anthropic은 에이전트가 투명해야 한다고 말합니다. 그럼 펼쳐 놓은 것은 누가 읽을까요?

2024년 12월 Anthropic은 AI 에이전트를 만드는 사람들을 위한 가이드 “Building Effective Agents”를 발표했습니다. 요약에는 세 가지 원칙이 나오고, 그중 하나가 투명성입니다. 이 글은 그 원칙의 반대편 끝에 관한 이야기입니다. 에이전트가 단계를 펼쳐 놓으면, 누군가는 그것을 읽어야 합니다.

투명성은 에이전트가 하는 일이고, 읽기는 여러분이 하는 일입니다. Anthropic은 만드는 사람들에게 에이전트의 계획 단계를 보여 달라고 합니다. 코딩 에이전트를 부리는 대부분의 사람에게 그 단계는 누군가 적절한 순간에 읽어야 하는 Markdown 파일로 도착합니다.

가이드가 말하는 것

Erik S.와 Barry Zhang은 조언을 이렇게 요약합니다.

“에이전트를 구현할 때 우리는 세 가지 핵심 원칙을 따르려고 한다. 에이전트의 설계를 단순하게 유지하라. 에이전트의 계획 단계를 명시적으로 보여 줌으로써 투명성을 우선하라. 철저한 도구 문서화와 테스트를 통해 에이전트와 컴퓨터 사이의 인터페이스(ACI)를 신중하게 설계하라.”

이는 에이전트를 만드는 사람을 위한 설계 원칙이지, 에이전트를 쓰는 사람을 위한 지침이 아닙니다. 원칙은 단계를 보여 달라고 요구할 뿐, 누가 읽는지는 말하지 않습니다.

같은 글은 에이전트가 작업을 받은 뒤 하는 일을 이렇게 설명합니다. “작업이 명확해지면 에이전트는 독립적으로 계획하고 실행하며, 추가 정보나 판단이 필요할 경우 사람에게 돌아올 수도 있다.” 그리고 “그러면 에이전트는 체크포인트에서 또는 장애물을 만났을 때 사람의 피드백을 받기 위해 멈출 수 있다.” 수도 있다와 수 있다라는 표현을 보세요. 체크포인트는 에이전트가 반드시 가져야 하는 것이 아니라 가질 수 있는 것으로 설명됩니다.

확인의 대부분은 여러분이 하지 않습니다

이 부분은 과장하기 쉬우니, 가이드가 실제로 무엇을 앞세우는지 보겠습니다. 에이전트는 바깥 세계에 비추어 스스로를 확인합니다. “실행 중에는 에이전트가 진행 상황을 평가하기 위해 각 단계에서 환경으로부터 ‘실측 정보(ground truth)’(도구 호출 결과나 코드 실행 결과 등)를 얻는 것이 매우 중요하다.” 이 문장에서 실측 정보란 테스트 결과와 도구 출력이지, 사람이 아닙니다.

가이드는 위험에 대해서도 직설적입니다. “에이전트의 자율적인 특성은 더 높은 비용과 오류가 누적될 가능성을 뜻한다.” 그에 대한 답은 샌드박스 환경에서의 광범위한 테스트와 안전장치입니다. “더 꼼꼼히 읽으라”고는 하지 않습니다.

사람은 뒤쪽, 코딩 에이전트에 관한 부록에서 등장합니다. “하지만 자동화된 테스트가 기능 검증을 돕는다 해도, 해결책이 더 넓은 시스템 요구 사항에 부합하는지 확인하려면 사람의 검토가 여전히 매우 중요하다.” 이 문장은 코드에 관한 것입니다. 하지만 이 문장이 가리키는 빈틈은 어떤 에이전트에서든 익숙합니다. 테스트는 무언가가 동작한다는 것을 알려 줄 수는 있어도, 그것이 여러분이 의도한 것인지는 알려 주지 못합니다.

단계는 어디로 가는가

여기서부터는 Anthropic이 아니라 우리의 해석입니다.

코딩 에이전트를 매일 쓴다면, 에이전트의 계획 단계는 대개 대시보드에 나타나지 않습니다. 파일로 나타납니다. plan.md, 체크박스가 달린 작업 목록, 에이전트가 계속 고쳐 쓰는 진행 파일, 마지막의 요약. 여러분 쪽에서 투명성이란 읽을 것이 늘어난다는 뜻입니다.

단계를 보여 주는 것은 에이전트의 몫입니다. 나머지 절반은 중요한 순간에 그것을 읽는 사람입니다. 마이그레이션이 실행되기 전, 브랜치가 병합되기 전, ‘완료’를 받아들이기 전. 아무도 열어 보지 않는 600줄짜리 파일에 모든 것을 펼쳐 놓는 에이전트는 서류상으로는 투명하지만 실제로는 감독받지 않는 셈입니다.

Harrison Chase도 2024년에 비슷한 이야기를 했습니다. 문서가 아니라 에이전트 프레임워크가 어떻게 동작해야 하는지에 관한 글이었습니다. “정확히 어떤 단계를 밟을지 미리 알 수 없을 수 있으므로, 내부에서 무슨 일이 일어나는지 관찰할 수 있기를 원하게 될 것이다.” 그는 에이전트를 만드는 사람을 위한 도구를 말하고 있었습니다. 에이전트를 부리는 사람이 여러분이라면, 에이전트가 계속 써 나가는 평범한 파일이 여러분이 지켜볼 수 있는 부분인 경우가 많습니다.

이 저자들 중 누구도 MarsDawn을 언급하지 않으며, MarsDawn이나 다른 Markdown 도구를 추천하지도 않습니다.

그 읽기가 보기보다 어려운 이유

파일은 길고, 중요한 내용은 위쪽에 있는 경우가 드뭅니다. 변경 사항을 설명하는 다이어그램은 그림이 아니라 Mermaid 소스입니다(그려진 모습을 보는 방법은 Mac에서 Markdown 파일을 보는 방법에 있습니다). 여러분이 절반쯤 읽는 동안 에이전트가 파일을 고쳐 쓸 수도 있습니다. 파일이 하나가 아닌 경우가 많고, 때로는 서로 다른 브랜치나 워크트리에 있습니다. 그리고 문제를 발견해도 “캐시 부분이 좀 이상해”라고 하면 에이전트는 짐작할 수밖에 없습니다. 더 자세한 내용은 에이전트가 돌려준 결과 읽기에 있습니다.

MarsDawn이 맞는 곳과 맞지 않는 곳

MarsDawn은 이 읽기를 위한 Mac 앱입니다. 에이전트를 더 투명하게 만들지는 않으며, 안에 AI 모델도 없습니다. 계획을 요약하거나 맞는지 알려 주지 않습니다. 하는 일은 다음과 같습니다.

읽는 것은 여전히 여러분입니다. MarsDawn은 그동안 길고 계속 바뀌는 파일을 읽기 좋게 유지합니다.

사용해 보기

MarsDawn은 Mac App Store에 있습니다. 무료 marsdawn 명령줄 도구도 있습니다.

brew install redtear1115/tap/marsdawn

앱 없이 Markdown을 PDF로 내보냅니다.

명령줄 · 구입 전에 알아 두세요: MarsDawn이 하지 않는 일

다음

출처