에이전트가 작업을 반복하도록 만들 때는 실행 조건과 결과 검증 기준을 먼저 정해야 합니다. 연결된 자료 세 곳은 서로 다른 층위를 다룹니다. LangChain의 글 은 루프의 단계를 설명합니다. loop-engineering 저장소 는 반복 작업의 운영 패턴을 제공합니다. gnomon 은 평가 루브릭을 실행 전에 확인하는 도구입니다.

네 가지 루프

LangChain은 모델이 도구를 호출하며 일을 마치는 에이전트 루프에서 시작합니다. 검증 루프는 결과를 루브릭으로 채점하고 실패하면 피드백과 함께 다시 실행합니다. 이벤트 기반 루프는 일정이나 웹훅으로 작업을 시작합니다. 마지막 힐 클라이밍 루프는 실행 흔적을 분석해 프롬프트, 도구와 채점 기준을 개선합니다.

네 번째 단계가 단순한 작업 재시도와 다른 점은 다음 실행의 설정을 바꾼다는 데 있습니다. 다만 자동 채점만으로 독자에게 맞는 설명인지, 민감한 동작을 허용할지까지 판단할 수는 없습니다. 원문도 단계마다 사람이 검토할 지점을 남겨 두라고 설명합니다.

처음에는 보고만 받기

loop-engineering 저장소는 작업 패턴을 고르고 루프의 준비 상태와 비용을 확인하는 CLI를 제공합니다. 현재 README의 시작 명령은 다음과 같습니다.

npx @cobusgreyling/loop init . --pattern daily-triage --tool claude
npx @cobusgreyling/loop doctor .
npx @cobusgreyling/loop cost --pattern daily-triage --level L1

저장소는 첫 주를 결과 보고만 하는 L1로 운영하라고 안내합니다. 검증 단계가 안정적으로 맞는지 확인한 뒤 보조 실행과 무인 실행으로 높입니다. 비용을 예상하고 최근 실행 결과를 살피는 일이 파일만 만들어 두는 것보다 중요합니다.

루브릭을 먼저 확인하기

gnomon은 작업 전에 평가 항목을 작성하고 검사합니다. 이 도구는 정량 평가 항목을 30% 이상, 페르소나 기반 LLM 평가 항목을 70% 이하로 제한합니다. 이 비율은 gnomon의 검증 규칙이지 모든 에이전트 평가에 적용되는 표준은 아닙니다.

각 도구를 함께 쓴다면 목표와 허용 범위를 정합니다. 루브릭을 검사한 뒤 먼저 보고 모드에서 실행 결과를 살펴볼 수 있습니다. 사람의 판단이 필요한 배포나 설정 변경은 별도 검토 단계를 둡니다.

요약

  • LangChain은 실행, 검증, 이벤트, 힐 클라이밍의 네 루프를 구분합니다.
  • loop-engineering은 보고 모드로 시작해 검증 결과를 본 뒤 자동화 수준을 높이라고 안내합니다.
  • gnomon의 평가 비율은 해당 도구의 규칙이며 실제 업무의 합격 기준은 별도로 정해야 합니다.