최근 등장하는 LLM 에이전트 하네스 도구들은 Goal 이라는 기능을 기본적으로 갖추고 있습니다. 사람이 매번 프롬프트를 입력하며 개입하는 구조에서 벗어나 에이전트 스스로 작업을 반복하도록 만들기 위함입니다. 루프 엔지니어링의 핵심인 목표 설정 방법을 정리했습니다.

프롬프트 입력에서 루프 설계로의 전환

에이전트가 목표에 도달할 때까지 작업을 반복하는 과정을 루프(loop) 라고 부릅니다. 기존에는 결과물이 마음에 들지 않으면 사람이 직접 프롬프트를 다시 입력하여 작업을 재개했습니다. 사람이 루프 내에 머무르는 HITL(human-in-the-loop) 방식이었습니다. 이제는 에이전트가 스스로 루프를 재개하도록 구조를 만들어야 합니다. 흐름이 바뀝니다. 개발자가 직접 프롬프트를 매번 작성하는 대신 루프를 제어하는 규칙을 설계하는 시대가 되었습니다.

검증 가능한 명확한 목표 설정

에이전트가 루프를 멈추는 시점을 판단하려면 목표가 명확해야 합니다. 머릿속의 추상적인 생각을 에이전트가 비교하기 쉽도록 지표로 전환하는 작업이 필요합니다. 예를 들어 특정 사이트의 디자인 모방을 요청할 때 컬러셋 일치율을 90% 이상으로 지정하는 식입니다. 비교하기 쉽습니다. 수치가 명확하면 에이전트는 검증 단계에서 기준 미달 시 자동으로 루프를 다시 실행합니다.

정성적인 업무 영역에서도 수치화할 수 있는 지표를 찾아내야 합니다. 맛집 추천 리스트를 기획할 때 회식하기 좋은 곳이라는 모호한 기준 대신 특정 키워드가 포함된 블로그 리뷰 10개 이상이라는 조건을 부여합니다. 효과적입니다. 이처럼 정성적 평가를 수치적 메트릭으로 변환하면 모호한 루프도 안정적으로 통제합니다.

검증관 페르소나와 최대 턴 제약

수치화하기 어려운 정성적 평가는 검증관 역할을 하는 서브에이전트를 활용하여 해결합니다. 본 작업을 수행하는 에이전트와 이를 검증하는 에이전트를 분리하는 worker-validator 패턴을 적용합니다. 작업을 수행한 LLM은 자신의 결과물을 긍정적으로 치우치게 평가하는 경향이 있습니다. 새로운 문맥에서 시작하는 검증관을 소환하면 객관적인 평가가 가능합니다. 효과가 좋습니다. 검증관에게 깐깐한 페르소나와 구체적인 조건을 부여하여 필터링 성능을 높입니다.

무한 루프에 빠져 토큰을 과소비하는 현상을 방지하려면 최대 턴 횟수를 반드시 지정해야 합니다. 검증 기준이 너무 엄격하면 에이전트가 작업을 끝내지 못하고 반복을 거듭합니다. 루프 시작 시점에 최대 작동 횟수를 제한하는 옵션을 추가하여 비용 낭비를 막아야 합니다. 필수적입니다. 최근 오픈소스 에이전트 하네스들은 이러한 제한 기능을 기본으로 제공합니다.

에이전트의 판단력을 높이는 일은 결국 정교한 루프 설계에 달려 있습니다. 우리는 이제 프롬프트를 쓰는 일보다 시스템의 동작 고리를 만드는 고민을 시작해야 합니다.

요약

  • 사람이 직접 개입하는 HITL 방식에서 탈피하여 에이전트가 스스로 루프를 재개할 수 있도록 시스템을 디자인해야 합니다.
  • 모호한 정성적 업무는 특정 키워드 출현 빈도 등 수치화할 수 있는 메트릭으로 변환하거나 별도의 검증관 에이전트를 두어 평가합니다.
  • 무한 루프와 토큰 과소비를 방지하기 위해 에이전트 작동 시 반드시 최대 턴 횟수를 지정하는 안전장치가 필요합니다.