AI 코딩 에이전트를 구성할 때 도구와 지시문을 촘촘히 설계하는 경향이 있습니다. 실행 환경이 복잡해질수록 코드 작성 정확도가 향상할 것이라는 기대 때문입니다. 현실은 다릅니다.

하네스 구조와 코드 작성 성능의 관계

산둥대와 UC버클리 연구진은 Claude Code, OpenCode, mini-SWE-agent 세 가지 하네스 환경을 비교 분석했습니다. 실험에는 Qwen3.6-35B-A3B, DeepSeek-V4-Flash 등 오픈웨이트 및 API 모델과 기준 모델인 Claude Opus 5가 활용되었습니다. 평가 기반으로는 사람이 1시간 이상 해결해야 하는 고난도 과제 45개를 포함한 SWE-bench Verified 492개 항목을 사용했습니다.

실험 결과 복잡한 하네스가 경량 환경보다 일관되게 뛰어난 성과를 내지는 못했습니다. 어려운 과제에서 하네스를 변경할 때 약 13%의 과제가 성공과 실패를 오갔으나 동일한 환경을 반복 테스트했을 때도 비슷한 변동이 관찰되었습니다. 성능 차이 상당수가 실행 과정에서 생기는 노이즈였습니다. 차이가 적습니다.

오히려 예외 처리 장치의 유무가 결과에 영향을 주었습니다. OpenCode 환경에서는 출력 Token 한도인 3만 2천 개에 다다랐을 때 코드 패치를 다 작성하기도 전에 실행이 끊기며 성적이 떨어졌습니다. 반면 Claude Code는 토큰 한도에 부딪히면 출력을 이어가도록 자동 요청하는 회복 기능을 갖춰 안정적이었습니다.

프롬프트 문맥량과 추론 비용 격차

정확도 차이는 미미했던 반면 추론 비용 차이는 크게 벌어졌습니다. 동일한 모델과 과제를 수행하더라도 하네스 선택에 따라 최대 3배까지 비용 차이가 발생했습니다. 초기 시스템 프롬프트와 도구 정의가 차지하는 고정 문맥량이 원인이었습니다.

Claude Code는 초기 고정 문맥으로 1만 개 이상의 토큰을 사용하는 반면 mini-SWE-agent는 800토큰 수준으로 작동합니다. 작업 단계가 늘어날수록 누적되는 입력 토큰 부담이 가중되어 비용 증가로 연결되었습니다. 격차가 큽니다.

다만 모든 모델에서 경량 하네스가 항상 저렴하지는 않았습니다. DeepSeek 모델을 적용했을 때는 mini-SWE-agent가 도구 호출 횟수를 더 많이 가져가면서 비용이 역전되는 예외 상황도 관찰되었습니다. 모델과 하네스 조합에 따른 정밀한 측정이 요구되는 지점입니다.

복잡한 시스템 프롬프트와 도구 정의를 정리하고 정기적인 측정으로 검증된 기능만 남기는 작업이 필요합니다. 경량화된 실행 환경이 에이전트 운용의 효율을 올립니다.

요약

  • 에이전트 하네스의 복잡도가 높다고 해서 코드 작성 정확도가 비례해서 향상하지 않으며 상당수 변동은 노이즈에 해당합니다.
  • 초기 고정 문맥량 차이로 인해 하네스에 따라 최대 3배의 추론 비용 격차가 발생하므로 시스템 프롬프트를 간소화해야 합니다.
  • 모델과 하네스의 조합에 따라 호출 빈도와 비용 구조가 달라지므로 실제 환경에서의 반복 측정을 통한 검증이 필수적입니다.