하네스를 수정해 성능을 높이는 접근

LLM 성능을 올리려고 모델을 매번 재학습하는 방식은 비용 부담이 큽니다. 구글이 공개한 RRSI 프레임워크는 모델 가중치를 고정한 채 주변 실행 환경을 다듬습니다. 하네스(harness)라 불리는 프롬프트, 제어 흐름, 도구, 메모리 관리 구성을 에이전트가 스스로 수정하도록 설계했습니다. 하네스 수정 범위를 제한하지 않는 대신 탐색 경로를 정규화하여 벤치마크 과적합을 막습니다.

제안과 선택을 제어하는 이중 정규화 구조

RRSI는 변경안을 도출하는 제안 단계와 검증된 수정만 반영하는 선택 단계로 나뉩니다. 제안 단계에서는 한 번에 바꾸는 요소 수를 단계적으로 줄이고, 수정 이력을 참조해 실패한 가설을 재시도하지 않습니다. 오랫동안 다루지 않은 컴포넌트 방향으로 탐색을 전환하기도 합니다.

선택 단계에서는 비평기(critic)가 도메인 로직을 사전 검증하고 평가 오차 범위를 넘어서는 실질적인 개선만 채택합니다. 늘어난 추론 토큰 비용 이상의 성능 향상을 검증하며, 기여도가 떨어지는 모듈은 다시 제거합니다. 이러한 이중 정규화를 거쳐 미학습(OOD) 평가 환경에서 기존 방식 대비 최대 22.9% 뛰어난 성과를 기록했습니다. 정책 토큰 소비량도 30% 이상 줄었습니다.

Git 워크트리로 관리하는 개방형 탐색

RRSI는 모든 하네스 변경 내역을 Git 시스템과 직접 연동해 관리합니다. 각 후보 하네스는 독립된 Git 워크트리(git worktree) 공간에서 검증을 받습니다. 평가를 통과한 변경만 브랜치에 반영되므로 최신 하네스는 언제나 명확한 커밋 상태를 유지합니다. 터미널 에이전트, 문서 작업, 엔지니어링 설계 등 도메인 어댑터만 교체하면 동일한 최적화 루프를 적용할 수 있습니다.

구글은 RRSI 연구 프레임워크를 아파치 2.0 라이선스로 GitHub에 공개했습니다. 에이전트 시스템을 효율적으로 운용하려는 개발팀에게 명확한 가이드를 제공합니다.

요약

  • 모델 가중치를 수정하지 않고 프롬프트, 도구, 제어 흐름 등 하네스 구성을 재귀적으로 최적화해 성능을 끌어올립니다.
  • 제안과 선택 단계의 이중 정규화를 통해 벤치마크 과적합을 방지하고 불필요한 토큰 비용을 절감합니다.
  • Git 워크트리 기반으로 모든 변경 이력과 후보 하네스를 격리·검증하여 운영 안정성을 확보합니다.