Claude Code 헤드 Boris Cherny의 프롬프트 한 장이 화제가 됐습니다. Claude 앱에서 Opus 5.5에게 Acquired 팟캐스트의 Home Depot 에피소드를 인터랙티브 아티팩트로 만들어 달라고 한 화면입니다. 눈에 띄는 문장은 이것입니다.

Make it really good, use lots of tokens and iterate till you’re proud of it.

Dylan Ko(고넥터) 는 이 가운데 “자부심(proud of)“이라는 표현에 주목했습니다. AI에게 자부심이 어떻게 해석되는지는 알 수 없지만 결과적으로 잘 먹힌다는 이야기입니다. 그동안은 평가 루브릭을 정교하게 설계해 넘기고 통과할 때까지 반복 개선하게 했는데, 루프 엔지니어링을 설정할 때 자부심으로 목표를 주는 쪽이 나은지 제대로 테스트해 봐야겠다고 덧붙였습니다.

이 글은 그 테스트를 실제로 돌려 볼 수 있게 비교 조건과 측정 항목을 정리한 것입니다.

비교할 세 가지 목표

  • A. 평가지표 통과까지 반복: 각 지표를 90% 이상 맞출 때까지 반복합니다.
    • AI-01 일치도: 전문가 판단과 AI 판단이 일치하는 비율
    • AI-02 일관성: 같은 입력을 여러 번 넣었을 때 같은 판단이 나오는 비율
    • AI-03 설명 적용성: AI가 낸 설명을 심사에 그대로 쓸 수 있는 비율
  • B. 한 줄 목표: “자부심을 느낄 때까지"만 줍니다.
  • C. A와 B를 함께: 평가지표와 자부심 한 줄을 같이 줍니다.

실험 조건

과제는 같은 요구사항 1건입니다. 예를 들어 지원 필요성 판정 화면 1개를 A, B, C 각각 새 세션에서 실행합니다. 모델과 입력 자료, 하네스 버전은 같게 두고 반복 상한은 10회로 묶습니다.

조건마다 3번씩 돌려 평균을 냅니다. 한 번 결과로는 운에 따라 달라질 수 있어서 판단하기 어렵습니다.

기록할 항목

  • 품질: AI-01부터 AI-03까지의 점수, 사람이 직접 고친 줄 수
  • 비용: 총 토큰 수, 소요 시간
  • 반복: 멈출 때까지 돈 횟수, 에이전트가 스스로 “완료"라고 판단한 시점

판단 기준은 단순합니다. 품질이 같으면 토큰을 적게 쓴 쪽을 고릅니다. 품질이 다르면 90%를 넘긴 쪽을 고릅니다. 결과는 조건 × 지표 표 하나로 정리해서 공유합니다.

요약

  • Boris Cherny의 프롬프트는 “iterate till you’re proud of it"으로 반복의 끝을 모델 판단에 맡깁니다.
  • 평가지표 통과(A), 자부심 한 줄(B), 둘을 함께 주는 방식(C)을 같은 과제와 조건에서 비교합니다.
  • 조건마다 3회씩 돌려 품질, 토큰, 반복 횟수를 재고, 품질이 같으면 토큰이 적은 쪽을 고릅니다.