기존 소프트웨어 개발에서는 입력과 출력이 명확해 기능 정의가 쉬웠습니다. 반면 AI 프로덕트는 같은 입력에도 매번 다른 답을 내놓아 개발팀을 당황하게 만듭니다. 결과의 범위를 정의하고 평가하는 새로운 기획 문서가 필요한 이유입니다.

결과의 범위를 규정하는 Eval Plan

AI PRD 는 단순히 동작을 정의하기보다 허용 가능한 답변 범위를 규정하고 검증하는 Eval Plan 수립을 명시해야 합니다. 테스트 케이스를 모은 스프레드시트 한 장으로 사용자가 입력할 질문과 기대 답변을 정의하며 시작합니다. 처음에는 20-30개 규모로 가볍게 검증 셋을 구축해 기준을 세웁니다.

검증 데이터가 쌓이면 규칙 기반 채점, LLM 판정단, 사람 검증을 피라미드 구조로 조합해 운영합니다. 단순한 글자 수나 금지어 필터링은 규칙 기반으로 빠르게 거릅니다. 맥락과 유용성 판단은 LLM 판정단을 거쳐 최종적으로 사람이 검증하도록 단계를 나눕니다.

프롬프트를 수정할 때 다른 기능이 망가지는 현상을 막으려면 회귀 테스트 가 필수입니다. 전체 Eval 셋을 주기적으로 실행해 점수 하락을 방지하는 시스템을 구축합니다. 이 과정이 없으면 잘 작동하던 기능이 예기치 않게 깨지는 수렁에 빠지기 쉽습니다.

AI PRD가 갖춰야 할 필수 요소

성공적인 AI 프로덕트 빌드를 위해 요구사항 정의서에 반드시 포함해야 할 명세가 있습니다. 단순한 기술 도입이 아닌 실제 사용자 문제를 푸는 기능 개요와 시스템 프롬프트 초안을 명시합니다. 오작동 기준을 명확히 하는 실패 정의와 출시 후 지표를 관찰하는 모니터링 계획으로 뼈대를 이룹니다.

비용 예측과 과금 방식도 기획 단계부터 정합성을 맞춰 설계합니다. API 호출량 기반 과금이나 비즈니스 성과 연동형 모델을 제품 설계와 연계합니다. 글로벌 CRM 기업처럼 가치 창출과 가격 정책을 정렬해 시장의 신뢰를 얻어야 합니다.

품질 기준과 리스크 제한 사항도 구체적인 수치로 기록합니다. 지원하는 언어의 범위나 허용하는 최대 지연 시간 같은 물리적 한계를 명확히 설정해야 엔지니어가 아키텍처를 설계하며 불확실성을 낮춥니다.

가격 모델과 제품 설계의 정합성

AI 프로덕트의 가격 전략은 단순한 비즈니스 모델을 넘어 제품 아키텍처 설계와 직결됩니다. 사용자가 입력을 보낼 때마다 토큰 비용이 실시간으로 발생하기에 기존 구독형 과금은 위험 부담이 큽니다. 사용량 기반 과금이나 성과 기반 과금을 혼합한 하이브리드 모델을 적극적으로 검토하는 것이 열쇠입니다.

성과 기반 과금을 선택했다면 무엇을 해결한 케이스로 정의할지 Eval Plan 에 미리 반영합니다. 비즈니스 지표와 성능 측정 기준이 한 방향으로 정렬되어야 개발팀이 최적화 목표를 잃지 않습니다.

AI PRD 는 단순한 기능 명세를 넘어 성능과 비용을 지속적으로 통제하겠다는 개발팀의 약속입니다. 정밀한 측정 설계가 제품의 생존을 결정합니다.

요약

  • AI PRD는 단일 동작의 정의가 아닌 허용 가능한 답변의 범위를 규정하는 문서여야 합니다.
  • 규칙 기반, LLM 판정단, 사람 검증을 피라미드 구조로 설계해 평가 비용을 통제해야 합니다.
  • 토큰 비용 발생으로 인해 가격 모델과 제품 설계, 성능 지표의 정합성을 기획 단계부터 맞춰야 합니다.