가상 사용자로 AI 제품을 시험하면 서로 다른 배경의 사람이 어떤 반응을 보일지 탐색할 수 있습니다. MatrAIx 논문 은 1,290개 범주형 속성으로 표현한 83억 개의 페르소나 레코드와 이를 평가에 사용하는 인프라를 소개합니다. 83억 명을 상시 실행하거나 전부 공개했다는 뜻은 아닙니다.

공개 데이터와 실행 규모 구분하기

공식 저장소 는 품질 필터를 거친 약 100만 개 페르소나 코어셋의 공개를 안내합니다. 논문에 따르면 이 가운데 약 60만 개는 사람 작성 프로필을 바탕으로 하고 40만 개는 합성 레코드입니다. 저장소 이름의 Persona-8B는 8B 파라미터 모델이 공개됐다는 의미로 해석하면 안 됩니다. 실제 페르소나 실행에는 별도의 모델 API 키가 필요합니다.

평가 환경은 설문, AI 챗봇, 웹, 앱 네 가지입니다. 연구진은 25개 이상 분야의 1,010개 과제를 마련하고 대표 과제 8개에서 18,189회 평가를 수행했다고 보고합니다. 제품과 질문에 맞는 페르소나 표본을 뽑아 응답과 행동 경로를 비교하는 방식입니다.

91.5%가 뜻하는 범위

논문의 91.5%는 실제 고객 행동 예측 정확도가 아닙니다. 네 환경에 걸친 400회 통제 실험 중 366회에서 지정한 행동 속성이 드러나거나 적절히 억제됐다는 결과입니다. 이 수치로 가격 변경 후 이탈률이나 시장 반응을 바로 예측할 수는 없습니다.

MatrAIx는 가설을 탐색하고 제품을 스트레스 테스트하는 도구입니다. 연구진도 시뮬레이션이 실제 사람에게서 얻은 증거를 대체하지 않는다고 설명합니다. 시뮬레이션에서 발견한 차이는 사용자 조사와 운영 데이터로 다시 확인해야 합니다.

요약

  • 설계 규모는 83억 페르소나 레코드이고 공개된 코어셋은 약 100만 개입니다.
  • 설문·챗봇·웹·앱 환경에서 다양한 사용자의 반응을 시험합니다.
  • 91.5%는 지정 행동의 준수율을 측정한 통제 실험 결과이며 시장 예측 성능을 뜻하지 않습니다.