앤트로픽(Anthropic)에서 약 40만 건의 실제 클로드 코드(Claude Code) 세션에서 개인정보를 제외하고 분석한 흥미로운 연구 보고서를 발표했습니다. 결론부터 말하자면, 에이전트 협업의 성패를 가르는 건 화려한 프롬프팅 기술이나 코딩 역량이 아니라, 바로 현업의 ‘도메인 지식(Domain Expertise)‘과 ‘AI가 잘못 출력한 결과물을 바로 잡을 수 있는 역량’이었습니다. 가령 대용량 엑셀 매출 데이터를 분석하는 상황을 보면 초보와 고수의 차이가 극명하게 갈립니다. 초보자는 “매출 데이터 분석해서 인사이트 도출해줘"라고 프롬프트를 모호하고 두루뭉실하게 지시합니다. 이런 경우 AI는 누구나 아는 뻔한 월별 추이만 나열하거나 분석을 통해 몇가지 사실만 출력합니다. 대부분의 초보는 여기서 더 나아가지 않고 만족합니다. AI를 활용해서 역량을 레버리지 못하는 것이죠. 반면 비즈니스 맥락을 꿰뚫고 있는 고수는 아래와 같이 프롬프트를 작성하고 계속 업데이트하면서 AI에게 지시를 내립니다. 본인이 원하는 수준의 결과물이 나올 때까지 집요하게요. - 분석을 왜 하는지 배경을 충분하다 못해 과하게 설명 (회의록, 요청자의 이메일 전문 등) - 데이터에서 각각의 칼럼이 의미하는 바를 정확히 설명 (AI가 이해할 수 있게 설명하는 게 포인트) - 분석하는 과정에서 애매하거나 확인이 필요할 땐 반드시 물어보기 (중요한 건 속도가 아닌 정확도, 작은 요소를 분석해도 확실하게) - 한 번에 분석을 하지 말고 순차적 진행하면서 검증에 집중 (검증은 아무리 강조해고 지나치지 않음) 클로드에서 사용자의 프롬프트를 분석한 보고서에 따르면 사용자가 명확한 도메인 지식을 보여줄 때, AI 에이전트는 단 한 번의 지시로 2.4배 더 많은 행동(Actions)을 수행하고, 5배 더 풍부한 결과물을 스스로 만들어냈다고 합니다. 이는 내 지식의 한계와 비즈니스 이해도만큼 에이전트가 움직인다는 것을 의미합니다. 게다가 마케터나 재무 담당자 같은 비개발 직군이 에이전트로 기술적인 과제를 성공시킨 확률은 전문 소프트웨어 엔지니어와 고작 5-7%p 차이밖에 나지 않았다고 하네요. 구현(How)의 장벽은 AI가 다 깨부쉈고, 이제 무엇(What)을 해결할지 정의하는 기획력만 남은 것입니다. 시니어가 AI 에이전트 활용에 절대적으로 유리한 이유입니다. 주니어에게 필요한 건 시니어의 산출물을 기반으로 해당 도메인을 깊게 이해하기 위한 학습과 배우려는 의지입니다. 때문에 기술보다는 도메인 지식을 강화하는데 시간을 투자할 필요가 있습니다. 그리고 작은 일이라도 시니어 도움없이 본인이 스스로 해결하는 경험을 AI와 협업을 통해 여러번 해봐야 합니다. AI 에이전트는 아무것도 모르는 사람을 단숨에 전문가로 만들어주는 요술램프가 아닙니다. 중요한 건 AI 에이전트가 출력한 결과물을 실제 업무 현장에서 쓸 수 있는가 입니다. 아무리 화려한 결과물이라도 신뢰할 수 없으면 의미가 없고, 도메인 지식이 낮은 외부 컨설턴트가 만든 결과물이라면 볼 필요도 없습니다. 그러니 AI와 협업할 때는 맥락을 충분히 설명하고 결과를 철저히 검증하면서 산출물을 만들어야 합니다. AI한테 이것저것 시켜봤는데 결과물이 겉돌고 실망스러웠다면, 질문의 기술을 바꾸기 전에 내가 내 업무의 워크플로우와 본질을 얼마나 구체적인 문장으로 쪼개고 통제할 수 있는지부터 점검해보시기 바랍니다. 결국 이 명확한 문장을 다듬는 튜닝의 반복이 에이전트 시대의 진짜 경쟁력이 될 테니까요.

앤트로픽이 실제 Claude Code 사용 데이터 40만 건을 분석한 보고서를 내놨습니다. 에이전트와 협업할 때 성패를 가르는 요소를 추적한 결과입니다. 기술적 구현보다 도메인 지식이 결과물의 격차를 만들었습니다.

코딩 장벽을 무너뜨린 에이전트

비개발 직군이 에이전트로 기술적 과제를 해결한 성공률은 개발자와 단 5-7%p 차이에 불과했습니다. 구현이라는 장벽은 AI가 완전히 허물었습니다. 기획력이 전부입니다. 이제는 코딩 문법을 몰라도 비즈니스 문제만 명확히 정의하면 누구나 소프트웨어를 빌드합니다.

과거에는 데이터 파이프라인을 구축하려면 복잡한 문법 공부부터 해야 했습니다. 지금은 비즈니스 맥락을 명확히 정의하면 에이전트가 알아서 코드를 짜고 배포까지 마칩니다. 흐름이 빠릅니다. 도메인 전문가가 직접 개발을 지휘하는 구조로 빠르게 전환됩니다.

도메인 지식이 만드는 격차

사용자가 명확한 도메인 지식을 제시할 때 에이전트는 한 번의 지시로 2.4배 더 많은 행동을 수행했습니다. 결과물의 풍부함은 5배 로 늘어났습니다. 차이가 큽니다. 지식의 깊이가 에이전트의 한계를 결정합니다.

대용량 엑셀 매출 데이터를 분석하는 실제 업무 상황을 보면 초보와 고수의 차이가 극명합니다. 초보는 모호한 지시만 내리고 뻔한 월별 추이 결과에 쉽게 만족하지만 고수는 배경을 과할 정도로 설명합니다. 데이터 칼럼 하나하나가 의미하는 비즈니스적 가치를 명확히 짚어주는 식입니다. 원하는 수준이 나올 때까지 집요하게 검증을 요구하며 피드백을 주고받습니다.

검증과 통제력이 진짜 실력

에이전트가 출력한 결과물을 실제 업무에 적용 가능한지 판별하는 검증 능력이 진짜 경쟁력입니다. 아무리 화려한 코드를 짜내도 신뢰하지 못하면 무용지물입니다. 도메인 지식 이 없으면 에이전트의 오류를 잡아내지 못합니다. 외부 컨설턴트가 만든 그럴듯한 껍데기 결과물을 걸러내는 눈도 여기서 나옵니다.

경험 많은 시니어가 에이전트 활용에 절대적으로 유리한 이유도 여기에 있습니다. 주니어는 단순 코딩 기술 자체보다 도메인 지식을 강화하는 데 시간을 써야 합니다. 비즈니스 워크플로우를 구체적인 문장으로 쪼개고 완벽히 통제하는 훈련이 필요합니다. 질문을 던지는 기술을 바꾸기 전에 내 업무의 본질부터 제대로 파악해야 합니다.

에이전트는 아무것도 모르는 사람을 전문가로 만들어주는 요술램프가 아니라, 내가 아는 만큼만 움직이는 냉정한 거울입니다.

요약

  • 비개발자와 개발자의 에이전트 활용 성공률 격차는 5-7%p 수준으로 구현의 장벽이 거의 무너졌습니다.
  • 도메인 지식을 명확히 제시할 때 에이전트는 2.4배 더 많은 행동을 취하고 5배 더 풍부한 결과물을 도출합니다.
  • 에이전트 시대의 진짜 경쟁력은 화려한 프롬프트 기술이 아니라 결과물을 검증하고 통제하는 도메인 전문성입니다.