검색 창에 파란 링크가 나열되던 시절은 지나갔습니다. 인공지능이 웹 페이지를 대신 읽고 요약해 답변을 내놓는 시대입니다. 흐름이 바뀌었습니다. 이제 사용자는 사이트를 직접 방문하기보다 인공지능의 요약본과 인용 출처를 소비합니다.

검색 노출의 새로운 문법 AEO와 GEO

개발자는 AEO로 직접 답변 엔진을 겨냥하고 GEO로 생성형 모델 참조를 유도합니다. 원리는 같습니다. 구글은 기존 검색 순위 시스템을 활용해 AI Overviews 출처를 결정합니다. 다른 플랫폼도 자체 웹 인덱스 데이터를 기반으로 답변을 작성하므로 검색 엔진 인프라 장악이 먼저입니다.

크롤러 진입을 허용하는 최적화 기본기

웹 페이지가 일반 검색 결과에 노출되지 않으면 인공지능 답변에도 들어가지 못합니다. robots.txt 파일에서 크롤러를 막거나 자바스크립트 렌더링이 무거우면 인용 목록에서 제외됩니다. 기본이 먼저입니다. 구글 서치 콘솔의 URL 검사 도구로 렌더링된 HTML 소스를 직접 확인하고 서버 사이드 렌더링으로 전환해야 안전합니다.

수집 목적에 맞춘 robots 설정 분리

인공지능 모델 학습을 막으면서 검색 인용을 허용하려면 robots.txt 설정을 분리해야 합니다. OAI-SearchBot이나 Claude-SearchBot 같은 검색 인덱서는 열어두고 GPTBot이나 ClaudeBot 같은 학습용 크롤러는 차단합니다. 구분이 필수입니다. 403 에러나 리다이렉트를 유발하는 방화벽 설정을 피하고 공식 IP 대역을 검증하는 작업이 확실합니다.

터미널 명령어로 수행하는 크롤러 검증

봇 에이전트를 가장한 curl 명령어 테스트로 차단 여부를 빠르게 식별합니다. 구글봇이나 오픈AI 검색봇의 User-Agent 헤더를 사용해 200 OK 응답이 반환되는지 확인합니다. 검증이 핵심입니다. 다만 봇 운영사들이 에이전트 위조를 막으므로 역방향 DNS나 공개된 IP 대역 조회가 최종 단계입니다.

페이지는 이제 목적지가 아니라 인공지능이 읽는 소스입니다. 대비가 필요합니다.

요약

  • AEO는 직접 답변 엔진을, GEO는 생성형 모델의 문장 재구성을 타겟팅하며 둘 다 기존 검색 엔진 최적화(SEO)에 기반합니다.
  • 일반 검색 결과에 노출되지 않거나 무거운 자바스크립트로 렌더링이 막히면 인공지능 답변 인용에서 제외됩니다.
  • robots.txt 설정으로 GPTBot 같은 학습용 크롤러는 차단하고 OAI-SearchBot 같은 검색 인덱서는 허용해야 합니다.