[뉴스] 클라우드플레어, 광고 페이지 AI 크롤러 기본 차단 시작

클라우드플레어(Cloudflare)가 2026년 9월 15일부터 새로 온보딩하는 도메인에 대해 광고가 붙는 페이지에서 AI 크롤러를 기본 차단하기 시작했습니다. 지난 7월 1일 "Content Independence Day"라는 이름으로 예고했던 정책이 오늘부터 실제 기본값으로 적용됩니다. 검색 목적의 크롤러는 계속 허용되지만, 모델 학습과 에이전트 목적의 크롤러는 별도 설정이 없으면 막히는 구조입니다.

핵심은 클라우드플레어가 자동화 트래픽을 세 가지로 나눠 구분한다는 점입니다. 검색(Search)은 색인용으로 유입 트래픽을 되돌려주는 크롤러, 에이전트(Agent)는 ChatGPT나 클로드처럼 사용자를 대신해 실시간으로 페이지를 여는 크롤러, 학습(Training)은 모델 학습이나 미세조정을 위한 크롤러입니다. 여러 목적을 겸하는 크롤러, 예를 들어 검색과 학습을 함께 수행하는 구글봇 같은 경우에는 가장 엄격한 규칙이 적용됩니다. 학습이 막혀 있으면 그 크롤러 전체가 막히는 식이라고 보면 됩니다.

기존 고객의 설정은 그대로 유지됩니다. 오늘 바뀌는 기본값은 신규로 들어오는 도메인과 새로 만드는 사이트에 적용되고, 기존 사이트는 종전 설정을 이어갑니다. 대신 세 범주를 구분해 관리하는 제어 기능은 지금 모든 고객에게 열려 있어서, 보안 설정에서 규칙을 직접 조정하거나 9월 15일 전에 미리 기본값 적용을 거부할 수 있었습니다. robots.txt에 콘텐츠 신호(Content Signals)를 넣어 immediate, reference, full 같은 이용 수준을 명시하는 방법도 함께 제공합니다.

이게 왜 의미가 있는지 운영자 입장에서 짚어보면, 광고 수익으로 굴러가는 사이트에서 AI가 대신 요약해 보여주는 만큼 실제 방문이 줄고 광고 노출도 줄어든다는 문제의식이 깔려 있습니다. 클라우드플레어는 창작자가 보상을 받지 않는 한 크롤러를 기본 차단하는 쪽으로 방향을 잡았다고 밝혔습니다. 광고를 붙이는 사이트를 클라우드플레어 뒤에서 운영한다면, 새 도메인을 올릴 때 어떤 크롤러가 어떻게 처리되는지 존 설정에서 한 번 확인해볼 필요가 있습니다.

🔗 https://blog.cloudflare.com/content-independence-day-ai-options/