cloudflare2026년 7월 1일

AI 검색을 더 스마트하게 만들기 (새 탭에서 열림)

AI 검색의 확산으로 사용자는 원문 링크를 방문하지 않고 요약된 답변만 소비하게 되었으며, 기존의 “콘텐츠 제공과 방문자·수익의 교환” 구조가 흔들리고 있다. Cloudflare는 단순한 AI 크롤러 차단을 넘어, 더 효율적인 검색 크롤링과 콘텐츠 사용량에 따른 창작자 보상 체계를 구축해야 한다고 주장한다. 이를 위해 콘텐츠 최신성 신호를 활용한 검색 개선과 ‘크롤링당 지불’에서 ‘사용당 지불’로의 전환을 추진한다. ### AI 검색이 만든 기존 수익 모델의 위기 - 전통적으로 검색엔진은 웹사이트를 크롤링하고 방문자를 보내는 방식으로 콘텐츠 제공자와 상호 이익을 만들었다. - AI 검색·답변 엔진은 웹페이지를 읽고 직접 요약하므로 사용자가 원문 사이트를 방문할 필요가 줄어든다. - 2025년 Pew Research Center 조사에 따르면: - Google에 AI 요약이 표시되면 일반 검색 결과 링크 클릭률은 8%에 그쳤다. - AI 요약 안의 링크 클릭률은 1%에 불과했다. - 콘텐츠 제공자는 AI 검색을 차단하면 발견 가능성이 낮아지고, 허용하면 콘텐츠는 활용되지만 방문자와 수익은 줄어드는 선택을 강요받고 있다. ### 차단을 넘어선 새로운 인터넷 거래 구조 - Cloudflare는 투명성, 통제권, 책임 있는 봇 운영을 기본 원칙으로 제시한다. - 새로운 봇 관리 옵션을 통해 사이트 운영자는 어떤 봇이 접근하고 무엇을 할 수 있는지 제어할 수 있다. - 그러나 차단만으로는 콘텐츠 제작자를 지속적으로 지원할 수 없으므로 다음 두 가지가 필요하다고 본다. - AI 검색이 더 신선하고 품질 높은 콘텐츠를 찾도록 개선 - 콘텐츠가 실제 답변 생성에 사용된 가치에 따라 창작자에게 보상 ### 콘텐츠 최신성 신호로 AI 검색 개선 - Cloudflare는 전 세계 네트워크에서 얻는 신호를 활용하는 연구 프로그램을 시작한다. - 활용하려는 정보에는 다음이 포함된다. - 페이지가 실제로 변경되었는지 여부 - 콘텐츠의 최신성 - 사용자와 봇이 어떤 콘텐츠에 많이 접근하는지 - 사이트 운영자가 공유에 동의한 콘텐츠 신호 - 답변 엔진은 이 정보를 이용해 더 관련성 높고 최신인 콘텐츠를 우선 노출할 수 있다. - 사이트 운영자는 자신의 콘텐츠가 어떤 질문과 AI 결과에 연결되는지 파악할 수 있다. ### 불필요한 크롤링 감소 - Cloudflare 데이터에 따르면 정상적인 봇 크롤링 트래픽의 20% 이상이 변경되지 않은 페이지를 다시 가져오는 데 사용된다. - “이 페이지는 변경되지 않았다”는 신호를 제공하면 크롤러가 불필요한 재방문을 생략할 수 있다. - 이에 따라: - AI 기업의 컴퓨팅 비용이 감소한다. - 사이트 운영자의 서버 부하와 요청 처리 비용이 줄어든다. - 크롤링 규모가 커질수록 누적되는 낭비를 줄일 수 있다. - 이 프로그램은 특정 검색엔진에 종속되지 않으며, 공정하게 참여하는 모든 답변 엔진을 대상으로 한다. - 검색 목적에만 한정되고 콘텐츠 자체를 공유하거나 기초 모델 학습에 사용하는 방식은 아니다. - Cloudflare는 연구 결과와 사이트 운영자에게 발생한 효과를 공개하고, 이후 네트워크 전반에 기능을 확대할 계획이다. ### ‘크롤링당 지불’에서 ‘사용당 지불’로 - Cloudflare의 기존 Pay Per Crawl은 AI 기업이 콘텐츠를 크롤링할 때 게시자에게 비용을 지불하도록 하는 모델이었다. - 하지만 크롤링 횟수만으로는 콘텐츠의 실제 가치를 정확히 측정하기 어렵다. - 한 번 크롤링된 페이지가 수천 개 답변에 인용될 수 있다. - 여러 번 크롤링되어도 실제 검색 결과에는 한 번도 사용되지 않을 수 있다. - 이에 따라 Cloudflare는 콘텐츠가 실제 답변이나 검색 결과에 사용된 횟수에 기반해 보상하는 Pay Per Use 모델을 실험한다. - Ceramic.ai와 You.com 등 AI 기업과 협력하고 있으며, 각 기업의 결제 모델을 Cloudflare 네트워크의 콘텐츠 제공자에게 확장할 수 있도록 지원한다. - Ceramic.ai의 ‘쿼리당 지불’ 모델에서는 게시자가 동의할 경우 자신의 콘텐츠가 검색 결과에 표시될 때마다 보상받는다. - 이 방식은 단순한 봇 접근량이 아니라 콘텐츠가 이용자에게 제공한 실제 가치에 보상이 연결된다는 점에 의미가 있다. ### 실용적인 시사점 콘텐츠 운영자는 AI 봇을 일괄 차단하기보다 봇별 접근 권한과 보상 조건을 구분하는 전략을 검토할 필요가 있다. Cloudflare가 추진하는 최신성 신호와 사용량 기반 보상 모델이 확산되면, 콘텐츠의 발견 가능성을 유지하면서도 AI 검색으로 발생하는 가치 일부를 수익으로 회수할 수 있을 것으로 보인다.

web-crawlingcloudflarebot-managementai-search+2

cloudflare2026년 7월 1일

Attribution Business Insights로 크롤링의 실체 밝히기 (새 탭에서 열림)

웹사이트의 기존 검색엔진 생태계는 크롤링의 대가로 방문자를 보내는 구조였지만, AI 크롤러의 확산으로 이 균형이 무너지고 있다. AI 봇은 콘텐츠를 대량 수집하면서도 원 사이트로 유입되는 방문자는 거의 제공하지 않아, 게시자는 트래픽·수익·인프라 비용 측면에서 손해를 입을 수 있다. Cloudflare는 이를 판단할 수 있도록 봇별 활동과 크롤링 대비 추천 비율을 보여주는 **Attribution Business Insights** 대시보드를 공개했다. ## 검색엔진 시대에서 ‘제로 클릭’ 시대로 - 전통적인 검색엔진은 콘텐츠를 크롤링한 뒤 사용자에게 원문 페이지를 추천했다. - 게시자는 검색 유입을 통해 광고, 제휴, 구독 수익과 독자 관계를 확보할 수 있었다. - 검색엔진의 크롤링 횟수와 추천 방문자 수 사이에는 비교적 균형 잡힌 관계가 있었다. - 그러나 AI 챗봇은 원문을 수집해 답변을 직접 생성하면서 사용자를 원 사이트로 보내지 않는 ‘제로 클릭’ 환경을 만들고 있다. - 이에 따라 인터넷의 최적화 전략도 SEO에서 AEO(Answer Engine Optimization), GEO(Generative Engine Optimization) 중심으로 변화하고 있다. ## AI 크롤러의 불균형한 트래픽 - Cloudflare가 관찰한 주요 AI 크롤러의 크롤링 대비 추천 방문 비율은 약 **118:1에서 거의 50,000:1**까지 나타났다. - 일부 AI 크롤러는 방문자 한 명을 보내기 위해 콘텐츠를 수십만 번에 가깝게 요청할 수 있다. - 게시자는 두 가지 손실을 동시에 부담한다. - 광고 노출, 직접 방문, 독자 관계 등 수익으로 이어지는 트래픽 감소 - 상업적 가치가 불분명한 봇 요청을 처리하는 서버·대역폭 비용 증가 - 따라서 모든 크롤러를 허용해 노출을 기대하는 기존 전략은 더 이상 합리적이지 않을 수 있다. ## Attribution Business Insights 대시보드 - Cloudflare Bot Management 고객에게 제공되는 대시보드다. - 복잡한 로그 분석이나 수동 필터링 없이 사이트의 봇 트래픽을 사업 관점에서 파악하도록 설계됐다. - 주요 제공 정보는 다음과 같다. - 콘텐츠 페이지에 접근한 인간 사용자와 봇의 전체 트래픽 비교 - 사이트 전체 및 봇 운영자별 크롤링 대비 추천 방문 비율 - 24시간, 7일, 30일 단위의 비율 변화 - 트래픽 규모가 큰 봇 목록 - 봇의 국가, 사용 대역폭, 현재 허용·차단 상태 - 이를 통해 어떤 봇이 콘텐츠를 많이 사용하고 실제 방문자를 유도하는지 확인할 수 있다. ## 행동 기반 AI 크롤러 분류 Cloudflare는 AI 봇을 단순히 ‘AI 크롤러’로 묶지 않고 목적에 따라 분류한다. - **Training** - 차세대 대규모 언어 모델을 학습하기 위해 콘텐츠를 수집하는 크롤러 - **Search** - RAG(검색 증강 생성)에 사용할 데이터베이스를 갱신하는 크롤러 - **Agent** - 최종 사용자의 요청에 답하기 위해 에이전트형 상호작용에서 콘텐츠를 조회하는 크롤러 - 이러한 분류를 통해 게시자는 단순한 요청량뿐 아니라 콘텐츠가 어떤 용도로 사용되는지도 판단할 수 있다. ## 데이터에서 콘텐츠 비즈니스 전략으로 - 사이트 운영자는 보안 전문가가 아니더라도 대시보드의 요약 지표만으로 현재 콘텐츠 보안 정책의 효과를 점검할 수 있다. - 더 자세한 분석이 필요한 경우 봇 운영자별로 다음 정보를 비교할 수 있다. - 봇 유형 - 크롤링 대비 추천 비율 - 전체 요청량 - 현재 허용 또는 차단 정책 - 이 데이터는 AI 기업과의 협상이나 콘텐츠 라이선스 재검토에도 활용할 수 있다. - 예를 들어 특정 회사의 크롤링량이 다른 회사보다 20배 많거나, 이미 콘텐츠 사용료를 지급하는 회사가 있다면 이를 근거로 접근 정책과 계약 조건을 조정할 수 있다. - 핵심은 AI 트래픽을 일괄적으로 허용하거나 차단하는 것이 아니라, 실제 사업 가치와 비용을 기준으로 운영하는 것이다. ## 실용적인 적용 방향 게시자는 봇별 크롤링량, 추천 방문자, 대역폭 비용을 함께 비교해 허용·제한·차단 정책을 세워야 한다. 특히 Training, Search, Agent 목적을 구분하고, 유입 가치가 낮은 대량 크롤러에는 속도 제한이나 차단을 적용하며, 수익 또는 라이선스와 연결되는 봇에는 차별화된 접근 정책을 검토하는 것이 바람직하다.

web-crawlingllmragai-crawlers+4

cloudflare2026년 1월 30일

구글의 AI 우위: (새 탭에서 열림)

구글은 검색 시장의 독점적 지위를 이용해 검색 인덱싱용 크롤러로 생성형 AI를 위한 데이터를 함께 수집하며, 이는 발행자(Publisher)들에게 선택권 없는 데이터 제공을 강요하는 결과를 초래하고 있습니다. 영국의 경쟁시장청(CMA)은 구글을 '전략적 시장 지위(SMS)' 사업자로 지정하고 규제를 검토 중이나, 진정한 공정성을 확보하기 위해서는 검색용 크롤러와 AI 학습용 크롤러를 법적으로 분리해야 합니다. 이러한 크롤러 분리만이 발행자가 검색 노출은 유지하면서도 AI의 무단 데이터 사용을 거부할 수 있게 하여, 건강한 디지털 생태계와 공정한 AI 경쟁 환경을 조성할 수 있는 유일한 길입니다. ### 영국 CMA의 구글 시장 지배력 지정과 규제적 배경 * **디지털 시장 경쟁 체제 도입**: 영국은 2024년 디지털 시장, 경쟁 및 소비자법(DMCC)을 시행하며, 검색 및 검색 광고 분야에서 90% 이상의 점유율을 가진 구글을 '전략적 시장 지위(SMS)' 사업자로 지정했습니다. * **법적 구속력 있는 규제**: 이번 지정으로 인해 CMA는 구글의 AI 개요(AI Overviews) 및 AI 모드와 같은 검색 생태계 전반에 대해 법적 구속력이 있는 행동 요구사항을 부과할 수 있는 권한을 갖게 되었습니다. * **발행자 보호의 필요성**: CMA는 발행자들이 구글 검색의 시장 지배력 때문에 자신의 콘텐츠가 AI 서비스에 활용되는 것을 알고도 크롤링을 허용할 수밖에 없는 구조적 한계를 인식하기 시작했습니다. ### 발행자의 딜레마와 검색·AI 크롤링의 결합 문제 * **거부권의 부재**: 발행자들은 웹사이트 트래픽과 광고 수익의 핵심인 구글 검색 결과에서 제외되는 것을 감당할 수 없기에, 구글의 크롤러(Googlebot)를 차단하지 못하는 실정입니다. * **수익 모델의 붕괴**: 구글은 검색 크롤링을 통해 확보한 데이터를 AI Overviews 등에 활용하여 사용자에게 직접 답변을 제공하며, 이는 발행자 사이트로의 트래픽 유입을 급감시키고 광고 기반 비즈니스 모델을 위협합니다. * **불공정 경쟁 우위**: 구글은 검색봇을 통해 사실상 무료로 대규모 데이터를 확보하는 반면, 다른 AI 기업들은 발행자와 데이터 사용료를 협상해야 하는 불리한 위치에 놓여 시장 왜곡이 발생합니다. ### 클라우드플레어 데이터를 통해 본 구글의 압도적 우위 * **압도적인 크롤링 규모**: 클라우드플레어의 관측 데이터에 따르면, 구글봇은 GPTBot보다 약 1.76배, PerplexityBot보다는 무려 167배나 더 많은 고유 URL에 접근하고 있습니다. * **차단율의 현격한 차이**: 발행자들은 다른 AI 크롤러(ClaudeBot, GPTBot 등)는 적극적으로 차단하거나 robots.txt로 제한하는 반면, 검색 노출을 위해 구글봇에 대해서는 거의 차단을 설정하지 않습니다. * **네트워크 점유율**: 구글봇은 클라우드플레어 네트워크 내 관측된 고유 URL의 약 8%를 크롤링하고 있으며, 이는 다른 어떤 검색 엔진이나 AI 봇보다 월등히 높은 수치입니다. ### 크롤러 분리: 공정한 인터넷을 위한 실질적 대안 * **선택권의 보장**: 구글이 검색 인덱싱용 크롤러와 AI 학습/추론용 크롤러를 별도로 운영하도록 강제해야 합니다. 이를 통해 발행자는 검색 트래픽은 유지하면서 AI의 데이터 활용만 선택적으로 거부할 수 있습니다. * **데이터 시장의 정상화**: 크롤러가 분리되면 구글 또한 다른 AI 기업들과 마찬가지로 양질의 데이터를 확보하기 위해 발행자와 공정한 가치 산정 및 보상 협상에 임해야 할 유인이 생깁니다. * **기술적 규제 필요성**: 단순한 robots.txt 정책 준수를 넘어, 웹 응용 프로그램 방화벽(WAF) 등을 통해 발행자가 각 목적별 크롤러를 기술적으로 독립 제어할 수 있는 환경이 마련되어야 합니다. 구글의 검색 독점력이 AI 시장의 독점으로 전이되는 것을 막으려면, 규제 당국은 '검색 노출'을 볼모로 잡은 구글의 통합 크롤링 관행을 즉시 중단시켜야 합니다. 크롤러 분리는 발행자의 권익 보호와 더불어 AI 산업 전반의 공정한 경쟁을 가능케 하는 필수적인 안전장치입니다.

web-crawlinggen-aiagentic-aiweb-application-firewall+3