Cloudflare 위협 인텔리전 (새 탭에서 열림)
Cloudflare는 복잡한 ETL(추출, 변환, 적재) 파이프라인을 제거하고 SQLite 기반의 샤딩된 아키텍처를 활용하여 차세대 위협 인텔리전스 플랫폼(TIP)을 구축했습니다. 이 플랫폼은 전 세계 네트워크 엣지에서 GraphQL을 직접 실행함으로써 수백만 건의 위협 이벤트를 1초 미만의 지연 시간으로 쿼리하고 시각화할 수 있는 성능을 제공합니다. 이를 통해 보안 팀은 단순히 위협을 관찰하는 수준을 넘어, 위협 행위자와 멀웨어를 실시간으로 연결하고 Cloudflare 네트워크 전체에서 공격을 선제적으로 차단할 수 있는 통합된 방어 체계를 갖추게 되었습니다. ### 위협 인텔리전스 플랫폼의 필요성과 진화 Cloudforce One 팀이 공격자 인프라를 추적하기 위해 내부용으로 개발했던 도구가 이제 모든 사용자를 위한 클라우드 네이티브 위협 인텔리전스 플랫폼으로 발전했습니다. 단순히 데이터를 나열하는 것이 아니라 위협의 전체 생명주기를 매핑하여 공격자와 멀웨어, 케이스, 지표를 하나로 연결합니다. * **데이터의 유용성 확보:** 방대한 텔레메트리 데이터 속에서 실행 가능한 통찰력을 추출하여 보안 운영 센터(SOC)의 의사결정을 지원합니다. * **엣지 기반의 혁신:** Cloudflare Workers 환경을 활용하여 실시간으로 위협 이벤트를 그래프와 다이어그램으로 합성하며, 데이터 수집과 가용성 사이의 지연 시간을 완전히 제거했습니다. ### SIEM의 한계 극복과 지능형 강화 실시간 로그 집계와 알람에 최적화된 기존 SIEM과 달리, TIP는 공격자 패턴을 추적하기 위한 전용 스키마와 장기 보관 기능을 제공하여 보안 생태계를 보완합니다. * **상황 맥락 제공:** 단순한 IP나 해시 값을 넘어 해당 지표의 역사, 관련 위협 행위자, 캠페인 내 역할 및 위험 점수를 즉각적으로 제공하여 분석가의 수동 조사 시간을 단축합니다. * **선순환 피드백 루프:** 분석가가 발견한 새로운 침해 지표(IOC)를 플랫폼에 다시 입력하면 자동화된 방어 기능이 강화되어, 모든 사용자가 실시간으로 업데이트된 인텔리전스의 혜택을 누릴 수 있습니다. ### 병목 현상을 제거한 ETL-less 아키텍처 중앙 집중식 데이터베이스의 성능 한계를 극복하기 위해 SQLite 기반의 Durable Objects를 활용한 분산 샤딩 구조를 채택했습니다. * **고가용성 샤딩:** 위협 이벤트를 수천 개의 논리적 샤드(Durable Objects)로 분산 저장하여 쓰기 병목 현상을 방지하고 고성능 트랜잭션을 보장합니다. * **계층화된 저장소:** 고부하 공격 시 발생하는 데이터 스파이크를 Cloudflare Queues로 처리하며, 장기 데이터는 R2에 저장하고 즉각적인 조회가 필요한 인덱스는 Durable Object 내의 SQLite에 유지합니다. ### 엣지에서의 병렬 쿼리 실행 사용자가 GraphQL 엔드포인트를 통해 검색을 수행하면 플랫폼은 단일 테이블이 아닌 네트워크 전역에 분산된 여러 샤드에 쿼리를 동시에 전송(Fan-out)합니다. * **지연 시간 최소화:** Smart Placement 기술을 통해 쿼리를 처리하는 Worker를 데이터가 보관된 Durable Object와 물리적으로 가까운 곳에 배치하여 응답 속도를 극대화했습니다. * **권한 기반 필터링:** 쿼리 실행 전 사용자 권한과 날짜 기반 샤드 필터링을 거쳐 필요한 데이터만 병렬로 취합함으로써 효율적인 데이터 검색을 실현합니다. 보안 운영의 효율성을 높이기 위해서는 데이터의 양보다 그 데이터가 얼마나 빠르게 실행 가능한 정보로 전환되는지가 중요합니다. Cloudflare의 새로운 TIP는 인텔리전스를 별도의 분리된 데이터셋이 아닌 방어 체계의 일부로 통합함으로써, 보안 팀이 사후 대응 방식에서 벗어나 선제적이고 능동적인 방어 태세를 구축할 수 있도록 돕습니다.