cloudflare2026년 4월 17일

에이전트 위크: 네트워크 성능 업데이트 (새 탭에서 열림)

Cloudflare는 전 세계 상위 1,000개 네트워크 중 60%에서 가장 빠른 성능을 기록하며, 기존 40%였던 점유율을 단기간에 대폭 끌어올리는 성과를 거두었습니다. 이러한 성장은 물리적인 네트워크 거점 확장뿐만 아니라 HTTP/3 도입과 같은 소프트웨어 최적화 및 효율적인 연결 처리 방식을 통해 달성되었습니다. Cloudflare는 모든 네트워크에서 1위를 차지하는 것을 목표로 기술 혁신을 지속하여 전 세계 사용자들에게 최상의 웹 경험을 제공하고 있습니다. ### 네트워크 성능 측정 및 비교 방식 * **데이터 소스:** APNIC의 데이터를 기반으로 인구수가 가장 많은 전 세계 상위 1,000개 네트워크를 대상으로 성능을 측정합니다. * **핵심 지표:** 사용자의 장치가 엔드포인트와 TCP 핸드쉐이크를 완료하는 데 걸리는 'TCP 연결 시간'을 주요 지표로 활용합니다. 이는 사용자 체감 속도와 가장 직계되는 지표입니다. * **Trimean 계산법:** 이상치로 인한 데이터 왜곡을 방지하기 위해 25, 50, 75 백분위수의 가중 평균인 Trimean 방식을 사용하여 실제 일반적인 사용자 경험을 정확히 파악합니다. * **실제 사용자 측정(RUM):** Cloudflare 오류 페이지 등에 포함된 백그라운드 테스트를 통해 Amazon CloudFront, Google, Fastly, Akamai 등 경쟁사와의 속도를 실제 브라우저 환경에서 직접 비교합니다. ### 성능 향상을 이끈 기술적 전략 * **물리적 거점(PoP) 확장:** 알제리(콘스탄틴), 인도네시아(말랑), 폴란드(브로츠와프) 등 전 세계 곳곳에 신규 위치를 추가하여 물리적 거리를 단축했습니다. 특히 폴란드 브로츠와프의 경우 평균 RTT가 19ms에서 12ms로 약 40% 개선되었습니다. * **소프트웨어 최적화:** 하드웨어 확장 외에도 HTTP/3 프로토콜 활용과 혼잡 제어 윈도우(Congestion Window) 관리 방식의 개선을 통해 코드 레벨에서 밀리초 단위의 지연 시간을 줄였습니다. * **리소스 효율화:** 연결 처리, SSL/TLS 종단(Termination), 트래픽 관리 및 코어 프록시 소프트웨어의 CPU 및 메모리 사용량을 최적화하여 전체 글로벌 네트워크의 처리 효율을 극대화했습니다. ### 2025년 하반기 성과 및 결과 * **압도적인 순위 상승:** 2025년 9월 대비 12월 기준으로 Cloudflare가 가장 빠른 국가가 40개 추가되었으며, 총 261개의 추가 네트워크(ASN)에서 성능 1위를 차지했습니다. * **미국 시장 성과:** 미국 내에서는 54개의 추가 네트워크에서 1위를 달성하며 가장 큰 폭의 성장을 기록했습니다. * **경쟁사와의 격차:** 12월 평균 데이터를 기준으로 Cloudflare는 경쟁 업체들보다 평균 6ms 더 빠른 연결 시간을 기록하며 안정적인 성능 우위를 증명했습니다. 성능의 작은 차이는 실제 사용자가 웹사이트나 애플리케이션에 접속할 때 느끼는 만족도와 직결됩니다. 현재 60%의 네트워크에서 1위를 기록하고 있는 Cloudflare는 근소한 차이로 2위를 기록 중인 지역들까지 포함하여, 전 세계 모든 네트워크에서 가장 빠른 프로바이더가 되기 위해 기술 투자를 지속할 것으로 보입니다.

latency-optimizationcloudflarehttp3network-performance+4

pinterest2026년 2월 2일

투 타워를 넘어서: 차 (새 탭에서 열림)

전통적인 추천 시스템의 표준인 'Two-Tower' 모델은 효율적이지만, 사용자-아이템 간의 복잡한 상호작용 특징(Interaction features)을 반영하지 못하는 구조적 한계가 있습니다. 이를 해결하기 위해 핀터레스트는 범용 신경망 기반의 복잡한 랭킹 모델을 도입하기로 결정하고, 이를 지원하기 위한 GPU 기반의 서빙 스택 재설계를 단행했습니다. 데이터 전송 병목 현상을 해결하고 비즈니스 로직을 모델 내부에 통합함으로써, 초기 4,000ms에 달하던 지연 시간을 실시간 서비스 가능한 수준인 20ms까지 단축하는 데 성공했습니다. ### Two-Tower 모델의 한계와 새로운 도전 * **표현력의 제약:** Two-Tower 구조는 사용자(User)와 아이템(Item)을 각각 독립적인 벡터로 인코딩한 뒤 마지막에 내적(Dot product)만 수행하므로, 네트워크 깊은 곳에서 두 피처가 결합되는 '교차 피처(Cross-features)'나 '타겟 어텐션(Target attention)'을 활용하기 어렵습니다. * **복잡한 모델 도입의 필요성:** 보다 정교한 추천을 위해 피처 간의 직접적인 상호작용을 모델링할 수 있는 일반적인 딥러닝 아키텍처 도입이 필요해졌습니다. * **서빙 인프라의 한계:** 기존 인프라는 단순한 연산(내적 또는 ANN 검색)에 특화되어 있어, 무거운 GPU 추론 단계를 지연 시간 손실 없이 통합하는 것이 핵심 과제였습니다. ### 인벤토리 세분화를 통한 피처 패칭(Feature Fetching) 최적화 * **데이터 전송 병목:** 수만 개의 후보군에 대해 네트워크를 통해 피처를 가져오는 I/O 작업이 모델 추론보다 더 긴 시간을 소모하는 문제가 발생했습니다. * **고가치 인벤토리(Segment 1):** 매출 기여도가 높은 약 100만 개의 문서는 피처를 PyTorch 모델 파일 내의 'Registered Buffer' 형태로 직접 삽입했습니다. 이를 통해 모델 가중치처럼 GPU의 고대역폭 메모리(HBM)에 피처가 상주하게 되어 네트워크 오버헤드를 완전히 제거했습니다. * **롱테일 인벤토리(Segment 2):** 나머지 10억 개 이상의 문서는 고성능 Key-Value 저장소와 인-호스트 캐시를 조합하여 피처를 가져오도록 이원화했습니다. ### 비즈니스 로직의 모델 내부 통합 * **데이터 전송량 최소화:** 기존에는 GPU에서 계산된 수만 개의 점수를 모두 CPU로 보낸 뒤 필터링했으나, 이는 Device-to-Host(D2H) 전송 병목을 야기했습니다. * **로직 내재화:** 유틸리티 계산(pCTR, pCVR, 입찰가 조합 등), 다양성 규칙, Top-K 정렬 등의 비즈니스 로직을 PyTorch 텐서 연산으로 구현하여 모델 내부에 포함시켰습니다. * **병렬 처리 이점:** 복잡한 필터링과 정렬을 GPU의 대규모 병렬 연산으로 처리함으로써 CPU 기반 처리보다 속도를 높였고, 최종 결과값(약 1,000개)만 출력하여 전송 효율을 극대화했습니다. ### GPU 추론 가속화 및 시스템 최적화 * **멀티 스트림 CUDA:** 단일 스트림 방식에서 벗어나 여러 CUDA 스트림을 사용하여 데이터 전송(H2D, D2H)과 연산(Compute)이 서로 겹쳐서 수행(Overlap)되도록 설계했습니다. * **커널 퓨전(Kernel Fusion):** Triton 커널을 사용하여 선형 레이어와 활성화 함수 같은 반복적인 레이어 패턴을 하나로 합침으로써 메모리 대역폭 압박을 완화했습니다. * **수치 형식 최적화:** FP32 대신 BF16(Brain Floating Point 16) 형식을 채택하여 메모리 사용량을 줄이고 연산 속도를 높였습니다. * **워커 정렬:** 호스트 CPU 코어 수에 맞춰 워커 스레드 수를 조정하고 고정(Pinning)하여 컨텍스트 스위칭과 락 경합을 최소화했습니다. 이러한 재설계는 고성능 추천 시스템을 구축할 때 모델 아키텍처뿐만 아니라, 데이터 흐름과 하드웨어 가속기(GPU)의 특성을 고려한 인프라 최적화가 필수적임을 보여줍니다. 특히 대규모 트래픽 환경에서 GPU를 효율적으로 활용하려면 비즈니스 로직을 포함한 전체 서빙 파이프라인을 모델과 밀접하게 통합하는 전략이 유효합니다.

latency-optimizationmachine-learningrecommendation-systemspytorch+4