datadog·2026년 3월 4일·2분 읽기큐레이션 요약

에이전트를 위한 MCP 도구

Datadog이 Gartner의 **2026년 Observability Platforms Magic Quadrant에서 Leader로 선정되었다는 소식**을 전하는 내용입니다. 제공된 본문에는 선정 소식과 함께 Datadog의 제품군 및 플랫폼 기능을 소개하는 탐색 메뉴가 주로 포함되어 있으며, Gartner 평가의 세부 근거는 제시되지 않았습니다. ### Gartner Magic Quadrant 리더 선정 - Datadog은 Gartner의 **Observability Platforms 부문 Magic Quadrant 2026**에서 Leader로 소개되었습니다. - 원문에는 Gartner의 평가 기준, 경쟁사 비교, Datadog의 구체적인 강점이나 약점에 대한 상세 내용은 포함되어 있지 않습니다. - 따라서 이 자료만으로는 리더 선정이 제품 기능, 시장 실행력, 비전 중 어떤 요소에 기반했는지 판단하기 어렵습니다. ### 인프라 및 애플리케이션 모니터링 - 인프라 영역에서는 다음 기능을 제공합니다. - 인프라·호스트 모니터링 - 메트릭 및 컨테이너 모니터링 - Kubernetes 오토스케일링 - 네트워크, 서버리스, GPU 모니터링 - 클라우드 비용 및 스토리지 관리 - 애플리케이션 영역에는 다음 기능이 포함됩니다. - APM(Application Performance Monitoring) - 서비스 모니터링 - 지속적 프로파일링 - 동적 계측 - AI 에이전트 관측성 ### 로그·데이터·보안 관측성 - 로그 관리와 관측성 파이프라인을 통해 로그 수집, 처리, 라우팅을 지원합니다. - 데이터베이스, 데이터 스트림, 데이터 품질, 작업 실행 상태를 모니터링할 수 있습니다. - 보안 플랫폼에는 다음 영역이 포함됩니다. - 코드 및 클라우드 보안 - SAST, IAST, SCA - 취약점·비밀·민감 데이터 탐지 - Cloud SIEM - 워크로드 및 애플리케이션·API 보호 - 규정 준수 관리 ### 디지털 경험과 소프트웨어 전달 - 실제 사용자 모니터링(RUM), 세션 리플레이, 제품 분석, 오류 추적을 제공합니다. - Synthetic Monitoring과 모바일 앱 테스트를 통해 사용자 경험을 사전에 검증할 수 있습니다. - CI Visibility, 테스트 최적화, 지속적 테스트, 코드 커버리지, 기능 플래그 등 소프트웨어 전달 과정도 관측합니다. - 내부 개발자 포털과 IDE 플러그인으로 개발자 생산성까지 지원합니다. ### 서비스 관리와 AI 기능 - 이벤트 관리, 인시던트 대응, SLO, 케이스 관리, 워크플로 자동화 기능을 제공합니다. - Software Catalog와 대시보드를 통해 서비스와 운영 상태를 중앙에서 관리할 수 있습니다. - AI 영역에는 다음 기능이 포함됩니다. - Bits AI Agents와 Bits Investigation - Bits Chat 및 Bits Code - Agent Observability - MCP Server와 Pup CLI - GPU 모니터링 및 AI 통합 - 제품 메뉴 전반에서 관측성, 보안, 개발, 운영, AI를 하나의 플랫폼으로 통합하려는 방향이 드러납니다. 실무적으로는 Gartner의 리더 선정만으로 제품을 결정하기보다, 현재 사용하는 클라우드·컨테이너 환경과 필요한 로그 보존 기간, 데이터 비용, APM 및 보안 연동성을 기준으로 평가하는 것이 좋습니다.

원문 읽기(새 탭에서 열림)

AI 에이전트쿠버네티스datadog옵저버빌리티+3

datadog·2026년 2월 18일·3분 읽기큐레이션 요약

에이전트 Go 바이너

Datadog은 Gartner의 2026년 Observability Platforms Magic Quadrant에서 ‘Leader’로 선정되었다고 소개합니다. 제공된 내용은 이 평가 결과를 바탕으로 Datadog의 광범위한 제품군과 통합 관측성 플랫폼 역량을 강조하는 홍보성 페이지로 보입니다. 다만 Gartner의 구체적인 평가 기준, 경쟁사 비교, 강점·약점 분석은 포함되어 있지 않습니다. ## Gartner Magic Quadrant 리더 선정 - Datadog이 Gartner® Magic Quadrant™ for Observability Platforms에서 Leader로 이름을 올렸다는 소식을 전합니다. - 관측성 플랫폼은 인프라, 애플리케이션, 로그, 사용자 경험 등 여러 운영 데이터를 통합해 시스템 상태를 분석하는 영역입니다. - 제공된 본문에는 리더 선정의 세부 근거와 Gartner 보고서의 정량적 평가 내용은 제시되지 않았습니다. ## 인프라 및 애플리케이션 모니터링 - 인프라 영역에서는 다음 기능을 제공합니다. - 인프라·호스트 모니터링 - 메트릭 수집 및 분석 - 컨테이너와 Kubernetes 모니터링 - 네트워크, 서버리스, GPU 모니터링 - 클라우드 비용 및 스토리지 관리 - 애플리케이션 영역에는 다음 기능이 포함됩니다. - APM(Application Performance Monitoring) - 서비스 간 동작을 파악하는 Universal Service Monitoring - 연속 프로파일링과 동적 계측 - AI 에이전트의 동작을 관찰하는 Agent Observability ## 로그·데이터 관측성 - 로그 관리와 민감 데이터 탐지를 지원합니다. - Observability Pipelines를 통해 로그와 관측성 데이터를 수집·변환·전송할 수 있습니다. - 데이터베이스, 데이터 스트림, 데이터 품질, 작업 실행 상태를 모니터링하는 기능도 제공합니다. - 이를 통해 메트릭, 로그, 트레이스, 데이터 파이프라인 정보를 하나의 플랫폼에서 연결하려는 방향을 보여줍니다. ## 보안과 디지털 사용자 경험 - 보안 제품군에는 다음 영역이 포함됩니다. - 코드 보안과 SAST·IAST - 소프트웨어 구성 분석 - IaC 및 클라우드 보안 - 취약점 관리와 컴플라이언스 - Cloud SIEM, 워크로드 보호, 애플리케이션·API 보호 - 디지털 경험 영역에서는 다음 기능을 제공합니다. - 브라우저·모바일 RUM - 세션 리플레이와 신세틱 모니터링 - 제품 분석 및 실험 - 모바일 앱 테스트와 오류 추적 ## 소프트웨어 개발 및 서비스 운영 - CI Visibility, 테스트 최적화, 지속적 테스트, 코드 커버리지 등 소프트웨어 전달 과정을 관찰할 수 있습니다. - 내부 개발자 포털, 기능 플래그, IDE 플러그인도 제품군에 포함되어 있습니다. - 서비스 운영 측면에서는 다음 기능을 제공합니다. - 이벤트 및 인시던트 관리 - 서비스 카탈로그와 SLO - 케이스 관리와 워크플로 자동화 - Watchdog 기반 이상 탐지 - 대시보드, 노트북, 접근 제어, 거버넌스 ## AI 기반 운영 지원 - Bits AI Agents, Bits Chat, Bits Investigation 등 AI 기반 운영 도구를 제공합니다. - MCP Server, Agent Builder, Agent Directory 등을 통해 AI 에이전트와 Datadog 데이터를 연결하는 생태계를 확장하고 있습니다. - GPU 모니터링과 Agent Observability는 AI 애플리케이션 및 에이전트 운영을 위한 기능으로 제시됩니다. 실무적으로는 Datadog이 단순한 모니터링 도구를 넘어 인프라·애플리케이션·로그·보안·개발·AI 운영을 통합하는 플랫폼을 지향한다는 점이 핵심입니다. 다만 도입 전에는 Gartner 원문에서 평가 기준과 경쟁 제품 비교를 확인하고, 데이터 수집 비용·보존 기간·기존 도구와의 연동성을 함께 검토하는 것이 좋습니다.

원문 읽기(새 탭에서 열림)

쿠버네티스datadog옵저버빌리티애플리케이션 성능 모니터링+3

datadog·2026년 2월 18일원문

Agent Go 바이너리 크기를 최대 77% 줄인 방법 (새 탭에서 열림)

Datadog은 에이전트 바이너리 크기가 5년 사이 3배 이상 비대해진 문제를 해결하기 위해, 기능 삭제 없이 Go 바이너리 크기를 최대 77% 줄이는 성과를 거두었습니다. 이들은 체계적인 의존성 감사, 코드 리팩토링, 링커 최적화 복원을 통해 1.22 GiB에 달하던 아티팩트를 5년 전 수준으로 되돌렸으며, 이 과정에서 발견한 Go 컴파일러의 특성을 활용해 Kubernetes 등 다른 대규모 오픈소스 프로젝트에도 기여했습니다. ### 데이터독 에이전트의 빌드 구조와 비대화 문제 * 데이터독 에이전트는 단일 제품처럼 보이지만, 실제로는 OS, 아키텍처, 환경(Docker, K8s, IoT 등)에 따라 수십 개의 서로 다른 빌드 구성을 가집니다. * 수백 개의 외부 라이브러리(Cloud SDK, 컨테이너 런타임 등)를 사용하며, Go 빌드 태그와 의존성 주입(Dependency Injection)을 통해 기능을 제어합니다. * 5년간의 기능 추가로 인해 Linux amd64 패키지의 압축 전 크기가 428MiB에서 1,248MiB로 약 192% 증가했으며, 이는 네트워크 비용 상승과 서버리스/IoT 환경에서의 사용 제약을 초래했습니다. ### Go 의존성 제거를 위한 전략적 접근 * **컴파일러의 패키지 처리 이해**: Go 컴파일러는 패키지 단위로 동작하며, 빌드 제약 조건에 맞는 파일 내에서 `main` 패키지로부터 전역적으로 도달 가능한(reachable) 모든 임포트를 포함합니다. * **빌드 태그 활용**: 불필요한 의존성을 포함하는 파일에 특정 빌드 태그(`//go:build`)를 추가하여, 해당 기능이 필요 없는 빌드에서는 컴파일 단계부터 제외되도록 구성했습니다. * **심볼 분리 및 리팩토링**: 무거운 의존성을 사용하는 특정 함수나 심볼을 별도의 패키지로 격리했습니다. 이를 통해 해당 기능이 꼭 필요한 바이너리에서만 해당 패키지를 임포트하도록 구조를 개선했습니다. ### 바이너리 분석 및 시각화 도구 활용 * **`go list`**: 특정 OS와 아키텍처, 빌드 태그 조합에서 포함되는 패키지 목록을 추출하여 의존성 현황을 파악했습니다. * **`goda`**: 패키지 임포트 관계를 그래프로 시각화하여, 특정 무거운 패키지가 어떤 경로를 통해 바이너리에 포함되었는지 추적했습니다. * **`go-size-analyzer`**: 바이너리 내부에서 각 의존성 패키지가 차지하는 실제 바이트 크기를 텍스트나 인터팩티브 웹 화면으로 분석하여 최적화 우선순위를 정했습니다. * **링커의 한계 파악**: 단순 임포트만으로도 `init` 함수 실행이나 전역 변수 초기화가 발생하여 링커가 해당 코드를 제거하지 못하는 경우가 있음을 확인하고 이를 관리했습니다. 대규모 Go 프로젝트에서 바이너리 크기를 줄이려면 단순한 코드 최적화를 넘어, `goda`나 `go-size-analyzer` 같은 도구로 의존성 그래프를 분석하고 빌드 태그를 활용해 패키지 간의 결합도를 낮추는 아키텍처적 접근이 필수적입니다. 특히 사용하지 않는 기능이 `init` 함수나 리플렉션(reflection)으로 인해 링커 최적화를 방해하지 않도록 주의 깊게 설계해야 합니다.

쿠버네티스Docker & 컨테이너Godependency-injection+4

datadog·2026년 1월 7일·2분 읽기큐레이션 요약

런타임 보안을 위한 e

Datadog이 Gartner의 2026년 Observability Platforms 매직 쿼드런트에서 ‘Leader’로 선정되었다는 소식을 전하는 글입니다. 다만 제공된 본문에는 선정 이유나 평가 기준에 대한 상세 설명보다 Datadog의 제품 및 기능 목록이 주로 포함되어 있어, 구체적인 Gartner 평가 내용은 확인하기 어렵습니다. ### Gartner 매직 쿼드런트 리더 선정 - Datadog은 Gartner의 **Observability Platforms 부문 2026년 매직 쿼드런트**에서 Leader로 소개됩니다. - 링크 제목과 상단 문구는 Datadog의 관측성 플랫폼 시장 내 입지를 강조합니다. - 제공된 내용에는 Gartner의 평가 점수, 경쟁사 비교, 강점 및 주의점에 대한 세부 정보는 포함되어 있지 않습니다. ### 인프라 및 애플리케이션 관측성 - 인프라 모니터링, 메트릭, 컨테이너 및 Kubernetes 모니터링을 제공합니다. - 네트워크, 서버리스, GPU, 클라우드 비용, 스토리지까지 관측 범위를 확장합니다. - 애플리케이션 성능 모니터링(APM), 서비스 모니터링, 연속 프로파일링, 동적 계측 기능을 지원합니다. - 데이터베이스, 데이터 스트림, 데이터 품질 및 작업 실행 상태도 모니터링 대상에 포함됩니다. ### 로그 및 보안 통합 - 로그 관리와 Observability Pipelines를 통해 로그 수집·처리·전송을 관리합니다. - Sensitive Data Scanner, Audit Trail 등으로 민감 정보와 감사 활동을 관리합니다. - 코드 보안, SAST, SCA, IaC 보안, 클라우드 보안, 취약점 관리 기능을 제공합니다. - Cloud SIEM, Workload Protection, 애플리케이션·API 보호 등 런타임 보안 영역도 포함합니다. ### 디지털 경험과 소프트웨어 전달 - Browser·Mobile RUM, 세션 리플레이, 합성 모니터링으로 사용자 경험을 분석합니다. - 제품 분석, 실험, 오류 추적, 모바일 앱 테스트를 지원합니다. - CI Visibility, 테스트 최적화, 지속적 테스트, 코드 커버리지 등 개발·배포 과정도 관측합니다. - 내부 개발자 포털, 기능 플래그, IDE 플러그인 등을 통해 개발자 생산성을 보완합니다. ### 서비스 관리와 AI 기능 - 이벤트 관리, 인시던트 대응, SLO, 서비스 카탈로그, 워크플로 자동화를 제공합니다. - Watchdog과 Bits AI 계열 기능을 활용해 이상 탐지, 조사, 보안 분석을 자동화합니다. - AI 에이전트 관측성, GPU 모니터링, MCP Server, AI 기반 조사 및 코드 지원 기능을 포함합니다. - 대시보드, 알림, 노트북, 접근 제어, 거버넌스 콘솔을 통해 플랫폼 운영을 통합합니다. ### 실용적인 결론 제공된 내용만 보면 Datadog은 인프라·애플리케이션·로그·보안·사용자 경험·개발 프로세스를 하나의 플랫폼에서 연결하는 전략을 강조합니다. 실제 도입을 검토한다면 Gartner 원문에서 평가 기준과 한계를 확인하고, 조직의 데이터 규모·비용·필요한 모니터링 범위에 맞춰 기능과 가격을 비교하는 것이 좋습니다.

원문 읽기(새 탭에서 열림)

쿠버네티스datadog옵저버빌리티애플리케이션 성능 모니터링+3

datadog·2026년 1월 7일원문

런타임 보안을 위한 eBPF 강화: Datadog Workload Protection의 교훈 (새 탭에서 열림)

Datadog은 지난 5년간 수천 개의 환경에서 eBPF 기반의 런타임 보안 제품인 'Workload Protection'을 운영하며 얻은 실전 경험과 교훈을 공유합니다. eBPF는 기존 커널 모듈이나 감사(Audit) 프레임워크보다 안전하고 효율적이지만, 대규모 운영 환경에서는 커널 호환성이나 성능 오버헤드 같은 복잡한 문제들이 발생합니다. 결론적으로 eBPF는 강력한 도구이나, 실제 운영 환경에서 신뢰성을 확보하기 위해서는 단순한 구현을 넘어 정교한 모니터링과 배포 전략이 필수적입니다. **기존 커널 모니터링 기술의 한계와 평가** * **커널 모듈(LKM):** 시스템의 거의 모든 부분을 제어할 수 있는 강력한 권한을 가지지만, 코드 오류가 커널 전체의 크래시로 이어질 수 있어 안정성 측면에서 위험부담이 큽니다. * **전통적인 트레이싱 인터페이스:** inotify, fanotify, kprobes 등은 시스템 내부를 들여다볼 수 있게 해주지만, 전체적인 시스템 활동을 파악하려면 여러 도구를 복잡하게 조합해야 하는 파편화 문제가 있습니다. * **ptrace 및 seccomp-bpf:** 사용자 공간의 프로세스를 추적하는 데 유용하지만, 모든 프로세스 액세스를 감시하기에는 성능 오버헤드가 발생하며 커널 수준의 가시성이 부족합니다. * **Linux Audit 프레임워크:** 가장 널리 사용되는 보안 솔루션이지만, 대량의 이벤트가 발생할 때 시스템 성능에 상당한 영향을 미치는 단점이 있습니다. **보안 제품에 eBPF를 선택한 핵심 이유** * **검증된 안전성:** eBPF 프로그램은 로드되기 전 커널 검증기(Verifier)를 통해 무한 루프나 잘못된 메모리 접근 여부를 정적으로 분석하므로 커널 모듈보다 훨씬 안전합니다. * **통합 가시성:** 프로세스 실행, 파일 시스템 접근, 네트워크 활동 등을 단일 메커니즘으로 모두 추적할 수 있어 시스템 전반에 대한 통합적인 가시성을 제공합니다. * **컨테이너 최적화:** 네임스페이스(Namespace)와 cgroup에 대한 이해도가 높아 컨테이너 환경에서 일관된 모니터링이 가능하며, 특히 CO-RE(Compile Once – Run Everywhere) 도입으로 배포가 쉬워졌습니다. * **강력한 제어 권한:** BPF LSM 기능을 통해 단순한 모니터링을 넘어 시스템 호출을 차단하는 등의 강제 접근 제어(Mandatory Access Control)를 수행할 수 있습니다. **대규모 생산 환경에서의 운영 교훈** * **커널 호환성 유지:** 특정 커널 버전에서는 작동하지만 다른 버전에서는 실패하는 경우를 방지하기 위해 프로그램 로드 및 부착(Attach) 과정을 정교하게 관리해야 합니다. * **성능 비용 관리:** eBPF가 효율적이긴 하지만, 수많은 훅(Hook)이 동시에 실행될 때 발생하는 성능 비용을 지속적으로 측정하고 제어하는 메커니즘이 필요합니다. * **풍부한 데이터 처리:** 캡처된 원시 데이터를 단순히 전달하는 것이 아니라, 보안 분석에 유용하도록 문맥(Context)을 보강하고 정확하게 강화하는 로직이 중요합니다. * **안전한 변경 배포:** 수천 대의 호스트에 영향을 줄 수 있으므로, eBPF 프로그램의 변경 사항을 안전하게 롤아웃하고 문제 발생 시 즉시 감지할 수 있는 시스템을 갖춰야 합니다. **실용적인 제언** eBPF를 도입할 때 "안전하고 성능 저하가 없다"는 마케팅적 수사에만 의존해서는 안 됩니다. 모니터링하려는 워크로드의 특성에 따라 성능 임팩트가 달라질 수 있으므로, 자체적인 성능 모니터링 지표를 구축하고 커널 버전별로 철저한 회귀 테스트를 거치는 것을 추천합니다.

데이터베이스 설계옵저버빌리티ebpflinux-kernel+4

datadog·2025년 11월 18일·2분 읽기큐레이션 요약

eBPF를 통한 실시간 파일

Datadog이 Gartner의 **2026년 Observability Platforms 매직 쿼드런트에서 Leader로 선정되었다는 소식**을 소개하는 페이지입니다. 제공된 내용에는 선정 배경이나 평가 기준, 제품별 설명은 포함되어 있지 않고 Datadog 제품 메뉴와 관련 링크가 대부분을 차지합니다. ### Gartner 매직 쿼드런트 선정 - Datadog이 Gartner® Magic Quadrant™ for Observability Platforms 2026에서 **Leader**로 소개됨 - 상세 평가 점수, 경쟁사 비교, 선정 근거는 제공된 본문에 포함되지 않음 - 링크의 캠페인 경로상 Datadog의 APM 및 관측성 플랫폼 홍보와 연관된 콘텐츠로 보임 ### Datadog 플랫폼 구성 제공된 메뉴는 Datadog이 관측성을 넘어 여러 운영 영역을 하나의 플랫폼에서 제공한다는 점을 보여줍니다. - **인프라 모니터링**: 메트릭, 컨테이너, Kubernetes 오토스케일링, 네트워크, 서버리스, GPU 및 클라우드 비용 관리 - **애플리케이션 모니터링**: APM, 서비스 모니터링, 연속 프로파일링, 동적 계측 - **데이터 및 로그**: 데이터베이스·스트림 모니터링, 로그 관리, 민감 데이터 탐지, 관측성 파이프라인 - **보안**: 클라우드 보안, 취약점 관리, SIEM, 워크로드 보호, 애플리케이션·API 보호 - **디지털 경험**: 브라우저·모바일 RUM, 세션 리플레이, 신세틱 모니터링, 오류 추적 - **소프트웨어 제공**: CI 가시성, 테스트 최적화, 코드 커버리지, 기능 플래그, 내부 개발자 포털 - **서비스 관리와 AI**: 인시던트 대응, SLO, 워크플로 자동화, Watchdog, AI 에이전트 및 조사 기능 ### 제공된 내용의 한계 - 본문에는 제목과 제품 내비게이션만 있으며, 실제 Gartner 보고서의 분석 내용은 확인할 수 없음 - 링크와 메뉴에는 Workload Protection 및 eBPF 기반 FIM 관련 경로가 포함되어 있지만, 해당 기능의 동작 방식이나 기술적 세부사항은 제공되지 않음 - 따라서 이번 자료만으로는 Datadog이 Leader로 평가된 구체적인 이유나 제품 성능을 판단하기 어려움 Gartner의 평가 근거와 제품별 장단점을 파악하려면 원문 보고서 또는 링크된 Datadog 발표문의 본문이 추가로 필요합니다.

원문 읽기(새 탭에서 열림)

쿠버네티스datadog옵저버빌리티ebpf+2

datadog·2025년 11월 18일원문

eBPF를 활용한 실시간 파일 모니터링 확장: 분당 수십억 개의 커널 이벤트를 필터링하는 방법 (새 탭에서 열림)

Datadog은 현대적인 대규모 인프라에서 신뢰할 수 있는 파일 무결성 모니터링(FIM) 시스템을 구축하기 위해 기존의 주기적 스캔이나 `auditd` 방식 대신 eBPF 기술을 채택했습니다. 이들은 커널 수준에서 실시간 가시성을 확보함으로써 프로세스 및 컨테이너 맥락이 포함된 상세한 보안 데이터를 수집하는 데 성공했습니다. 특히 초당 수십억 건에 달하는 방대한 이벤트를 처리하기 위해, 데이터의 94%를 커널 내부에서 미리 걸러내고 에이전트 단위에서 로컬 규칙 검사를 수행하는 2단계 필터링 아키텍처를 통해 시스템 성능 저하 없이 보안 가시성을 극대화했습니다. ### 기존 모니터링 방식의 기술적 한계 * **주기적 파일 시스템 스캔:** 스캔 사이에 발생했다가 복구된 공격자의 변경 사항을 감지할 수 없으며, 파일이 '어떻게', '왜', '누구에 의해' 변경되었는지에 대한 맥락 정보가 부족합니다. * **inotify:** 파일 이벤트와 프로세스 또는 컨테이너 간의 상관관계를 파악하는 데 필요한 시스템 레벨의 컨텍스트를 제공하지 못합니다. * **auditd:** 시스템 부하가 높은 환경에서 과도한 오버헤드가 발생하며, 대규모 환경에서의 확장성 문제가 고질적인 단점으로 지적됩니다. ### eBPF를 활용한 심층 가시성 확보 * **실시간 커널 모니터링:** eBPF를 통해 커널에서 직접 실시간 파일 활동을 관찰함으로써, 파일 변경 사실뿐만 아니라 이를 유발한 프로세스와 컨테이너 정보까지 포함된 풍부한 보안 데이터를 확보했습니다. * **데이터 폭증의 난제:** 모든 인프라에서 발생하는 파일 관련 이벤트가 분당 100억 건을 넘어서며, 이벤트당 약 5KB인 데이터를 모두 전송할 경우 초당 수 테라바이트의 네트워크 트래픽이 발생하는 심각한 규모의 문제에 직면했습니다. ### 에이전트 기반의 로컬 규칙 필터링 * **에지(Edge)에서의 결정:** 수집된 모든 데이터를 백엔드로 전송하는 대신, 각 호스트의 에이전트에서 로컬 보안 규칙에 따라 데이터를 1차 검증합니다. * **트래픽 절감:** 로컬 필터링을 통해 백엔드로 전송되는 데이터를 분당 100억 건에서 약 100만 건 수준으로 획기적으로 줄여, 네트워크 비용과 시스템 자원 소모를 최소화했습니다. ### 커널 내부 프리필터링(In-kernel prefiltering)을 통한 최적화 * **링 버퍼(Ring Buffer) 드롭 방지:** 에이전트가 처리할 수 있는 속도보다 더 빠르게 이벤트가 생성될 경우 데이터 유실이 발생하는데, 이를 막기 위해 처리 로직의 상당 부분을 커널 내 eBPF 프로그램으로 이동시켰습니다. * **2단계 평가 모델:** * **커널 내부 필터링:** 'Approvers'와 'Discarders' 개념을 도입하여, 무관한 시스템 호출(syscall)의 94%를 유저 공간으로 넘기기 전에 커널 단계에서 즉시 폐기합니다. * **유저 공간 평가:** 커널을 통과한 선별된 이벤트에 대해서만 유저 공간에서 상세한 맥락 정보를 결합하고 복잡한 상관관계 분석을 수행합니다. ### 실용적인 제언 대규모 시스템에서 FIM을 구현할 때는 단순한 데이터 수집보다 '불필요한 데이터의 조기 차단'이 성능의 핵심입니다. eBPF를 활용하되 모든 로직을 커널에 넣기보다는, 커널 내에서의 가벼운 필터링과 유저 공간에서의 심층 분석을 결합한 하이브리드 접근 방식을 취하는 것이 확장성과 보안성을 모두 잡는 전략이 될 수 있습니다.

데이터베이스 설계Linuxebpfsecurity-monitoring+4

datadog·2025년 11월 4일원문

복제의 재정의: 저지연 멀티테넌트 데이터 복제 플랫폼 구축기 (새 탭에서 열림)

데이터독(Datadog)은 모놀리식 포스트그레스(Postgres) 데이터베이스의 확장성 한계와 수동 데이터 파이프라인의 복잡성을 해결하기 위해 자동화된 관리형 데이터 복제 플랫폼을 구축했습니다. 이 플랫폼은 체계적인 변경 데이터 캡처(CDC)와 비동기 복제 방식을 통해 데이터 일관성을 유지하면서도 시스템 성능을 비약적으로 향상시켰습니다. 결과적으로 엔지니어링 팀은 인프라 관리의 부담에서 벗어나 안정적이고 낮은 지연 시간으로 대규모 데이터를 다양한 서비스 간에 자유롭게 이동시킬 수 있게 되었습니다. **포스트그레스의 확장성 한계와 데이터 재건축** * 서비스 초기에는 포스트그레스의 ACID 보장과 편의성이 유용했으나, 데이터량이 증가하면서 복잡한 조인 및 집계 쿼리의 응답 시간이 수 밀리초에서 수 초 단위로 급격히 악화되었습니다. * 특정 조직의 메트릭 요약 페이지에서 수십만 개의 행을 조인할 때 P90 지연 시간이 7초에 달했으며, 인덱스 팽창(Bloat)과 VACUUM 작업 부하로 인한 I/O 병목 현상이 발생했습니다. * OLTP 부하와 검색/필터링 부하를 분리하기 위해, 복제 과정에서 데이터를 비정규화(Denormalization)하여 전용 검색 플랫폼으로 전송하는 아키텍처로 전환했습니다. * 이러한 최적화를 통해 페이지 로드 시간을 최대 97% 단축(30초 → 1초)하고, 복제 지연 시간을 500ms 수준으로 유지하는 성과를 거두었습니다. **Temporal을 활용한 복제 파이프라인 프로비저닝 자동화** * Debezium, Kafka, Elasticsearch 등 다양한 기술 스택이 결합된 복제 파이프라인을 수동으로 구축하는 과정은 운영상 큰 부담이 되었습니다. * 포스트그레스의 `wal_level` 설정, 논리적 복제 슬롯 생성, 사용자 권한 관리, Kafka 토픽 매핑 등 반복적이고 오류가 잦은 단계를 Temporal 워크플로우를 통해 모듈화했습니다. * WAL(Write-Ahead Log) 보존 문제를 해결하기 위한 하트비트 테이블 설정부터 싱크 커넥터 배포까지의 모든 과정을 오케스트레이션하여 운영 탄력성을 높였습니다. * 자동화된 플랫폼 덕분에 개발자들은 인프라 설정 대신 혁신에 집중할 수 있게 되었으며, 멀티 테넌트 환경에서도 일관된 파이프라인 관리가 가능해졌습니다. **성능과 확장성을 위한 비동기 복제 전략** * 강한 일관성을 보장하는 동기 복제 대신, 대규모 고처리량 환경에 적합한 비동기 복제 방식을 채택했습니다. * 동기 복제는 네트워크 지연이나 복제본의 응답 상태가 기본 시스템의 성능에 직접적인 영향을 주지만, 비동기 방식은 애플리케이션의 쓰기 성능을 네트워크 지연으로부터 격리합니다. * 장애 발생 시 미세한 데이터 지연이 발생할 수 있는 트레이드오프가 있으나, 이는 확장성과 가용성을 우선시하는 데이터독의 분산 환경에 더 적합한 선택이었습니다. **결론 및 권장사항** 대규모 시스템에서 데이터베이스의 성능 저하를 방지하려면 OLTP와 읽기 전용 검색 워크로드를 분리하는 것이 필수적입니다. 이때 발생하는 복잡한 데이터 이동 문제는 Temporal과 같은 워크플로우 엔진으로 자동화하여 운영 비용을 낮추고, 비동기 복제 모델을 통해 시스템의 전체적인 처리량과 가용성을 확보하는 전략이 권장됩니다.

데이터베이스 설계PostgreSQLApache Kafkaelasticsearch+4

datadog·2025년 11월 4일·1분 읽기큐레이션 요약

복제가 재정의되다: 저지연 멀티 테넌트 데이터 복제 플랫폼을 어떻게 구축했는가 | Datadog

제공된 내용에는 본문이 포함되지 않고, Datadog 제품 내비게이션과 “CDC replication search” 링크만 있습니다. 따라서 글의 주장, 구현 방식, 성능 개선 수치 등은 정확히 요약할 수 없습니다. 링크 제목으로 보아 변경 데이터 캡처(CDC)를 활용해 데이터베이스 변경 사항을 검색 시스템에 복제하는 기술을 다룬 글로 추정됩니다. ### 확인 가능한 주제: CDC 기반 검색 데이터 복제 - CDC(Change Data Capture)는 데이터베이스의 `INSERT`, `UPDATE`, `DELETE` 변경 사항을 실시간으로 감지하는 방식입니다. - 원본 데이터베이스를 주기적으로 전체 조회하지 않고 변경분만 전달하므로 검색 인덱스를 효율적으로 갱신할 수 있습니다. - 일반적으로 다음과 같은 흐름으로 구성됩니다. - 데이터베이스 트랜잭션 로그에서 변경 이벤트 수집 - 이벤트를 메시지 큐나 스트리밍 시스템으로 전달 - 변경 이벤트를 검색 저장소에 반영 - 검색 인덱스와 원본 데이터베이스의 일관성 및 재처리 상태 관리 ### 본문에서 확인할 수 없는 세부 사항 - 사용한 데이터베이스와 검색 엔진 - CDC 이벤트 수집·전달 도구 - 이벤트 순서 보장 및 중복 처리 방식 - 장애 복구와 재처리 전략 - 대규모 트래픽에서의 지연 시간과 처리량 - 스키마 변경 및 삭제 이벤트 처리 방식 원문 본문이나 링크의 실제 내용을 제공하면, 요청하신 형식에 맞춰 기술적 세부 사항까지 정확하게 요약할 수 있습니다.

원문 읽기(새 탭에서 열림)

쿠버네티스datadog옵저버빌리티애플리케이션 성능 모니터링+2

datadog·2025년 10월 21일·2분 읽기큐레이션 요약

LLM을 활용한 대규모

Datadog이 Gartner®의 2026년 Observability Platforms Magic Quadrant에서 Leader로 선정되었다는 내용만 확인됩니다. 제공된 본문에는 선정 기준, 평가 결과, 제품별 강점이나 Gartner의 구체적인 분석은 포함되어 있지 않고, Datadog의 제품·기능 링크 목록이 대부분입니다. ### Gartner Magic Quadrant 리더 선정 - Datadog이 **Gartner® Magic Quadrant™ for Observability Platforms 2026**에서 Leader로 소개됩니다. - 원문 링크는 Datadog의 관련 발표 자료로 연결됩니다. - 다만 제공된 텍스트만으로는 다음 내용을 확인할 수 없습니다. - Gartner의 평가 기준 - Datadog의 실행력 및 비전 평가 - 경쟁사 대비 순위와 강점 - Gartner가 제시한 한계나 주의점 ### Datadog이 제공하는 관측성 제품군 제공된 메뉴에는 Datadog이 단일 모니터링 도구가 아니라 여러 영역을 통합하는 플랫폼으로 구성되어 있음을 보여주는 제품 목록이 포함되어 있습니다. - **인프라 모니터링** - 메트릭, 컨테이너, Kubernetes 오토스케일링 - 네트워크, 서버리스, GPU, 스토리지 및 클라우드 비용 모니터링 - **애플리케이션 성능 관리** - APM, 서비스 모니터링, 지속적 프로파일링 - 동적 계측 및 AI 에이전트 관측성 - **로그·데이터 관측성** - 로그 관리, 민감 데이터 탐지, 감사 추적 - 데이터베이스, 데이터 스트림, 데이터 품질 및 작업 모니터링 - **보안** - SAST, IAST, 소프트웨어 구성 분석, IaC·클라우드 보안 - SIEM, 워크로드 보호, API 보호, 시크릿 스캐닝 - **디지털 경험** - 브라우저·모바일 RUM, 세션 리플레이 - 신세틱 모니터링, 오류 추적, 제품 분석 - **소프트웨어 전달과 서비스 관리** - CI 가시성, 테스트 최적화, 코드 커버리지 - 이벤트·사고 관리, SLO, 서비스 카탈로그, 워크플로 자동화 - **AI 기능** - Bits AI 에이전트, 조사·보안 분석 기능 - MCP 서버, GPU 모니터링, AI 에이전트 관측성 ### 제공된 글의 한계 - 실제 기사 본문이 아니라 Datadog 웹사이트의 헤더와 제품 내비게이션 일부만 제공되어 있습니다. - 따라서 “Leader” 선정 사실과 제품 범위 외에 상세한 기술적 주장이나 결론을 도출하기는 어렵습니다. - 정확한 요약을 위해서는 Gartner 평가 내용과 Datadog 발표문의 본문이 추가로 필요합니다. 원문 본문을 제공하면 Gartner의 평가 근거, Datadog의 차별점, 한계와 실무 적용 시 고려사항까지 포함해 다시 요약할 수 있습니다.

원문 읽기(새 탭에서 열림)

쿠버네티스datadog옵저버빌리티애플리케이션 성능 모니터링+4

datadog·2025년 10월 21일원문

LLM을 활용한 대규모 악성 풀 리퀘스트 탐지 (새 탭에서 열림)

Datadog은 AI 코딩 어시스턴트의 도입으로 급증한 코드 작업량과 이로 인한 보안 취약점 문제를 해결하기 위해, LLM 기반의 실시간 코드 리뷰 시스템인 'BewAIre'를 구축했습니다. 이 시스템은 기존의 정적 분석 도구가 탐지하기 어려운 공격자의 의도와 교묘한 난독화 패턴을 추론하여, 매주 수만 건에 달하는 풀 리퀘스트(PR)를 실시간으로 검사합니다. 이를 통해 보안 팀의 리뷰 피로도를 대폭 줄이면서도 높은 정확도로 악성 코드 삽입을 차단하는 성과를 거두고 있습니다. **AI 시대의 코드 보안 위협과 한계** * **급증하는 코드량과 공격 표면:** AI 어시스턴트 활용으로 매주 약 10,000개의 PR이 생성되면서 보안 팀이 검토해야 할 범위가 기하급수적으로 늘어났습니다. * **정적 분석의 한계:** 기존 SAST 도구는 정해진 규칙 기반으로 작동하여, 정상적인 의존성 업데이트나 권한 변경으로 위장한 지능형 공격(예: tj-actions 해킹)의 '의도'를 파악하지 못합니다. * **교묘한 난독화 기법:** 공격자들은 Base64 인코딩을 사용해 악성 스크립트를 숨기거나, 신뢰할 수 있는 봇 계정을 도용하여 보안 검사를 우회하는 전략을 사용합니다. **LLM 기반 보안 시스템 'BewAIre'의 구조** * **데이터 전처리 및 컨텍스트 강화:** 모든 PR의 코드 차이점(Diff)을 추출하고 작성자 정보, 저장소 유형 등의 메타데이터를 결합하여 모델이 분석할 수 있는 형태로 정규화합니다. * **의도 중심의 추론(Inference):** LLM은 단순한 문법 검사를 넘어 수정 사항 뒤에 숨겨진 의도를 분석하며, 특정 변경이 악의적인지 아니면 정상적인 패턴인지 분류합니다. * **실시간 경보 체계:** 분석 결과는 Datadog 보안 신호로 변환되어 대시보드에 즉시 반영되며, 위험도가 높은 경우 보안 엔지니어에게 즉각적인 알림(Paging)을 전송합니다. **실전 검증을 통한 성능 및 성과** * **높은 탐지 정확도:** 수백 개의 PR 데이터셋을 테스트한 결과 99.3% 이상의 정확도를 기록했으며, 실제 발생했던 tj-actions 및 Nx 공격 사례를 100% 탐지해냈습니다. * **낮은 오탐률(False Positive):** 프롬프트 엔지니어링과 데이터 튜닝, 안전한 패턴에 대한 억제 규칙을 적용하여 오탐률을 0.03% 수준으로 유지하며 개발 속도 저하를 방지했습니다. * **맥락 제한 극복:** 모델의 컨텍스트 제한으로 인한 성능 저하를 방지하기 위해 데이터를 효율적으로 정제하고 프롬프트를 최적화하는 기술적 노하우를 적용했습니다. 대규모 개발 환경에서 보안을 유지하려면 인간 리뷰어의 피로도를 줄여줄 수 있는 지능형 자동화 도구가 필수적입니다. LLM을 보안 리뷰에 도입할 때는 단순한 코드 분석을 넘어 작성자의 의도와 주변 맥락을 함께 파악하도록 설계해야 하며, 이를 기존의 보안 모니터링 워크플로우에 통합함으로써 실질적인 방어 체계를 구축할 수 있습니다.

대규모 언어 모델프롬프트 엔지니어링코드 리뷰Git+4

datadog·2025년 10월 15일원문

실패는 피할 수 없습니다: (새 탭에서 열림)

2023년 3월, 데이터독(Datadog)은 인프라의 약 50~60%가 중단되는 대규모 장애를 겪으며 시스템의 일부가 마비될 때 플랫폼 전체가 완전히 다운된 것처럼 보이는 '정방형 파형(Square-wave)' 장애 패턴을 확인했습니다. 이를 계기로 데이터독은 모든 장애 상황을 완벽히 방지하는 것은 불가능하다는 점을 인정하고, 장애 발생 시에도 시스템이 점진적으로 기능을 유지하는 '우아한 성능 저하(Graceful Degradation)'를 최우선 가치로 삼게 되었습니다. 데이터 유실 방지, 실시간 데이터 우선 처리, 부분적인 결과 제공을 핵심 원칙으로 설정하여 인프라 전반의 회복 탄력성을 재설계하는 대대적인 변화를 추진하고 있습니다. **"결함 없음" 설계의 한계와 Square-wave 장애** - 과거 데이터독은 데이터의 '정확성'을 보장하기 위해 100% 완벽한 데이터가 수집될 때까지 쿼리 결과를 반환하지 않도록 시스템을 최적화했습니다. - 이러한 설계는 일부 노드가 다운되었을 때 시스템 전체가 응답을 멈추게 하여, 사용자에게는 플랫폼이 완전히 중단된 것처럼 보이는 이진적(Binary) 장애를 초래했습니다. - 고전적인 근본 원인 분석(RCA)을 통해 특정 트리거를 제거할 수는 있지만, 소프트웨어 업데이트, 인증서 만료 등 무한한 장애 원인을 모두 예방하는 것은 불가능하다는 결론에 도달했습니다. **우아한 성능 저하를 위한 새로운 우선순위** - 시스템 구성 요소가 완벽하게 작동해야만 가치를 제공하는 '결함 방지(Never-fail)' 아키텍처에서 '더 잘 실패(Fail better)'하는 구조로 전환했습니다. - 데이터 유실 방지: 처리가 늦어지더라도 고객의 데이터가 영구적으로 사라지지 않도록 보장합니다. - 실시간성 우선: 가용 자원이 부족할 때 오래된 데이터보다 실시간 데이터를 우선적으로 처리하여 현재 상태를 파악할 수 있게 합니다. - 부분 결과 제공: 모든 데이터가 준비되지 않았더라도 정확도가 확인된 범위 내에서 부분적인 데이터를 즉시 시각화합니다. **데이터 유실 방지를 위한 영구적 수집 저장소(Persistent Intake Storage)** - 장애 당시 메모리나 로컬 디스크에만 머물던 미복제 데이터가 노드 유실과 함께 사라졌던 문제를 해결하기 위해 파이프라인 초기 단계에 디스크 기반 영구 저장소를 도입했습니다. - 수집(Intake) 직후 데이터를 복제된 저장소에 즉시 기록함으로써, 후속 처리 시스템이 정체되거나 노드가 유실되더라도 데이터 손실 없이 재처리가 가능하도록 설계했습니다. - 이를 통해 네트워크 지연이나 하위 시스템의 과부하 상황에서도 데이터 수집 단계에서의 안정성을 확보했습니다. 모든 장애를 차단하려는 시도보다는, 장애 상황에서도 시스템이 어떻게 부분적으로나마 작동할 수 있을지를 설계 단계부터 고민해야 합니다. 대규모 분산 시스템을 운영한다면 데이터의 완전성(Completeness)과 가용성(Availability) 사이의 균형을 재검토하고, 최악의 순간에도 사용자에게 최소한의 가시성을 제공할 수 있는 복구 탄력성을 구축하는 것이 권장됩니다.

쿠버네티스system-designgraceful-degradationincident-analysis+4

datadog·2025년 10월 15일원문

장애는 피할 수 없다: 대규모 장애에서 배우고 Datadog에서 안정성을 심층적으로 구축하기 (새 탭에서 열림)

2023년 3월에 발생한 대규모 장애를 계기로 데이터독(Datadog)은 시스템 가용성에 대한 근본적인 철학을 재정립했습니다. 당시 인프라의 50~60%가 작동 불능 상태에 빠지자 플랫폼 전체가 완전히 멈춘 것처럼 보이는 '정사각형 파형(Square-wave) 실패' 패턴이 나타났으며, 이는 완벽한 데이터 정확성에만 집착하던 기존 설계의 한계를 드러냈습니다. 이에 데이터독은 모든 장애를 막으려는 시도 대신, 극단적인 상황에서도 일부 기능을 유지하며 가치를 제공하는 '우아한 성능 저하(Graceful Degradation)'를 핵심 전략으로 채택했습니다. ### 장애의 교훈: 정사각형 파형 실패의 발견 * **이진법적 실패:** 2023년 3월, 글로벌 보안 업데이트 과정에서 쿠버네티스 노드의 약 절반이 연결을 소실했습니다. 인프라의 절반은 여전히 작동 중이었음에도 불구하고, 사용자 입장에서는 서비스가 아예 응답하지 않거나 데이터가 전혀 보이지 않는 '전부 아니면 전무(All-or-Nothing)' 식의 장애가 발생했습니다. * **정확성 편향의 부작용:** 기존 시스템은 데이터의 정확성을 보장하기 위해 모든 태그와 메트릭이 완전히 처리될 때까지 쿼리 결과 표시를 대기하도록 설계되었습니다. 평상시에는 올바른 선택이지만, 대규모 장애 시에는 일부 데이터 누락이 전체 시스템의 데이터 가독성을 차단하는 결과를 초래했습니다. * **사후 분석의 한계:** 단순히 장애의 트리거(레거시 업데이트 메커니즘)를 제거하는 것만으로는 충분하지 않았습니다. 인증서 만료, 윤초, 설정 오류 등 장애의 원인은 무한하기 때문에, 원인 차단보다는 장애 발생 시 시스템이 어떻게 반응하느냐가 더 중요하다는 점을 깨달았습니다. ### 실패를 위한 설계: 우아한 성능 저하의 원칙 * **복구력 중심의 사고 전환:** 절대 실패하지 않는(Never-fail) 아키텍처는 불가능하다는 것을 인정하고, '더 잘 실패하는(Failing better)' 시스템을 구축하는 데 집중하기 시작했습니다. * **우선순위의 재정립:** 장애 상황에서도 고객의 비즈니스 연속성을 보장하기 위해 세 가지 원칙을 세웠습니다. ① 데이터는 늦더라도 절대 유실되지 않아야 한다. ② 가용한 자원은 실시간 데이터 처리에 우선 할당한다. ③ 아무것도 보여주지 않는 것보다 부정확하더라도 부분적인 결과를 보여주는 것이 낫다. ### 데이터 유실 방지를 위한 영구 흡수 저장소(Persistent Intake) * **메모리 기반 버퍼의 위험성:** 분석 결과, 초기 데이터 흡수(Intake) 단계에서 데이터가 메모리나 로컬 디스크에만 머물러 있다가 노드 장애 시 복구 불가능하게 유실되는 문제가 확인되었습니다. * **디스크 기반 영구 저장:** 데이터 처리 파이프라인의 가장 앞단에 디스크 기반의 복제 저장소를 도입했습니다. 이를 통해 수집 노드가 중단되더라도 데이터가 유실되지 않도록 보장하며, 다운스트림 시스템이 마비되었을 때도 버퍼 역할을 수행하여 데이터 에이전트의 재시도 실패를 방지합니다. * **지연 시간과 안정성의 균형:** 응답 속도를 위해 최적화되었던 기존 방식에서 벗어나, 데이터 수신 확인(Acknowledgment)을 보내기 전에 복제된 저장소에 안전하게 기록하는 구조로 변경하여 신뢰성을 높였습니다. ### 실용적인 결론 및 제언 대규모 시스템을 운영하는 엔지니어링 팀은 시스템의 **신뢰성(Reliability)**을 단순히 '장애가 없는 상태'로 정의해서는 안 됩니다. 시스템의 일부가 마비되더라도 핵심적인 기능은 작동을 멈추지 않도록 설계해야 합니다. 특히 데이터 정확성과 가용성 사이의 트레이드오프를 재검토하여, 장애 시나리오에서는 '완벽한 데이터'보다 '부분적이지만 즉각적인 가시성'을 제공하는 것이 비즈니스 관점에서 훨씬 유리할 수 있음을 명심해야 합니다.

데이터베이스 설계쿠버네티스data-loss-preventiongraceful-degradation+4

datadog·2025년 10월 1일·2분 읽기큐레이션 요약

Husky 쿼리 엔진 내부

제공된 내용은 Datadog이 Gartner의 「Observability Platforms」 매직 쿼드런트에서 Leader로 선정됐다는 홍보 문구와 Datadog 제품 메뉴 목록이 중심입니다. 따라서 관측 가능성 플랫폼의 평가 근거나 Husky Query 아키텍처의 기술적 내용은 본문에 포함되어 있지 않아 구체적인 분석은 어렵습니다. 링크의 실제 글 본문이 제공되어야 기술적인 요약이 가능합니다. ### Gartner 매직 쿼드런트 선정 - Datadog이 Gartner의 「Observability Platforms」 부문에서 Leader로 선정됐다고 소개합니다. - 연결된 링크는 Datadog의 Gartner 평가 관련 리소스 페이지입니다. - 평가 기준, 경쟁사 비교, Datadog이 Leader로 분류된 근거는 제공된 텍스트에 포함되지 않았습니다. ### Datadog의 제품 영역 제공된 메뉴는 Datadog이 단일 모니터링 도구가 아니라 여러 운영 영역을 통합하는 플랫폼임을 보여줍니다. - **인프라 모니터링**: 호스트, 메트릭, 컨테이너, Kubernetes, 네트워크, 서버리스, GPU, 클라우드 비용 등을 모니터링 - **애플리케이션 모니터링**: APM, 서비스 모니터링, 지속적 프로파일링, 동적 계측 제공 - **데이터 및 로그**: 데이터베이스, 데이터 스트림, 로그 관리, 데이터 품질, 민감정보 탐지 지원 - **보안**: 코드 보안, SAST, SCA, 클라우드 보안, SIEM, 워크로드 보호, API 보호 등 포함 - **디지털 경험**: 브라우저·모바일 RUM, 세션 리플레이, 신세틱 모니터링, 오류 추적 제공 - **소프트웨어 개발 및 서비스 관리**: CI 가시성, 테스트 최적화, 서비스 카탈로그, SLO, 인시던트 대응, 워크플로 자동화 지원 - **AI 기능**: AI 에이전트 관측성, GPU 모니터링, Bits AI, MCP 서버 및 AI 기반 조사 기능 제공 ### Husky Query 아키텍처 관련 정보 - 메뉴의 Product 링크에는 `husky-query-architecture`라는 경로가 포함되어 있습니다. - 그러나 Husky Query의 저장 구조, 쿼리 실행 방식, 확장성, 성능 개선 방법 등 실제 글의 내용은 제공되지 않았습니다. - 따라서 해당 아키텍처의 기술적 설계나 장단점은 현재 자료만으로 요약할 수 없습니다. 실제 블로그 본문을 붙여 주시면 Husky Query의 아키텍처, 데이터 처리 흐름, 성능 최적화 방식까지 섹션별로 구체적으로 정리할 수 있습니다.

원문 읽기(새 탭에서 열림)

쿠버네티스옵저버빌리티애플리케이션 성능 모니터링로그 관리+4

datadog·2025년 10월 1일원문

Husky 쿼리 엔진 내부: 100조 개 이벤트에 대한 실시간 액세스 (새 탭에서 열림)

Datadog은 매일 100조 개 이상의 이벤트와 수십억 개의 쿼리를 처리하기 위해 3세대 이벤트 저장소인 'Husky'를 구축했습니다. Husky의 쿼리 엔진은 고정된 스키마가 없고 데이터 볼륨이 가변적인 대규모 멀티테넌트 환경에서도 오브젝트 스토리지에 저장된 페타바이트급 데이터를 실시간으로 조회할 수 있도록 설계되었습니다. 이를 위해 시스템은 쿼리 플래너, 오케스트레이터, 메타데이터 서비스, 리더 서비스로 역할을 분산하여 성능과 비용 효율성을 동시에 달성했습니다. ### Husky의 데이터 모델과 주요 쿼리 패턴 Husky는 로그나 네트워크 트래픽과 같이 타임스탬프와 다양한 속성을 가진 '이벤트' 데이터를 저장하며, 서비스별로 상이한 데이터 형태를 유연하게 수용합니다. * **가변적인 스키마 지원:** 테넌트나 사용 사례(로그 vs 네트워크 데이터)에 따라 속성의 종류와 데이터의 크기가 극명하게 달성하더라도 효율적으로 처리할 수 있습니다. * **Needle-in-a-haystack 검색:** 수많은 데이터 중 특정 IP나 에러 메시지, 트레이스 ID 등을 찾아내는 고도로 선택적인 필터링 쿼리를 지원합니다. * **분석형(Analytics-style) 검색:** 특정 기간 동안의 서비스 지연 시간 추이나 지역별 매출 분석과 같이 대규모 데이터를 집계하여 시각화하는 쿼리를 최적화합니다. ### 쿼리 실행의 4단계 아키텍처 Husky의 쿼리 경로는 네 가지 핵심 서비스로 나뉘어 멀티테넌트 환경에서 안정적으로 동작합니다. * **쿼리 플래너(Query Planner):** 모든 쿼리의 진입점으로, 쿼리 유효성 검사 및 최적화를 수행합니다. 통계 데이터를 기반으로 쿼리를 시간 단위의 여러 단계로 분할하고 실행 결과를 최종 병합합니다. * **쿼리 오케스트레이터(Query Orchestrator):** 데이터 저장소의 관문 역할을 하며 메타데이터 조회, 프래그먼트(데이터 파일) 할당, 집계 조율을 담당합니다. 특히 '존 맵(Zone-map) 프루닝'을 통해 불필요한 데이터를 걸러냄으로써 다운스트림 작업량을 평균 30~60% 절감합니다. * **메타데이터 서비스(Metadata Service):** FoundationDB의 프런트엔드로서 데이터 컴팩션 중에도 쿼리 결과의 원자성(Atomicity)을 보장합니다. DB 내부 로직을 추상화하여 전체 쿼리 경로와 분리하는 역할을 합니다. * **리더 서비스(Reader Service):** 실제 오브젝트 스토리지에 저장된 프래그먼트에서 데이터를 읽어 응답을 반환하는 핵심 실행 엔진입니다. ### 리더(Reader) 서비스의 데이터 스캔 최적화 오브젝트 스토리지는 비용이 저렴하지만 읽기 속도가 느리므로, 리더 서비스는 "읽지 않아도 되는 데이터를 스캔하지 않는 것"을 최우선 목표로 삼습니다. * **행 그룹(Row Groups) 구조:** 수백만 행을 가진 대용량 프래그먼트를 '행 그룹' 단위로 물리적으로 배치하여 관리합니다. 이는 쿼리 실행 시 전체 파일을 메모리에 올리는 부담을 줄이고 메모리 부족(OOM) 오류를 방지합니다. * **입출력(I/O) 최소화:** 오브젝트 스토리지에 대한 GET 요청은 비용이 많이 들기 때문에, 쿼리에 꼭 필요한 행 그룹만 선택적으로 가져와 비용 효율성과 응답 속도를 극대화합니다. * **반복자 기반 실행 모델:** Volcano 모델에서 영감을 받은 반복자(Iterator) 방식을 사용하여 데이터를 효율적으로 스트리밍하며 처리합니다. Husky의 사례는 대규모 시계열 이벤트를 처리할 때 고정된 인덱스에 의존하기보다, 메타데이터 기반의 프루닝과 물리적인 데이터 레이아웃 최적화를 통해 오브젝트 스토리지의 한계를 극복할 수 있음을 보여줍니다. 저비용 고성능의 로그 분석 시스템을 설계한다면 데이터의 물리적 구조화와 단계별 쿼리 분산 처리가 핵심이 될 것입니다.

데이터베이스 설계data-architecturefoundationdbhusky+3