GitLab 셀프 호스팅을 위한 기밀 AI (새 탭에서 열림)
GitLab Self-Hosted 환경에서도 소스 코드를 외부에 노출하지 않고 AI 코딩 에이전트를 사용할 수 있다는 것이 글의 핵심 주장입니다. GitLab Duo의 AI Gateway를 Privatemode AI에 연결하면, 프롬프트와 코드가 하드웨어 기반 기밀 컴퓨팅 영역 안에서만 복호화·처리됩니다. 따라서 규제 산업은 자체 GPU·LLM 인프라를 운영하지 않고도 최신 AI 기능과 데이터 보안성을 함께 확보할 수 있습니다. ## 규제 조직이 AI 코딩 도입에 어려움을 겪는 이유 - GitLab Duo Agent Platform은 단순 자동완성을 넘어 다음과 같은 작업을 수행합니다. - 머지 리퀘스트 리뷰 - 여러 파일에 걸친 리팩터링 - 테스트 코드 생성 및 실행 - CI 작업으로 실행되는 에이전트형 워크플로 - 그러나 이러한 기능을 사용하려면 프롬프트, 소스 코드, 실행 컨텍스트가 모델 제공업체로 전송됩니다. - 금융, 의료·제약, 방위산업, 공공기관, 핵심 인프라 기업에서는 소스 코드가 지적 재산이자 규제 대상이므로 외부 AI 서비스 전송 자체가 문제가 될 수 있습니다. ## 데이터 주권과 규제 요구사항 - 소스 코드 처리 위치는 단순한 편의가 아니라 계약, 산업 규정, 데이터 보호법의 적용 대상입니다. - 관련 요구사항에는 다음이 포함됩니다. - NIS2와 DORA의 운영 복원력 및 제3자 위험 관리 - GDPR에 따른 코드와 로그 내 개인정보 처리 - 독일 금융권의 BaFin 감독 - 조달 기준으로 활용되는 BSI C5 - 의료 데이터 관련 규정 - 유럽 조직이 중시하는 데이터 주권 - GitLab Self-Hosted는 원래 코드를 신뢰할 수 있는 조직 내부 경계에 유지하기 위한 방식이므로, AI 기능 도입으로 이 경계를 무너뜨려서는 안 됩니다. ## 기존 AI 운영 방식의 한계 - **공개 AI SaaS** - 소스 코드가 외부 서비스로 이동하므로 규제 조직에서 사용하기 어렵습니다. - **VPC 또는 프라이빗 클라우드** - 네트워크 격리는 강화되지만 클라우드 운영자나 서비스 제공자가 평문 데이터를 처리할 가능성이 남습니다. - 계약상 비공개 약정은 보안에 대한 법적 약속일 뿐, 기술적으로 읽을 수 없게 만드는 보장은 아닙니다. - **자체 모델 및 GPU 운영** - 코드 프라이버시는 확보할 수 있지만 GPU 구매, 인프라 운영, 모델 업데이트, 전문 인력 확보 비용이 큽니다. - 최신 프론티어 모델과 성능 격차가 발생할 수 있습니다. - 결과적으로 많은 규제 조직은 AI를 제한적으로 도입하거나 아예 도입하지 못합니다. ## 하드웨어 기반 기밀 컴퓨팅 - 기밀 컴퓨팅은 데이터가 처리되는 동안에도 메모리 안의 데이터를 암호화합니다. - 하드웨어 기반 TEE(Trusted Execution Environment)가 CPU 또는 GPU 내부에 격리된 실행 영역을 제공합니다. - 사용되는 기술은 다음과 같습니다. - CPU 측: AMD SEV 또는 Intel TDX - GPU 측: NVIDIA Confidential Computing - 전송 및 저장 암호화: AES-256 - 운영체제, 하이퍼바이저, 서버 관리자, 클라우드 제공자도 TEE 내부 데이터를 직접 읽을 수 없습니다. ## 원격 검증과 암호화된 데이터 흐름 - 핵심 보안 장치는 **원격 검증(remote attestation)**입니다. - 클라이언트는 데이터를 보내기 전에 TEE에 다음을 증명하도록 요청합니다. - 어떤 하드웨어에서 실행 중인지 - 어떤 코드와 설정이 실행 중인지 - TEE는 서명된 암호학적 증거를 반환하고, 클라이언트는 이를 사전에 등록된 정상 값과 비교합니다. - 검증이 성공한 뒤에만 암호화 채널을 만들고 요청을 전송합니다. - 데이터는 다음과 같은 흐름으로 처리됩니다. - 클라이언트에서 프롬프트와 코드 암호화 - 암호문 상태로 네트워크 전송 - 원격 TEE 내부에서만 복호화 및 추론 - 서비스 운영자와 클라우드 제공자는 프롬프트·완성 결과·컨텍스트를 확인할 수 없음 - 이는 “보지 않겠다”는 계약이 아니라 하드웨어가 “볼 수 없게” 강제하는 보안 모델입니다. ## Privatemode AI의 역할 - Privatemode AI는 독일의 기밀 컴퓨팅 전문 기업 Edgeless Systems가 개발했습니다. - OpenAI 호환 API를 제공하므로 표준 `/v1` API를 사용하는 도구와 SDK를 그대로 연결할 수 있습니다. - 클라이언트 측 프록시가 다음 작업을 자동으로 처리합니다. - 원격 TEE 검증 - 요청 암호화 - Privatemode 서비스로의 전송 - 글에서 소개한 주요 코딩 모델은 다음과 같습니다. - Kimi K2.6 - 256K 컨텍스트 - 향후 Kimi K3, GLM 등 지원 예정 - Capgemini, 독일 연방고용청, 금융·보험·방위 조직 등에서 규제 환경의 기밀 코딩 용도로 사용되고 있다고 설명합니다. - 암호화는 포스트퀀텀 보안을 지원해, 현재 암호문을 수집한 뒤 미래의 기술로 복호화하려는 “지금 수집하고 나중에 복호화” 공격에도 대응합니다. ## GitLab Duo Self-Hosted 통합 방식 - GitLab Duo Self-Hosted는 GitLab이 관리하는 게이트웨이 대신 조직이 제어하는 AI Gateway를 사용할 수 있습니다. - 구성 흐름은 다음과 같습니다. - 개발자 및 GitLab Duo Agent Platform - 자체 호스팅 GitLab AI Gateway - Privatemode 프록시 - CPU·GPU 기반 원격 TEE - Privatemode 프록시는 OpenAI 호환 `/v1` 엔드포인트로 동작합니다. - 요청이 들어오면 프록시가: - 네트워크를 벗어나기 전에 요청을 암호화하고 - 원격 TEE를 검증한 뒤 - 검증된 환경으로 요청을 전달합니다. - 복호화와 모델 추론은 기밀 컴퓨팅 영역 내부에서만 수행됩니다. - 개발자는 Code Suggestions, Chat, Code Review, 에이전트형 작업 등 기존 GitLab Duo 기능을 동일한 방식으로 사용할 수 있습니다. ## 실용적인 결론 규제 대상 소스 코드를 다루면서 AI 코딩 기능을 도입해야 한다면, GitLab Duo Self-Hosted와 Privatemode AI의 조합은 자체 GPU 클러스터 없이도 검토할 만한 선택지입니다. 다만 실제 도입 전에는 TEE 지원 하드웨어, 원격 검증 절차, 키 관리, 로그 및 메타데이터 처리, 관련 규정에 대한 감사 증적을 별도로 검증해야 합니다.