voice-ai

2 개의 포스트

cloudflare4분 읽기큐레이션 요약

Cloudflare Workers와 Containers, 이제 인바운드 TCP 연결 및 gRPC 지원

Cloudflare는 Workers에 인바운드 TCP 소켓을 직접 처리하는 `connect(socket)` 기능과 컨테이너 기반의 양방향 gRPC 지원을 추가했습니다. 이를 통해 클라이언트의 TCP 연결을 Worker, Durable Object, Container로 전달하고, 다양한 언어로 작성된 gRPC 서버를 Cloudflare 네트워크에서 실행할 수 있습니다. 특히 저지연·양방향 통신이 중요한 음성 AI와 실시간 애플리케이션을 클라이언트 가까이에서 처리하는 것이 목표입니다. ## Workers의 인바운드 TCP 지원 - 기존 Workers는 주로 HTTP 요청을 처리하거나 아웃바운드 TCP 연결을 생성하는 방식이었지만, 이제 `connect(socket)` 핸들러로 들어오는 TCP 연결을 받을 수 있습니다. - 소켓은 `readable`과 `writable` 스트림으로 제공되며, 다음과 같이 데이터를 읽고 쓸 수 있습니다. - `socket.writable.getWriter()`로 데이터 전송 - `socket.readable.pipeTo(...)`로 다른 소켓에 데이터 전달 - TCP 연결을 Worker에서 직접 종료하거나, 다른 Worker·Durable Object·Container로 라우팅할 수 있습니다. ## Durable Objects와 Container로 소켓 전달 - Worker는 Durable Object의 `connect()` 메서드를 호출해 인바운드 소켓을 특정 객체로 전달할 수 있습니다. - Durable Object는 양방향 스트림을 연결해 클라이언트와 서버 사이의 바이트를 그대로 중계할 수 있습니다. - Durable Object에서 Container의 TCP 포트에 연결한 뒤 다음과 같이 양방향 파이프를 구성합니다. - 클라이언트 → Container - Container → 클라이언트 - Container에서는 Python, Go 등 원하는 언어와 TCP 서버 구현을 사용할 수 있습니다. - 따라서 특정 RPC 프레임워크에 종속되지 않고, TCP를 사용하는 어떤 프로토콜이나 프로그램도 Cloudflare에서 처리할 수 있습니다. ## Spectrum을 이용한 TCP 진입점 - Cloudflare Spectrum은 HTTP가 아닌 TCP·UDP 트래픽을 Cloudflare 네트워크로 받아들이는 인그레스 프록시입니다. - 새로운 Spectrum 애플리케이션 유형에서는 유입된 TCP 연결을 지정한 Worker의 `connect(socket)` 핸들러로 전달할 수 있습니다. - 결과적으로 클라이언트부터 Cloudflare Worker, Durable Object, Container 내부 서버까지 전체 네트워크 경로를 제어할 수 있습니다. ## Cloudflare Containers의 양방향 gRPC - gRPC는 HTTP/2와 TCP를 기반으로 하는 RPC 프레임워크로, 모바일 앱·분산 시스템·음성 AI 서비스에서 널리 사용됩니다. - 실시간 음성 애플리케이션은 단일 연결에서 클라이언트와 서버가 모두 지속적으로 메시지를 보내야 하므로 양방향 스트리밍이 중요합니다. - Cloudflare의 새 기능을 사용하면 다음과 같은 gRPC 서버를 Container에 배포할 수 있습니다. - 모든 언어로 작성된 gRPC 서버 - 클라이언트와 서버 간 full-duplex 양방향 스트리밍 - 지속적인 단일 TCP 연결 - 예시 gRPC 서버는 연결 직후 `connected` 메시지를 보내고, 클라이언트 메시지마다 `echo` 응답을 보내며, 연결 종료 시 `goodbye` 메시지를 전송합니다. - Cloudflare는 330개 이상의 위치에서 요청을 처리하므로, 서버를 사용자와 가까운 위치에서 실행해 지연 시간을 줄일 수 있습니다. ## Workers 기반 gRPC API - Workers에서는 gRPC 서버를 직접 구현하거나 기존 gRPC 서버를 호출할 수 있습니다. - 개발자는 `gRPC-web` 방식으로 코드를 작성하고, Cloudflare가 요청과 응답을 실제 gRPC 형식으로 변환합니다. - 지원 범위에는 다음이 포함됩니다. - 단일 요청·응답 방식인 unary RPC - 서버가 여러 메시지를 보내는 server-streaming RPC - Container로 소켓을 직접 전달하는 양방향 스트리밍 gRPC - 이 기능을 활용하면 기존 gRPC 생태계를 유지하면서 Cloudflare의 글로벌 네트워크와 Workers의 라우팅 기능을 함께 사용할 수 있습니다. ## 음성 AI와 실시간 서비스에 대한 의미 - AI 음성 비서, 실시간 받아쓰기, 음성 기반 에이전트는 모델·클라이언트·지원 서비스 사이의 낮은 지연 시간이 필수적입니다. - WebSockets와 Durable Objects도 적합하지만, 이미 gRPC를 사용하는 기존 시스템은 새 인프라로 전면 재작성할 필요가 줄어듭니다. - Cloudflare는 TCP 연결을 직접 전달하므로 음성 데이터나 스트리밍 추론 요청처럼 연결을 오래 유지하는 서비스에 적합합니다. - 해당 기능은 현재 프라이빗 베타로 제공되며, 사용을 위해 별도 신청이 필요합니다. 실시간 음성 AI나 기존 gRPC 시스템을 Cloudflare에 배포하려는 경우, `connect(socket)`을 이용해 Worker–Durable Object–Container 간 양방향 스트림을 구성하는 방식이 유용합니다. 다만 현재는 프라이빗 베타이므로 실제 도입 전 지원 프로토콜, 연결 수명, 지연 시간, 비용 및 운영 제한을 확인하는 것이 좋습니다.

원문 읽기(새 탭에서 열림)
aws원문

Amazon Bedrock AgentCore (새 탭에서 열림)

Amazon Bedrock AgentCore는 AI 에이전트가 자율적으로 동작할 때 발생할 수 있는 보안 및 품질 제어 문제를 해결하기 위해 정책 제어와 품질 평가 등 새로운 기능을 도입했습니다. 이를 통해 개발자는 에이전트의 권한을 세밀하게 제한하고 실제 운영 환경에서의 성능을 지속적으로 모니터링함으로써, 기업용 수준의 신뢰할 수 있는 AI 에이전트를 대규모로 안전하게 배포할 수 있습니다. **신규 정책 제어(Policy)를 통한 보안 경계 구축** * AgentCore Gateway를 활용하여 에이전트가 도구(Tool)를 호출하기 직전에 정책에 따른 세밀한 권한 검사를 수행함으로써 부적절한 데이터 접근이나 승인되지 않은 작업을 차단합니다. * 정책 제어는 에이전트의 자체 추론 루프(Reasoning Loop) 외부에서 독립적으로 작동하므로, 에이전트의 판단과 상관없이 비즈니스 가드레일을 강제로 적용할 수 있습니다. * 에이전트를 통제 가능한 자율적 행위자로 정의하여 민감한 시스템이나 데이터와 상호작용할 때 발생할 수 있는 리스크를 최소화합니다. **품질 평가(Evaluations)를 활용한 에이전트 신뢰도 검증** * 에이전트의 실제 행동 데이터를 기반으로 정확성(Correctness)과 유용성(Helpfulness) 등의 핵심 지표를 측정할 수 있는 기본 평가 도구를 제공합니다. * 기업의 특정 비즈니스 요구사항에 맞춘 커스텀 평가 지표를 생성하여 실제 고객 대응이나 내부 업무 프로세스에 적합한지 정밀하게 분석할 수 있습니다. * 에이전트 배포 전후의 성능을 정량화함으로써 불확실성을 제거하고 지속적인 품질 개선을 위한 데이터 기반의 인사이트를 확보합니다. **메모리 및 런타임 기능 확장을 통한 사용자 경험 강화** * **에피소드형 메모리(Episodic Memory):** 에이전트가 과거의 경험을 장기적으로 기억하고 학습하여, 유사한 상황이 발생했을 때 일관성 있고 최적화된 해결책을 제시할 수 있도록 돕습니다. * **양방향 스트리밍(Bidirectional Streaming):** 사용자와 에이전트가 동시에 말을 주고받는 자연스러운 대화 흐름을 지원하여 실시간 음성 에이전트 서비스의 반응성을 높였습니다. AI 에이전트의 강력한 자율성을 비즈니스 현장에 도입하려는 조직은 AgentCore의 새로운 정책 제어와 평가 기능을 통해 운영 안정성을 확보해야 합니다. 특히 대규모 데이터 처리나 실시간 고객 응대가 필요한 환경에서는 에피소드형 메모리와 양방향 스트리밍 기능을 결합하여 단순한 챗봇 이상의 고도화된 에이전트 서비스를 구축할 것을 추천합니다.