딥러닝

26 개의 포스트

google4분 읽기큐레이션 요약

픽셀에서 계획으로: 자연 복원을 위한 지구 AI

고해상도 딥러닝과 위성·LiDAR 데이터를 활용하면 기존 산림 조사에서 놓치던 생울타리, 방풍림, 작은 숲과 같은 미세한 생태 요소를 정밀하게 지도화할 수 있다. Google Research는 영국 전역의 픽셀 기반 지도인 *Farmscapes 2020*을 생태적 의미를 가진 벡터 데이터로 변환해, 탄소 저장량과 생물다양성 관리에 직접 활용할 수 있는 인벤토리를 공개했다. 이는 농경지를 크게 전환하지 않고도 기후변화와 생태계 훼손에 대응하는 방법을 제시한다. ## 농업과 자연 복원의 충돌 - 인구 증가로 식량 생산을 위한 농경지가 필요하지만, 대규모 산림 조성은 농업용지와 경쟁할 수 있다. - 한 지역의 보전 활동이 다른 지역의 개발이나 훼손을 유발하는 ‘누출(leakage)’ 문제도 발생할 수 있다. - 생울타리, 방풍림, 작은 숲과 같은 세밀한 목본 구조물은 농작물 생산을 크게 방해하지 않으면서 다음과 같은 기능을 제공한다. - 탄소 저장 - 수질 정화 - 야생동물 서식지와 이동 통로 제공 - 농경지 생태계의 연결성 강화 - 그러나 이러한 요소는 규모가 작아 기존 국가 단위 산림 조사나 일반 위성 분석에서 산림으로 인식되지 않는 경우가 많다. ## 픽셀 지도에서 활용 가능한 벡터 데이터로 - 기존 *Farmscapes 2020*은 영국 전역의 미세한 목본 지형을 식별한 고해상도 래스터, 즉 픽셀 기반 지도였다. - 래스터 데이터는 탐지에는 유용하지만, 실제 복원 사업이나 탄소 회계에 활용하려면 개별 객체의 경계와 유형을 가진 벡터 데이터가 필요하다. - 새 벡터 데이터셋은 다음 요소를 개별 도형으로 표현한다. - 생울타리 - 돌담 - 작은 숲과 나무 군락 - 선형 목본 통로 - 이를 통해 토지 소유자와 보전 기관은 특정 생태 요소의 위치와 규모를 파악하고, 보호·확장 계획을 세울 수 있다. ## 복잡한 농촌 지형을 표현하는 기술적 과제 - 농촌의 지형 요소는 서로 독립적이지 않다. - 생울타리가 밭 경계를 따라 형성될 수 있다. - 돌담이 생울타리 아래에 겹쳐 있을 수 있다. - 단일 레이어 모델은 지표면의 경계와 그 위에 존재하는 나무·벽을 동시에 표현하기 어렵다. - 대규모 지도를 S2 셀 단위로 나누어 처리하면, 셀 경계에서 하나의 생울타리나 숲이 인위적으로 잘리는 문제가 생긴다. - 영국 전역 13만㎢ 이상에서 수백만 개의 목본 요소를 처리해야 하므로, 일반적인 래스터-벡터 변환 방식은 계산량과 저장 공간 측면에서 비효율적이다. ## 사전 학습된 AI로 적은 학습 데이터 보완 - 영국 농촌의 생울타리처럼 구체적인 지형 유형을 학습시키려면 전문적으로 주석 처리된 데이터가 필요하지만, 확보된 데이터는 약 247㎢에 불과했다. - 연구진은 3억 장 이상의 전 세계 위성 이미지를 학습한 Remote Sensing Foundations의 Vision Transformer(ViT) 백본을 활용했다. - 전 세계 지형의 질감과 공간 패턴을 미리 학습한 모델을 영국의 특정 경관에 맞게 미세 조정해, 적은 주석 데이터로도 높은 정밀도를 확보했다. - 이 방식은 특정 지역의 데이터가 부족한 경우에도 대규모 지리 공간 모델을 적용할 수 있게 한다. ## 이중 레이어와 셀 경계 병합 - 지표면과 지상 구조물을 분리해 표현하기 위해 두 종류의 데이터를 함께 사용했다. - 서브미터급 영상: 밭, 물, 토지 경계 등 지표면 정보 - 1미터 LiDAR: 나무와 돌담처럼 지표면 위에 있는 구조물 정보 - 이중 레이어 라벨링을 통해 같은 위치에서 지면의 용도와 그 위의 목본·인공 구조물을 동시에 파악했다. - S2 셀별로 나뉜 도형은 별도의 확장 가능한 병합 알고리즘으로 연결했다. - 그 결과 셀 경계에서 잘린 객체도 하나의 완전한 지형 요소로 복원할 수 있었다. ## 기하학으로 생태적 기능 분류 - AI가 식생을 탐지하는 것만으로는 작은 숲과 긴 생울타리를 구분하기 어렵다. - 연구진은 도형의 형태를 수치화하는 Polsby–Popper 조밀도(compactness) 점수를 사용했다. - 형태별 분류 기준은 다음과 같다. - **산림:** 지름 30m 이상의 크고 연속적인 수관 - **목본 패치:** 작은 숲, 나무 군락, 개별 나무 - **선형 목본 요소:** 길고 좁은 형태를 가지며 조밀도 점수가 0.5 미만인 생울타리·생태 통로 - 이 방법으로 단순한 ‘녹색 영역’이 아니라 야생동물 이동에 중요한 선형 통로를 별도로 추출할 수 있었다. ## Google Earth Engine을 통한 전국 규모 처리 - 수백만 개의 지형 객체를 한꺼번에 처리하기 위해 Google Earth Engine을 사용했다. - 수천 개의 S2 셀을 병렬 처리해 기존 시스템의 계산 한계를 우회했다. - 이를 통해 영국 전역의 개별 목본 요소를 벡터 도형으로 변환하고, 대규모 자연 복원에 사용할 수 있는 데이터셋을 구축했다. ## 향후 활용 가능성 - 고정밀 탐지 기술은 실바목축(silvopasture), 혼농임업(agrisilviculture) 같은 자연 기반 해법에서 세밀한 목본 요소의 탄소·생태 가치를 산정하는 데 활용될 수 있다. - 보전 사업 주변에서 발생하는 누출, 즉 사업 지역 밖에서 탄소 저장이나 생물다양성 손실이 발생하는 현상도 감시할 수 있다. - 공개 데이터는 농민, 과학자, 정책 입안자가 기존 농경지를 크게 훼손하지 않고 생울타리와 작은 숲을 보호·확장하는 데 도움을 줄 수 있다. 이 사례는 자연 복원이 반드시 대규모 산림 조성만을 의미하지 않으며, 농경지 곳곳의 작은 생태 요소를 정확히 측정하고 관리하는 것에서도 시작될 수 있음을 보여준다. 이를 실제 사업에 적용할 때는 벡터 데이터와 현장 조사, 탄소·생물다양성 지표를 함께 검증하는 것이 바람직하다.

원문 읽기(새 탭에서 열림)
toss5분 읽기큐레이션 요약

얼굴 인식의 역사와 페이스페이의 미래

얼굴인식은 1960년대 수작업 특징점 분석에서 출발해, PCA 기반 Eigenface와 LBP 같은 전통적 컴퓨터 비전 기술을 거쳐 딥러닝 기반 생체인증으로 발전했습니다. 대규모 데이터셋과 FaceNet·ArcFace 등의 학습 기법으로 인식 정확도가 인간 수준을 넘어섰고, 이제는 결제 서비스에도 적용되고 있습니다. 얼굴결제의 핵심 과제는 빠른 인식뿐 아니라 개인정보 보호, 위조 방지, 결제 오류 대응까지 함께 해결하는 것입니다. ## 수작업에서 시작된 얼굴인식 - 1960년대 Woodrow Wilson Bledsoe는 사진만으로 사람을 식별하는 비밀 프로젝트를 수행했습니다. - 연구원들이 눈 사이 거리, 코와 입술 사이 거리, 귀의 위치 등 얼굴 특징점의 좌표를 직접 기록했습니다. - 컴퓨터는 계산만 담당하고, 특징을 찾고 입력하는 작업은 사람이 수행했습니다. - 이 연구는 얼굴을 수치화해 비교한다는 초기 개념을 제시했지만, 당시에는 기밀로 분류되었습니다. ## 기계가 얼굴 특징을 찾기 시작하다 - 1973년 Takeo Kanade는 컴퓨터가 이미지에서 눈·코·입의 위치를 자동으로 검출하는 시스템을 발표했습니다. - 얼굴 요소 간의 기하학적 관계를 여러 파라미터로 추출해 사람의 수작업을 줄였습니다. - 얼굴 이미지에서 컴퓨터가 스스로 의미 있는 정보를 추출할 수 있다는 가능성을 열었습니다. ## Eigenface와 저차원 얼굴 표현 - 1991년 Matthew Turk와 Alex Pentland는 PCA를 활용한 Eigenface 방법을 제안했습니다. - 여러 얼굴 이미지의 평균 얼굴을 만든 뒤, 각 얼굴이 평균에서 얼마나 벗어나는지 분석했습니다. - 얼굴을 여러 Eigenface의 조합과 가중치로 표현해 비교했습니다. - 두 얼굴의 조합 비율이 비슷하면 동일 인물일 가능성이 높다고 판단합니다. - 고차원 이미지 데이터를 비교적 작은 수의 수학적 요소로 압축했다는 점에서 중요한 전환점이었습니다. ## 조명 문제와 전통적 특징 추출 - 같은 사람도 조명, 그림자, 촬영 장소에 따라 매우 다르게 보이는 문제가 있었습니다. - 얼굴 전체를 비교하는 대신 작은 영역의 질감과 패턴을 분석하는 국소 특징 기반 방법이 발전했습니다. - LBP(Local Binary Pattern)는 각 픽셀을 주변 픽셀과 비교해 밝고 어두운 관계를 이진 코드로 표현합니다. - 절대적인 밝기보다 얼굴의 질감에 집중해 조명 변화에 상대적으로 강한 특징을 얻었습니다. - SVM은 특징 공간에서 사람을 구분하는 경계면을 찾았고, AdaBoost는 여러 약한 분류기를 결합해 성능을 높였습니다. - 다만 특징을 어떤 방식으로 추출할지는 여전히 사람이 설계해야 했습니다. ## 딥러닝이 정확도를 끌어올리다 - 2014년 Facebook의 DeepFace는 LFW 데이터셋에서 97.35%의 정확도를 기록해 인간 수준에 근접했습니다. - 심층 신경망이 대규모 얼굴 이미지에서 사람이 직접 설계하지 않은 특징을 학습했습니다. - Google FaceNet은 Triplet Loss를 사용해 LFW에서 99.63%의 정확도를 달성했습니다. - 이후 SphereFace, CosFace, ArcFace 등이 얼굴 특징을 더 잘 분리하는 학습 방식을 제안했습니다. - 연구의 초점은 얼굴인식의 가능성 검증에서 더 높은 정확도와 안정성 확보로 이동했습니다. ## 대규모 데이터셋의 역할 - 딥러닝 모델의 성능은 데이터의 양과 다양성, 품질에 크게 좌우됩니다. - FERET은 1,199명, 14,126장의 이미지로 구성되어 얼굴인식 알고리즘을 객관적으로 비교할 기반을 마련했습니다. - LFW는 인터넷에서 수집한 5,749명, 13,233장의 사진으로 조명·각도·표정이 다양한 실제 환경을 반영했습니다. - VGGFace는 2,600명, 약 270만 장의 이미지로 딥러닝 시대의 데이터 규모 확대를 보여주었습니다. - MS-Celeb-1M은 대규모 데이터 구축의 가능성을 보였지만 개인정보 보호 문제로 공식 배포가 중단되었습니다. - WebFace260M은 2억 6천만 장의 원본 이미지에서 노이즈를 정제해 약 200만 명, 4,200만 장 규모의 데이터셋을 구축했습니다. - 데이터 규모뿐 아니라 잘못된 라벨과 중복·노이즈를 제거하는 정제 과정도 중요합니다. ## 얼굴이 결제 수단이 되다 - 얼굴인식은 스마트폰 잠금 해제, 출입국 심사, 출입 통제 등을 넘어 결제 영역으로 확장되었습니다. - 결제는 단순 인증보다 높은 보안성과 낮은 오인식률이 필요합니다. - 토스 페이스페이는 2025년 9월 한국에서 얼굴 결제 서비스를 시작했습니다. - 결제 수단은 동전·지폐·카드·스마트폰을 거쳐, 아무것도 소지하지 않는 방향으로 발전하고 있습니다. - 얼굴은 항상 지니고 있고, 손을 자유롭게 사용할 수 있으며, 지갑이나 앱을 꺼내는 과정이 없어 빠릅니다. ## 페이스페이의 결제 처리 흐름 - 단말기 카메라가 사용자의 얼굴을 촬영하고 등록된 고객인지 식별합니다. - 등록된 수백만 명 중에서 사용자를 빠르게 검색해야 하며, 미등록 사용자나 유사 얼굴에 대해서는 결제를 거부하거나 추가 인증을 요구할 수 있습니다. - 식별된 사용자에게 등록된 신용카드·체크카드 등 결제 수단을 연결합니다. - 사용자가 결제 수단을 직접 선택하도록 구성할 수도 있습니다. - 이후 기존 카드 결제처럼 승인 요청과 결제 완료 절차가 진행됩니다. ## Edge와 Cloud를 결합한 시스템 설계 - 단말기에서 처리하면 네트워크 지연이 적고 원본 이미지가 외부로 전송되지 않아 프라이버시에 유리합니다. - 반면 단말기의 하드웨어 제약으로 모델 크기와 정확도에 한계가 있고, 모델 업데이트와 고객 정보 동기화가 어렵습니다. - 서버에서 처리하면 강력한 GPU와 최신 모델을 사용할 수 있으며, 중앙에서 모델과 로그를 관리하기 쉽습니다. - 대신 이미지 전송 지연과 서버 통신 보안 문제가 발생합니다. - 페이스페이는 단말기에서 초기 처리를 수행한 뒤 서버에서 얼굴 특징 추출·인식·결제를 진행하는 혼합 구조를 사용합니다. - 이를 통해 단말기 처리의 속도와 서버 처리의 정확성·관리 편의성을 함께 확보합니다. ## 다층적인 개인정보 보호와 보안 - 단말기와 서버 간 통신은 TLS로 암호화하고, 이미지 자체에도 AES-256 암호화를 적용합니다. - Matrix Projection 기반의 취소 가능한 생체인증을 사용해 동일한 얼굴도 키에 따라 다른 벡터로 변환합니다. - 생체 벡터가 유출되더라도 키를 변경해 새로운 벡터를 발급할 수 있어 비밀번호 변경과 유사한 대응이 가능합니다. - 저장된 특징 정보는 원본 얼굴 이미지와 직접 대응하지 않으며, 해당 정보만으로 얼굴을 복원하기 어렵게 설계됩니다. - 생체정보 접근 권한을 제한하고 모든 접근을 기록·관리합니다. - 개인정보보호위원회의 사전 적정성 검토와 부정 결제 전액 보상 제도 등 기술 외 제도적 보호장치도 함께 활용합니다. ## 실용적인 결론 얼굴결제는 편리함만으로 완성되는 기술이 아니라, 정확한 얼굴인식 모델과 대규모·정제 데이터, Edge-Cloud 분산 구조, 암호화와 취소 가능한 생체인증, 제도적 보상 체계가 함께 작동해야 합니다. 사용자는 편리성을 누리되, 등록·이용 전 개인정보 처리 방식과 부정 결제 보상 정책, 추가 인증 수단을 확인하는 것이 좋습니다.

원문 읽기(새 탭에서 열림)
google4분 읽기큐레이션 요약

스마트폰 카메라를 활용한 수동적 심장 건강 모니터링을 향하여

스마트폰 전면 카메라로 일상적인 얼굴 영상을 촬영해 심박수(HR)와 안정시 심박수(RHR)를 수동 개입 없이 추정하는 연구 시스템 PHRM이 소개되었습니다. PHRM은 8초 영상과 딥러닝을 활용해 심전도(ECG) 대비 HR 오차 10% 미만을 달성했고, 하루 단위 RHR도 웨어러블 수준의 정확도로 추정했습니다. 특히 다양한 피부색을 포함한 대규모 데이터로 학습해 피부색에 따른 성능 격차를 줄인 점이 핵심입니다. ## 스마트폰을 활용한 수동 심박 모니터링 - 심박수는 활동량, 스트레스, 질병 등 생리 상태를 반영하는 주요 생체 지표입니다. - 안정시 심박수는 심혈관 건강과 장기적인 건강 위험을 나타내며, 높은 RHR이나 장기적 상승은 심혈관 질환 및 사망 위험 증가와 관련됩니다. - PHRM은 얼굴 잠금 해제 직후 전면 카메라로 약 8초간 얼굴 영상을 촬영합니다. - 사용자가 별도로 손가락을 카메라에 대거나 측정을 시작하지 않아도 일상적인 스마트폰 사용 중 데이터를 수집합니다. - 스마트폰은 전 세계 약 50억 명이 사용하는 기기이므로 웨어러블 접근성이 낮은 환경에서 건강 모니터링을 확대할 가능성이 있습니다. ## 카메라 기반 PPG와 PHRM 기술 - PHRM은 광용적맥파(PPG) 원리를 사용합니다. - 혈액이 맥박에 따라 흐를 때 피부와 빛의 상호작용이 변하는 현상을 카메라로 감지합니다. - 얼굴 영상에서 심박 신호를 추출하는 원격 PPG(rPPG) 모델을 적용합니다. - 기기 내에서 실행 가능한 효율적인 시계열 이동 합성곱 신경망을 사용해 HR과 예측 신뢰도 점수를 계산합니다. - 하루 동안 얻은 여러 HR 측정값을 신뢰도 점수와 칼만 필터로 통합해 일일 RHR을 추정합니다. - 웨어러블처럼 지속적으로 착용해야 하는 센서가 아니라 스마트폰 사용 순간에 자연스럽게 측정하는 방식입니다. ## 피부색 다양성을 고려한 모델 설계 - 기존 rPPG 연구는 소규모·통제된 환경에 치우쳤고, 어두운 피부를 가진 참가자가 충분히 포함되지 않았습니다. - 멜라닌은 카메라가 PPG 신호를 감지하기 어렵게 만들 수 있어 피부색별 정확도 격차가 발생할 수 있습니다. - PHRM은 약 700명의 참가자로부터 35만 개 이상의 영상 클립을 수집했습니다. - 피부색 분포를 Monk Skin Tone 기준으로 설계했습니다. - 밝은 피부 그룹: 최소 25% - 중간 피부 그룹: 최소 25% - 어두운 피부 그룹: 최소 33% - 가장 측정이 어려운 사례에 더 많은 학습을 할당했습니다. - 피부색 그룹별 HR MAPE 차이가 5%포인트 미만이어야 한다는 비열등성 기준을 설정했습니다. ## 실험실 검증 결과 - 365명의 다양한 참가자로부터 조명과 활동 상태가 다른 환경에서 얼굴 영상과 ECG를 동시에 수집해 학습했습니다. - 별도의 104명 테스트 세트에서 최소 신뢰도 기준을 적용한 뒤 모든 피부색 그룹에서 MAPE 10% 미만을 기록했습니다. - 같은 데이터에서 비교한 15개 주요 rPPG 모델보다 우수한 성능을 보였습니다. - 모든 피부색 그룹에서 MAPE 10% 미만을 달성한 모델은 PHRM뿐이었습니다. - 신뢰도 점수가 낮은 측정값을 제외하는 confidence gating이 정확도 개선에 기여했습니다. ## 실제 생활 환경에서의 검증 - 231명이 개인 스마트폰에 연구 앱을 설치하고 8일 동안 평소처럼 사용했습니다. - 참가자들은 ECG 흉부 스트랩과 Fitbit Charge 6를 함께 착용해 비교 기준 데이터를 제공했습니다. - 얼굴 잠금 해제 직후 하루 평균 231개의 8초 영상 클립을 수집했습니다. - 참가자는 매일 영상 내용을 검토한 뒤 서버 업로드를 명시적으로 승인했습니다. - 민감한 장면이나 다른 사람의 얼굴이 포함된 영상은 제외할 수 있었습니다. - 데이터는 암호화된 보안 서버에 업로드되었습니다. - 별도로 확보한 101명 검증 세트에서 신뢰도 필터 적용 후 전체 MAPE는 6.09%였습니다. - 밝은 피부 그룹: 5.04% - 중간 피부 그룹: 5.12% - 어두운 피부 그룹: 7.84% - ECG 대비 평균적으로 HR을 0.64bpm 낮게 추정했으며, 95% 일치 한계는 -11.3~10.3bpm이었습니다. - 실제 생활 환경에서도 기존 15개 rPPG 모델보다 크게 우수했고, 모든 피부색 그룹에서 MAPE 10% 미만을 유지했습니다. ## 일일 안정시 심박수 추정 - PHRM은 하루 중 여러 번 측정한 심박수를 단순 평균하지 않고 신뢰도와 시간적 변동을 함께 고려합니다. - 칼만 필터를 사용해 잡음이 있는 개별 측정값을 통합하고 하루의 RHR을 추정합니다. - 연구 결과 일일 RHR 추정 정확도는 웨어러블 추적기와 비교해 평균 절대 오차(MAE) 5bpm 미만으로, 웨어러블 수준에 해당했습니다. - 따라서 스마트폰 사용만으로 장기적인 심박 변화와 건강 추세를 관찰할 가능성을 보여줍니다. ## 연구 데이터와 남은 과제 - 연구진은 지금까지 공개된 스마트폰 영상 기반 rPPG 데이터셋 중 가장 크고 다양한 데이터셋을 공개했습니다. - 자격을 갖춘 연구자는 데이터셋과 사전 학습 모델인 ‘PHRM-mini’에 접근을 신청할 수 있습니다. - 다만 연구 시스템은 스마트폰 전면 카메라가 얼굴을 안정적으로 촬영할 수 있어야 하며, 조명·움직임·카메라 성능에 따라 결과가 달라질 수 있습니다. - PHRM은 연구용 시스템이므로 질병 진단이나 응급 판단을 대신하는 의료기기로 사용해서는 안 됩니다. 스마트폰 카메라 기반 PHRM은 웨어러블이 없어도 심박수와 RHR을 수동적으로 추적할 수 있는 현실적인 접근입니다. 특히 피부색 다양성을 반영한 학습과 실제 생활 환경 검증이 강점이며, 향후에는 개인정보 보호, 배터리·성능 부담, 다양한 기기에서의 일관성 검증이 상용화의 핵심 과제가 될 것입니다.

원문 읽기(새 탭에서 열림)
google원문

글로벌 파트너십과 오픈 리소스를 통한 과학적 영향력 촉진 (새 탭에서 열림)

구글 리서치는 책임감 있고 포용적이며 엄격한 연구 원칙을 바탕으로 오픈 사이언스를 추진하며, 전 지구적 파트너십과 공개 리소스를 통해 과학적 발견의 가속화를 도모하고 있습니다. 오픈소스 소프트웨어와 데이터셋을 공유함으로써 연구자들이 성과를 재현하고 확장할 수 있는 환경을 조성하며, 이는 단순히 기술적 혁신에 머무르지 않고 전 세계적인 사회적 진보를 이끄는 촉매제 역할을 합니다. 구글은 트랜스포머 아키텍처부터 전문화된 의료 및 기후 모델에 이르기까지 다양한 자원을 공개하여 전 세계 연구 생태계의 역량을 강화하는 데 집중하고 있습니다. **글로벌 파트너십과 연구 생태계 협력** * 유씨 산타크루즈(UCSC) 유전체 연구소, 자넬리아 연구 캠퍼스, 인도 의학 연구소(AIIMS) 등 전 세계 주요 기관과 협력하여 전문 분야별 연구를 심화하고 있습니다. * 인간 범유전체 연구 컨소시엄(HPRC), 지구 바이오게놈 프로젝트(EBP), NIH BRAIN 이니셔티브와 같은 거대 글로벌 컨소시엄에 참여하여 인류 공통의 과제 해결에 기여합니다. * 인도, 한국, 일본, 호주를 시작으로 지역별 과학 개발자 커뮤니티를 구축하기 위한 투자를 확대하여 실질적인 기술 실천 공동체를 형성하고 있습니다. **분야별 핵심 오픈소스 도구 및 데이터셋** * **유전체학:** DeepVariant, DeepConsensus, DeepPolisher 등 딥러닝 기반 도구를 통해 DNA 분석의 정밀도를 높였으며, 이를 통해 전 세계적으로 250만 명의 전장 유전체 분석을 지원했습니다. * **뇌과학:** 1.4페타바이트 규모의 인간 뇌 조직 데이터셋(H01)과 쥐 시각 피질 지도(MICrONS)를 공개했으며, Neuroglancer 및 TensorStore 같은 도구로 페타스케일의 고해상도 뇌 지도를 탐색하고 분석할 수 있게 했습니다. * **지구 및 기상 모델링:** 18억 개의 건물 감지 데이터를 포함한 'Open Buildings', 하이브리드 기상 모델인 'NeuralGCM', 산불 연구를 위한 'FireBench' 등을 통해 기후 변화 대응과 재난 예측을 돕고 있습니다. * **헬스케어:** MedGemma를 포함한 의료용 파운데이션 모델(HAI-DEF)은 480만 회 이상의 다운로드를 기록 중이며, '오픈 건강 스택(OHS)'은 10개국 이상에서 6,500만 명의 수혜자를 위한 디지털 건강 솔루션 구축에 활용되고 있습니다. **오픈 사이언스가 창출한 실질적 성과** * **유전체 연구 혁신:** UCSC와의 협업을 통해 유전적 변이 식별 오류를 50% 줄였으며, 이는 인류의 다양성을 보다 정확하게 반영하는 범유전체 참조 자료 구축으로 이어졌습니다. * **기상 예측과 농업 지원:** 시카고 대학교 연구팀은 NeuralGCM을 활용해 인도 몬순의 시작을 한 달 전 예측하는 데 성공했으며, 이 정보는 3,800만 명의 인도 농민에게 전달되어 작물 재배 최적화에 기여했습니다. * **의학적 발견:** 존스 홉킨스 대학교 연구진은 구글이 공개한 H01 뇌 데이터셋을 분석하여 기존 학설에 없던 새로운 신경 세포 통신 방식을 발견했으며, 이는 알츠하이머와 같은 질환 연구에 새로운 전기를 마련했습니다. * **인도주의적 활동:** UN 난민기구(UNHCR)는 Open Buildings 데이터를 활용하여 난민 거주지의 재난 대응 샘플링을 최적화하고 해수면 상승에 따른 위험도를 평가하고 있습니다. 오픈 사이언스는 기술적 장벽을 허물고 전 세계 연구자들이 동등한 출발선에서 혁신을 이룰 수 있게 합니다. 연구자와 개발자들은 구글 리서치가 공개한 MedGemma나 NeuralGCM과 같은 특화된 모델과 방대한 데이터셋을 적극 활용함으로써, 각자의 도메인에서 연구의 재현성을 확보하고 사회적 임팩트가 큰 발견을 더 빠르게 도출할 수 있을 것입니다.

meta원문

KernelEvolve: 메타의 랭킹 엔지니어 에이전트가 AI 인프라를 최적화하는 방법 (새 탭에서 열림)

Meta는 하드웨어와 모델 아키텍처의 급격한 다양화로 인해 발생하는 커널 최적화 병목 현상을 해결하기 위해 에이전트 기반 시스템인 'KernelEvolve'를 도입했습니다. KernelEvolve는 숙련된 엔지니어가 수주간 작업해야 했던 커널 튜닝 및 최적화 과정을 단 몇 시간 만의 자동화된 탐색으로 단축하며, NVIDIA GPU부터 자체 칩인 MTIA에 이르기까지 다양한 이기종 하드웨어에서 성능을 극대화합니다. 이를 통해 Meta는 수조 건의 일일 추론 요청을 효율적으로 처리하고 복잡한 ML 모델 혁신 속도를 가속화하고 있습니다. **폭발적인 커널 요구량과 수동 최적화의 한계** * **복잡도의 증가:** 최적화가 필요한 커널의 수는 {하드웨어 종류 및 세대 × 모델 아키텍처 × 연산자 수}의 곱에 비례하여 기하급수적으로 증가하며, 수천 개의 고유 구성을 생성합니다. * **하드웨어 이질성:** NVIDIA 및 AMD GPU, Meta 자체 칩인 MTIA는 각기 다른 메모리 계층, 명령어 집합, 실행 모델을 가집니다. 특정 플랫폼에 최적화된 커널이 다른 플랫폼에서는 성능이 저하되거나 작동하지 않는 문제가 발생합니다. * **모델 아키텍처의 진화:** 초기 임베딩 중심 모델에서 시퀀스 학습 및 어텐션 기반 모델을 거쳐, 최신 생성형 광고 추천 모델(GEM)과 대규모 추론 모델에 이르기까지 연산자의 유형이 끊임없이 변화하고 있습니다. * **확장성 부족:** 전문가에 의존하는 수동 튜닝 방식은 하드웨어와 모델의 빠른 진화 속도를 따라잡지 못해 모델 배포를 늦추는 결정적인 병목 구간이 됩니다. **KernelEvolve: 에이전트 기반 커널 저작 시스템** * **탐색 중심의 최적화:** 단순한 일회성 코드 생성이 아니라, 커널 최적화를 '탐색 문제'로 정의하여 수백 개의 대안 구현을 시도하고 최적의 솔루션을 식별합니다. * **피드백 루프 아키텍처:** LLM이 생성한 커널 후보를 전용 작업 하네스(Job-harness)에서 평가하고, 실행 결과 및 진단 정보를 다시 LLM에 피드백하여 지속적으로 개선하는 구조를 갖췄습니다. * **광범위한 언어 및 하드웨어 지원:** Triton, Cute DSL, FlyDSL과 같은 고수준 DSL은 물론 CUDA, HIP, MTIA C++ 등 저수준 언어까지 생성할 수 있어 공개 및 독점 하드웨어를 모두 지원합니다. **성능 혁신 및 실질적 도입 성과** * **처리량(Throughput) 대폭 향상:** NVIDIA GPU 기반 Andromeda 광고 모델의 추론 처리량을 60% 이상 개선했으며, Meta 자체 MTIA 칩 환경에서도 광고 모델 학습 처리량을 25% 이상 높였습니다. * **개발 주기 단축:** 프로파일링, 최적화, 교차 하드웨어 디버깅 등 수주가 소요되던 전문가의 엔지니어링 작업을 단 몇 시간의 자동 탐색으로 대체했습니다. * **실제 서비스 적용:** KernelEvolve가 최적화한 코드는 현재 Meta의 프로덕션 환경에서 매일 수조 건의 추론 요청을 처리하는 데 사용되고 있습니다. KernelEvolve는 커널 개발을 수동 프로세스에서 자동화된 적응형 시스템으로 전환함으로써 소프트웨어와 하드웨어 간의 결합 방식을 근본적으로 바꾸고 있습니다. 하드웨어 포트폴리오가 다양해질수록 이러한 에이전트 기반 인프라 최적화는 새로운 칩을 통합하는 데 필요한 엔지니어링 노력을 획기적으로 줄여줄 것입니다.

line원문

대규모 서비스 환경에서의 이미지 콘텐츠 모더레이션(feat. 멀티모달 LLM) (새 탭에서 열림)

대규모 플랫폼에서의 이미지 콘텐츠 모더레이션은 방대한 데이터 처리 성능과 정교한 맥락 이해라는 두 가지 과제를 동시에 해결해야 하는 고난도 영역입니다. LY Corporation은 전통적인 ML 모델과 멀티모달 LLM을 결합한 하이브리드 구조를 도입하고 vLLM 프레임워크를 최적화함으로써 높은 탐지 정확도와 비용 효율성을 모두 달성했습니다. 이를 통해 단순히 시각적 객체를 인식하는 수준을 넘어, 이미지 내 텍스트와 정황을 결합해 정책 위반의 의도까지 파악할 수 있는 선제적 대응 체계를 구축했습니다. ### 이미지 모더레이션의 기술적 난제 * **비정형성과 시각적 복잡성**: 이미지는 배경, 객체, 구도 등 다양한 요소가 복합적으로 작용하며, 동일한 객체라도 상황에 따라 유해성 여부가 달라지는 맥락 의존성이 높습니다. * **교묘한 우회 시도**: 밈(Meme), 일부 가리기, 생성형 AI를 활용한 합성 등 탐지 시스템을 회피하기 위한 변형이 지속적으로 발생하여 난이도가 상승하고 있습니다. * **대규모 처리 인프라 요구**: 하루 수백만 건 이상의 이미지를 실시간에 가깝게 처리해야 하므로, 높은 정확도뿐만 아니라 낮은 지연 시간(Latency)과 운영 비용 효율이 필수적입니다. ### 높은 정확도와 처리 속도를 위한 3단계 최적화 * **전통적 ML 모델의 고도화**: PyTorch 기반 모델을 ONNX 형식으로 변환하고 FP16(Half Precision) 정밀도를 적용하여, 메모리 사용량을 줄이면서도 처리량을 최대 4.3배까지 개선했습니다. * **ML과 LLM의 하이브리드 파이프라인**: 1차 필터(ML 모델)가 명확한 데이터를 90% 이상 신속히 처리하고, 판단이 모호한 사례만 2차 필터(멀티모달 LLM)로 전달하여 LLM의 높은 연산 비용을 효율적으로 관리합니다. * **vLLM 기반 성능 극대화**: * `enable_prefix_caching`: 반복되는 시스템 프롬프트의 KV 캐시를 재사용하여 연산량을 절감했습니다. * `max_model_len` 및 `max_num_seqs`: 메모리 과할당을 방지하고 서비스 특성에 맞는 동시 처리 수를 조절하여 지연 시간을 안정화했습니다. * `max_num_batched_tokens`: 프리필(Prefill) 중심의 워크로드에 맞춰 설정하여 GPU 자원 활용도를 높였습니다. ### 맥락과 의도를 파악하는 하이브리드 판별 구조 * **단일 모델의 한계 극복**: 특정 객체의 존재 여부만 학습하던 기존 엔드 투 엔드(End-to-End) 모델에서 벗어나, 국가별·서비스별로 복잡한 정책을 유연하게 적용할 수 있는 구조로 재설계했습니다. * **시각 정보와 텍스트의 결합**: OCR(광학 문자 인식) API를 통합하여 이미지 내 텍스트를 추출하고, 이를 시각 정보와 결합해 단순 노출이 아닌 '판매 행위'나 '특정 의도'가 담긴 콘텐츠를 정교하게 판별합니다. * **확장성 있는 의사 결정**: 모든 정책을 모델이 직접 학습하는 대신, 정보를 분리하여 추출하고 멀티모달 LLM이 추론하는 방식을 통해 빠르게 변화하는 운영 정책에 유연하게 대응합니다. ### 실용적인 권장 사항 대규모 이미지 모더레이션 시스템을 설계할 때는 모든 데이터를 고성능 모델로 처리하기보다, 데이터의 분포를 분석하여 다수의 일반 케이스를 저비용 모델로 걸러내는 **계층적 구조**를 설계하는 것이 중요합니다. 또한 vLLM과 같은 최신 서빙 프롬프트의 최적화 옵션을 적극적으로 활용하고, 비동기 스케줄링 및 양자화 기술을 지속적으로 업데이트하여 인프라 효율을 높일 것을 권장합니다.

aws원문

AWS 클라우드와 함께한 20년 – 시간이 정말 빠르네요! | Amazon Web Services (새 탭에서 열림)

AWS는 지난 20년 동안 240개 이상의 클라우드 서비스를 구축하며 기술 혁신의 표준을 제시해 왔습니다. 단순한 인프라 제공을 넘어 딥러닝, 생성형 AI, 그리고 에이전트형 AI로 이어지는 기술 트렌드를 고객 중심의 관점에서 선도하고 있습니다. 특히 지난 10년은 컨테이너, 서버리스, 커스텀 실리콘, 그리고 AI 민주화를 통해 개발자와 기업이 이전에는 불가능했던 가치를 창출할 수 있도록 생태계를 확장해 온 과정이었습니다. ### 기술 트렌드에 대응하는 AWS의 혁신 철학 * 2006년 Amazon S3 출시 이후 AWS는 API 경제를 개척하며 개인 연구자와 기업 모두가 대규모 프로젝트를 수행할 수 있는 강력한 도구를 제공하기 시작했습니다. * AWS의 혁신은 단순히 화려한 유행을 쫓는 것이 아니라, 고객의 실제 목소리에 귀를 기울이고 가장 시급한 과제를 해결하는 '고객 중심'의 원칙을 따릅니다. * 기술 환경은 딥러닝의 등장에서 시작해 거대언어모델(LLM) 기반의 생성형 AI를 거쳐, 현재는 스스로 작업을 수행하는 에이전트형 AI(Agentic AI)로 빠르게 진화하고 있습니다. ### 클라우드 인프라와 데이터 아키텍처의 고도화 * **컨테이너 및 서버리스:** Amazon ECS와 EKS를 통해 대규모 컨테이너 관리를 단순화했으며, Fargate를 도입해 인프라 관리 부담 없이 서버리스 환경에서 컨테이너를 배포할 수 있게 했습니다. * **고성능 데이터베이스:** Amazon Aurora는 고가용성 관계형 DB의 표준을 세웠으며, 최근에는 0으로 스케일링이 가능한 Serverless v2와 초고속 분산 SQL 데이터베이스인 Aurora DSQL로 진화했습니다. * **하이브리드 클라우드:** AWS Outposts를 통해 저지연 데이터 처리가 필요한 온프레미스 환경에서도 AWS와 동일한 인프라 및 서비스를 사용할 수 있는 일관된 경험을 제공합니다. ### 커스텀 실리콘을 통한 성능 및 비용 최적화 * **AWS Graviton:** Arm 기반의 자체 프로세서를 개발하여 클라우드 워크로드에서 최고의 가격 대비 성능을 실현했으며, 현재 9만 명 이상의 고객이 이를 활용해 비용을 절감하고 있습니다. * **AI 전용 칩셋:** 추론용 Inferentia와 학습용 Trainium 칩을 통해 생성형 AI 애플리케이션 운영에 필요한 최적의 토큰 경제성을 제공하며, Anthropic과 같은 주요 AI 기업들의 워크로드를 지원합니다. ### AI 민주화와 에이전트 기술의 미래 * **Amazon Bedrock:** 다양한 업계 선도 모델을 안전하게 활용할 수 있는 플랫폼을 제공하며, 최근에는 'AgentCore'를 통해 복잡한 워크플로우를 자동화하는 에이전트 구축 기능을 강화했습니다. * **Amazon Nova 및 Titan:** 자체 모델인 Titan 시리즈에 이어 프론티어급 성능의 Nova 모델을 출시했으며, 특히 브라우저 UI 작업을 자동화하는 Nova Act 등 실질적인 업무 자동화 도구를 선보였습니다. * **차세대 AI 코딩:** Amazon Q Developer에서 한 단계 진화한 Kiro(에이전트형 AI 개발 도구)는 독립적인 개발 작업을 수행하는 자율 에이전트 기능을 통해 프로토타입부터 프로덕션까지의 개발 과정을 혁신하고 있습니다. AWS의 지난 20년은 기술이 소수의 전유물이 아닌 모두의 도구가 되는 과정이었습니다. 이제 기업들은 단순한 클라우드 전환을 넘어, SageMaker와 Bedrock 같은 플랫폼을 활용해 비즈니스 핵심에 AI를 내재화하고 에이전트 기술을 도입하여 운영 효율성을 극대화하는 'AI 퍼스트' 전략으로 나아가야 합니다.

meta원문

랭킹 엔지니어 에이전트(REA): 메타의 광고 랭킹 혁신을 가속화하는 자율형 AI 에이전트 (새 탭에서 열림)

Meta는 광고 랭킹 모델의 머신러닝(ML) 생태 주기를 자율적으로 수행하는 '랭킹 엔지니어 에이전트(REA)'를 개발하여 모델 최적화 과정을 혁신했습니다. REA는 가설 생성부터 학습 실행, 오류 디버깅, 결과 분석에 이르는 전 과정을 수동 개입 없이 관리하며, 기존 엔지니어링 방식 대비 모델 정확도를 2배 높이고 업무 효율을 5배 향상시키는 성과를 거두었습니다. 이는 단순 보조 도구를 넘어 복잡하고 긴 시간이 소요되는 ML 실험 과정을 독립적으로 주도할 수 있는 자율형 AI 에이전트의 가능성을 증명한 사례입니다. **장기 워크플로우를 위한 동면 및 깨우기(Hibernate-and-Wake) 메커니즘** * ML 모델 학습은 수 시간에서 수일이 소요되므로, 세션 기반의 일반 AI 비서로는 전체 과정을 관리하기 어렵습니다. * REA는 학습 작업을 실행한 후 대기 상태(동면)로 전환하여 자원을 보존하고, 작업이 완료되면 자동으로 복귀하여 다음 단계를 진행합니다. * 내부 AI 에이전트 프레임워크인 'Confucius'를 기반으로 구축되어 코드 생성, 내부 도구 통합, 실험 추적 인프라와의 유기적인 연결을 지원합니다. * 이를 통해 며칠에서 몇 주에 걸친 긴 실험 과정에서도 일관된 상태와 메모리를 유지하며 자율적으로 업무를 지속합니다. **데이터 기반의 하이브리드 가설 생성 엔진** * REA는 단순히 임의의 실험을 반복하는 것이 아니라, 두 가지 핵심 소스를 통해 고품질의 가설을 수립합니다. * **과거 통찰 데이터베이스:** 이전의 실험 성공 및 실패 패턴을 학습하여 맥락에 맞는 최적화 방향을 제시합니다. * **ML 리서치 에이전트:** 기준 모델의 설정을 조사하고 최신 ML 연구 트렌드를 반영하여 혁신적인 전략을 제안합니다. * 두 소스의 결합을 통해 모델 구조 최적화와 학습 효율성 개선이 결합된, 엔지니어가 단독으로 생각하기 어려운 독창적이고 효과적인 실험 구성을 도출합니다. **3단계 계획 프레임워크와 자율적 복원력** * REA는 엔지니어가 승인한 예산 범위 내에서 효율적으로 자원을 배분하기 위해 '검증(Validation) → 조합(Combination) → 활용(Exploitation)'의 3단계 전략을 사용합니다. * 먼저 개별 가설의 성능을 병렬로 검증한 뒤, 유망한 가설들을 조합하여 시너지 효과를 탐색하고, 최종적으로 가장 가능성 높은 후보에 자원을 집중 투입합니다. * 인프라 장애나 메모리 부족(OOM), 손실 발산(Loss Explosion) 같은 기술적 오류 발생 시, 미리 정의된 가이드라인과 원천 원리(First Principles)를 바탕으로 스스로 디버깅을 수행합니다. * 엔지니어는 매 순간을 감시하는 대신 전략적 결정 지점에서만 검토를 수행하므로, 적은 인원으로도 다수의 모델을 동시에 개선할 수 있습니다. REA의 사례는 AI 에이전트가 단순한 코딩 보조 도구를 넘어, 도메인 지식과 인프라 제어 능력을 갖춘 '자율적인 동료'로 진화하고 있음을 보여줍니다. 대규모 ML 시스템을 운영하는 조직이라면 REA와 같이 과거 데이터를 자산화하고 장기적인 실험 로드맵을 스스로 실행할 수 있는 에이전트 도입을 검토해야 합니다. 이는 반복적인 디버깅과 모니터링 작업에서 엔지니어를 해방시켜 더 고차원적인 전략 수립에 집중할 수 있는 환경을 제공할 것입니다.

toss원문

소프트웨어 3.0 시대를 맞이하며 (새 탭에서 열림)

소프트웨어 개발은 명시적 코딩(1.0)과 데이터 기반 학습(2.0)을 거쳐, 자연어 프롬프트가 프로그램이 되는 '소프트웨어 3.0' 시대로 진입하고 있습니다. 하지만 강력한 LLM 모델이라도 실질적인 업무를 수행하기 위해서는 모델의 능력을 제어하고 연결하는 '하네스(Harness)'라는 도구적 환경이 필수적이며, 이를 설계하는 데 있어 기존 소프트웨어 1.0의 계층형 아키텍처 원칙은 여전히 유효한 가이드가 됩니다. 결국 미래의 개발은 전통적인 설계 원칙을 유지하면서도, 에이전트가 인간과 소통하며 의사결정을 내리는 'Human-in-the-Loop(HITL)' 모델을 결합하는 방향으로 진화할 것입니다. **소프트웨어 3.0과 하네스의 필요성** - 안드레 카파시는 소프트웨어 3.0을 자연어로 된 프롬프트가 코드를 대신하는 시대로 정의하며, 이것이 이전 세대의 패러다임을 흡수할 것이라고 예측했습니다. - 하지만 LLM 단독으로는 코드베이스를 읽거나 데이터베이스에 접근하는 등의 실질적인 작업을 수행할 수 없다는 한계가 있습니다. - 이를 해결하기 위해 등장한 것이 '하네스(Harness)' 개념으로, 앤스로픽의 'Claude Code'처럼 모델이 도구(Skills)를 사용하고 외부와 통신하며 에이전트로 동작하게 만드는 실행 환경을 의미합니다. **계층형 아키텍처로 매핑한 에이전트 구조** - **슬래시 커맨드(Slash Command) = 컨트롤러(Controller):** `/review`, `/refactor`와 같은 명령어는 사용자 요청을 받아 적절한 워크플로우를 실행하는 서비스의 진입점 역할을 합니다. - **서브 에이전트(Sub-agent) = 서비스 계층(Service Layer):** 여러 기술(Skills)을 조합해 특정 비즈니스 로직을 완수하며, 독립적인 컨텍스트를 유지하는 단위입니다. - **기술(Skills) = 도메인 컴포넌트:** 단일 책임 원칙(SRP)에 따라 코드 리뷰, 테스트 생성 등 명확한 한 가지 기능만 수행하는 가장 작은 단위의 기능 모듈입니다. - **MCP(Model Context Protocol) = 인프라/어댑터:** 외부 API나 DB와의 연결을 추상화하여 내부 로직이 외부 시스템의 구현 상세를 몰라도 동작하게 돕습니다. - **CLAUDE.md = 프로젝트 헌장:** 기술 스택, 코딩 컨벤션 등 프로젝트의 변하지 않는 근간 원칙을 정의하며 시스템의 안정성을 보장합니다. **에이전트 설계에서 경계해야 할 안티패턴** - **God Sub-agent:** 하나의 서브 에이전트가 너무 많은 역할과 권한을 가지게 되면 관리 효율이 떨어지므로 적절한 분리가 필요합니다. - **기능 편애(Feature Envy):** 특정 기술이 자신의 역할 범위를 벗어나 다른 기술의 데이터나 프롬프트에 과도하게 의존하는 경우입니다. - **프롬프트 중복:** 동일한 프롬프트 내용이 여러 기술에 중복되어 포함될 경우 유지보수가 어려워지므로 공통화가 필요합니다. **에이전트만의 핵심 차별점: 질문하는 능력(HITL)** - 전통적인 소프트웨어는 예외 상황에서 미리 정의된 에러를 던지지만, 3.0 시대의 에이전트는 `UserAskQuestion` 기술을 통해 모호한 상황에서 사용자에게 직접 질문을 던질 수 있습니다. - 에이전트는 삭제나 배포처럼 되돌리기 어려운 작업, 혹은 여러 대안 중 선택이 필요한 고위험 상황에서 인간의 판단을 구하는 'Human-in-the-Loop' 구조를 가집니다. - 반면, 관습적으로 처리 가능한 일이나 안전한 반복 작업은 질문 없이 자율적으로 수행함으로써 효율성과 안정성 사이의 균형을 맞춥니다. 소프트웨어 3.0 시대에 적응하기 위해서는 모든 로직을 명시적으로 작성하려는 강박에서 벗어나야 합니다. 대신 계층 분리, 추상화, 단일 책임 원칙과 같은 전통적인 소프트웨어 공학의 정수를 에이전트 설계에 투영하여, LLM을 단순한 자동완성 도구가 아닌 신뢰할 수 있는 협력자로 구축하는 능력이 핵심 경쟁력이 될 것입니다.

line원문

완벽한 AI 가드레일을 향한 여정: NeurIPS 2025 최신 안전성 기술 분석 (새 탭에서 열림)

NeurIPS 2025에서 제시된 AI 안전 연구의 핵심은 가드레일을 단순한 사후 필터링 도구가 아닌, 모델의 추론 메커니즘과 시스템 구조 전반에 통합된 필수 인프라로 격상시키는 것입니다. 특히 실제 배포 환경에서 서비스 지연을 최소화하면서도 보안성을 극대화하기 위해 정책의 코드화와 모듈형 방어 체계가 새로운 표준으로 떠오르고 있습니다. 결론적으로 차세대 가드레일은 텍스트를 넘어 멀티모달 환경에서의 복합적인 위협을 실시간으로 탐지하고, 규제 대응을 위해 판단의 근거를 추적할 수 있는 지능형 시스템으로 진화하고 있습니다. ### 효율적이고 유연한 가드레일 프레임워크 * **PRIME Guardrails의 저지연 방어:** 서비스 속도 저하를 막기 위해 조기 종료(early-exit) 파이프라인을 채택하여 명백한 공격을 비동기로 즉시 차단합니다. P(정책), R(위험 감지), I(개입), M(모니터링), E(평가)로 구성된 모듈형 구조를 통해 법무·정책 팀이 직접 안전 규칙을 정의하고 도메인별로 유연하게 적용할 수 있습니다. * **정책의 코드화(Policy-as-Prompt):** 기업 내 비정형 문서(PRD, 법적 규제 등)를 런타임에서 검증 가능한 '소스 연결 정책 트리'로 자동 변환합니다. 이를 통해 AI가 특정 요청을 거부했을 때 원본 문서의 어떤 조항에 근거했는지 법적 추적이 가능해지며, 금융이나 의료 등 규제가 엄격한 산업에서 기술 부채를 줄이는 핵심 역할을 합니다. ### 멀티모달 환경에서의 지능형 유해성 관리 * **GuardReasoner-VL의 강화된 추론:** 겉보기에 무해한 이미지와 텍스트가 결합되어 발생하는 교묘한 유해성을 찾아내기 위해 논리적 추론 과정을 훈련합니다. GRPO(Group Relative Policy Optimization) 기반의 온라인 강화 학습을 사용하여, 모델이 단순히 분류하는 것을 넘어 유해성의 근거를 논리적으로 분석한 뒤 결론을 내리도록 유도합니다. * **시각적 이어붙이기(Visual Stitching) 취약점:** VLM(시각-언어 모델)이 학습 과정에서 조각난 유해 이미지 패치들을 공통된 텍스트 레이블을 통해 내부적으로 재구성할 수 있다는 사실이 밝혀졌습니다. 이는 개별 조각이 안전해 보이더라도 모델이 전체 맥락을 복원하여 안전망을 우회할 수 있음을 시사하며, 데이터 정제 및 입력 처리 단계에서의 정교한 검증이 필요함을 역설합니다. ### 실용적인 가드레일 구축을 위한 제언 AI 서비스를 안정적으로 운영하기 위해서는 가드레일을 단순한 필터가 아닌 '시스템 설계'의 관점에서 접근해야 합니다. 특히 멀티모달 모델을 도입할 때는 학습 데이터의 파편화된 정보가 보안 취약점이 될 수 있음을 인지하고, 입력부터 출력까지 전 과정에 걸쳐 다중 방어(Defense in Depth) 체계를 구축하는 것이 권장됩니다. 또한 정책 변화에 유연하게 대응할 수 있도록 정책 문서를 가드레일에 실시간으로 반영하는 자동화 파이프라인을 구축하는 것이 장기적인 운영 효율성 측면에서 유리합니다.

google원문

야생동물이 거니는 곳 (새 탭에서 열림)

구글 리서치가 개발하여 오픈소스로 공개한 SpeciesNet은 카메라 트랩(무인 카메라)에 포착된 야생동물을 AI로 자동 식별하는 혁신적인 도구입니다. 약 2,500종의 동물을 분류할 수 있는 이 모델은 전 세계 보존 파트너들이 제공한 650만 개의 라벨링된 이미지를 통해 학습되었으며, 연구자들이 수년이 걸릴 방대한 양의 데이터를 단 며칠 만에 분석할 수 있게 해줍니다. 현재 이 도구는 생태계 모니터링 속도를 획기적으로 높이고 멸종 위기종 보호를 위한 실시간 의사결정을 지원하며 전 세계 환경 보호 활동의 필수적인 자산으로 자리 잡았습니다. **카메라 트랩 기반의 자동화된 야생동물 모니터링** - 열이나 움직임에 의해 작동하는 카메라 트랩은 수천에서 수백만 장의 이미지를 생성하며, 이를 수동으로 분류하는 데는 막대한 시간과 인력이 소모됩니다. - SpeciesNet은 딥러닝 기술을 활용하여 이미지 내 동물의 종을 자동 식별함으로써 연구 데이터 분석 효율성을 극대화합니다. - 동물의 개체 수 건강 상태 파악, 기후 변화에 따른 이동 경로 추적, 멸종 위기종의 서식지 확인 등 근거 중심의 보존 조치를 가능하게 합니다. **SpeciesNet의 기술적 사양과 성능** - **모델 협업:** 이미지 내에서 동물이 포함된 픽셀을 먼저 찾아내는 'MegaDetector' 모델과 연동되어 작동하며, 종 이름과 함께 신뢰도(Confidence level)를 출력합니다. - **처리 능력:** 일반 노트북에서는 하루 약 3만 장, 보급형 게이밍 GPU 환경에서는 하루 25만 장 이상의 이미지를 처리할 수 있는 높은 효율성을 자랑합니다. - **학습 데이터:** CNN(합성곱 신경망) 구조를 기반으로 하며, 'Wildlife Insights' 플랫폼의 6,500만 장 이상의 검증된 이미지 데이터를 학습하여 조도나 촬영 각도가 불리한 환경에서도 높은 성능을 발휘합니다. - **정확도:** 테스트 데이터셋 기준 동물이 포함된 이미지를 찾아내는 비율은 99.4%이며, 종 수준까지 분류하는 비율은 83%, 그중 예측 정확도는 94.5%에 달합니다. **전 세계 연구 현장의 적용 사례** - **탄자니아 세렝게티:** 2010년부터 축적된 1,100만 장의 이미지를 현장에서 단 며칠 만에 분석하여, 동물의 출현 패턴에 따라 카메라를 실시간으로 재배치하는 등 유연한 연구를 지원합니다. - **호주(WildObs):** 오픈소스 특성을 활용해 호주 특유의 종인 사향쥐캥거루 등을 식별할 수 있도록 모델을 지역 맞춤형으로 재학습시켜 사용하고 있습니다. - **미국 아이다호:** 주 정부 야생동물국(IDFG)의 업무 흐름에 SpeciesNet을 통합하여 곰, 사슴, 엘크 등 산림 지역 동물의 모니터링 속도를 높이고 인간의 검증 단계를 대폭 단축했습니다. - **플랫폼 확장성:** Animl(웹 플랫폼), AddaxAI(데스크톱 도구) 등 다양한 공공 및 민간 플랫폼에 통합되어 생태학자들이 자신의 컴퓨터에서 직접 AI 모델을 실행할 수 있는 환경을 제공합니다. SpeciesNet은 구글 어스 AI(Google Earth AI) 프로젝트의 일환으로, 대규모 환경 데이터와 실행 가능한 보존 통찰력 사이의 간극을 메우고 있습니다. 방대한 이미지 데이터를 처리해야 하는 연구 기관이나 개인 활동가는 Wildlife Insights 클라우드 플랫폼을 활용하거나 SpeciesNet 오픈소스를 직접 다운로드하여 로컬 워크플로우에 통합함으로써, 단순 반복 작업인 라벨링 시간을 줄이고 본연의 생태 분석 및 보호 활동에 집중할 것을 권장합니다.

cloudflare원문

사후 대응에서 선제적 대응 (새 탭에서 열림)

클라우드플레어는 기존의 사후 대응 중심의 이메일 보안 체계를 대규모 언어 모델(LLM)을 활용한 선제적 방어 체계로 전환하고 있습니다. 사용자가 신고한 피싱 메일에만 의존하던 방식에서 벗어나, LLM의 문맥 이해 능력을 통해 수백만 건의 이메일 데이터에서 보이지 않던 위협 패턴을 식별하고 이를 탐지 모델 학습에 즉시 반영하는 것이 핵심입니다. 이러한 변화를 통해 위협이 실제 피해로 이어지기 전 미리 대응할 수 있는 능력을 확보하고, 특히 교묘한 '영업 제안(Sales Outreach)' 형태의 피싱 공격을 효과적으로 억제하는 성과를 거두고 있습니다. ### 기존 사후 대응 방식의 한계 * 전통적인 보안 시스템은 공격자가 이미 성공한 사례, 즉 사용자가 사후에 신고한 이메일(EML)을 분석하여 모델을 업데이트하는 방식에 의존했습니다. * 이는 '생존자 편향'의 문제와 같아서, 시스템을 이미 통과한 위협에 대해서는 효과적이지만 다음에 올 새로운 공격 기법에는 여전히 취약하다는 맹점이 있습니다. * 공격자의 기술은 끊임없이 진화하는 반면, 기존 방식은 공격자가 한 발 앞서 나가는 상황을 뒤늦게 쫓아가는 구조적 한계를 보입니다. ### LLM을 활용한 위협 지형 매핑 * LLM은 이메일의 비정형 데이터를 깊이 있게 분석하여 의도(intent), 긴급성(urgency), 기만성(deception)과 같은 복잡한 개념을 맥락적으로 이해합니다. * 과거에는 수백만 건의 메시지를 세부적으로 분류하는 것이 불가능했으나, 이제는 실시간에 가까운 속도로 위협 벡터를 자동 분류하고 태그를 부여할 수 있습니다. * 이를 통해 보안 분석가는 수동 조사 시간을 대폭 단축하고, 새로운 공격 패턴이 널리 확산되기 전에 이를 감지하여 맞춤형 머신러닝 모델을 구축할 수 있는 고해상도 신호를 얻게 됩니다. ### '영업 제안(Sales Outreach)' 피싱 탐지 강화 * B2B 비즈니스 메일을 모방하여 악성 링크 클릭이나 자격 증명 탈취를 유도하는 '영업 제안' 형태의 피싱이 주요 타겟으로 선정되었습니다. * LLM을 사용해 이러한 특성을 가진 메시지를 체계적으로 격리하고, 이를 바탕으로 실제 환경의 사례들을 포함하는 고정밀 말뭉치(Corpus)를 구축했습니다. * 단순한 정적 지표가 아닌 설득력 있는 프레임워크, 조작된 긴급성, 거래적 언어 등 언어적/구조적 특성을 추출하여 전용 감성 분석 모델을 학습시켰습니다. ### 언어 분석을 통한 보안 집행 및 최적화 * 학습된 모델은 메시지가 알려진 공격 패턴과 얼마나 일치하는지 나타내는 '위험 점수'를 산출하며, 이는 발신자 평판 및 링크 동작 등 기존 신호와 결합되어 최종 판단에 활용됩니다. * 공격자가 언어 스타일을 바꾸더라도 LLM이 새로운 변종을 발견하면 즉시 학습 파이프라인에 피드백되어 사용자의 신고 없이도 모델이 지속적으로 정교해집니다. * 이러한 시스템 도입 결과, 2025년 3분기 대비 4분기에는 사용자가 놓친 피싱 메일 신고 건수가 약 20.4% 감소했으며, 2026년 1분기에는 미탐지 신고가 기존의 1/3 수준으로 대폭 줄어드는 성과를 냈습니다. 사용자가 위협을 인지하고 신고하기를 기다리는 대신, LLM의 강력한 언어 이해 능력을 탐지 초기 단계(Discovery layer)에 배치하여 잠재적 위협을 먼저 찾아내는 것이 현대적인 이메일 보안의 핵심 전략입니다. 이를 통해 보안 팀은 리소스 소모를 줄이고, 사용자는 더욱 안전한 비즈니스 커뮤니케이션 환경을 보장받을 수 있습니다.

google원문

순차적 어텐션: 정확 (새 탭에서 열림)

구글 리서치에서 발표한 **Sequential Attention**은 대규모 머신러닝 모델의 효율성을 극대화하기 위해 개발된 서브셋 선택(Subset Selection) 알고리즘입니다. 이 기술은 모델 학습 과정 중에 가장 정보 가치가 높은 구성 요소(특징, 레이어, 블록 등)를 순차적·적응적으로 선택함으로써, 정확도 손실 없이 모델의 크기를 줄이고 추론 속도를 높입니다. 특히 복잡한 비선형 상호작용을 효과적으로 포착하면서도 기존 탐욕적 선택 알고리즘의 막대한 계산 비용 문제를 해결했다는 점이 핵심입니다. ### 서브셋 선택의 난제와 순차적 접근 * **비선형 상호작용의 복잡성:** 현대 딥러닝에서 특정 특징(Feature)은 단독으로는 무의미해 보일 수 있으나 다른 특징과 결합할 때 필수적이 되기도 하며, 반대로 단독으로는 중요해 보여도 다른 특징에 의해 중복 처리가 될 수 있습니다. * **NP-난해(NP-hard) 문제:** 수많은 변수 중 최적의 조합을 찾는 것은 수학적으로 매우 어려운 문제이며, 이를 해결하기 위한 전통적인 탐욕 알고리즘은 모델을 반복해서 재학습시켜야 하므로 비용이 너무 큽니다. * **통합적 최적화:** Sequential Attention은 가중치 프루닝(Pruning), 임베딩 차원 튜닝, 특징 선택 등 다양한 최적화 문제를 '서브셋 선택'이라는 하나의 틀로 보고 접근합니다. ### Sequential Attention의 작동 원리 * **순차적 의사결정:** 모든 후보를 한 번에 평가하는 일반적인 '원샷(one-shot)' 어텐션과 달리, 이미 선택된 구성 요소들을 컨텍스트로 활용하여 '그다음으로 가장 중요한' 요소를 하나씩 찾아냅니다. * **소프트맥스 기반 중요도 평가:** 어텐션 메커니즘의 소프트맥스 점수를 활용하여 후보들의 상대적 중요도를 수치화합니다. * **한 번의 학습 내 최적화:** 별도의 반복적인 재학습 없이, 단일 모델 학습 프로세스 내에서 선택 과정을 통합하여 연산 오버헤드를 최소화합니다. ### 주요 장점 및 기대 효과 * **한계 이득(Marginal Gain) 반영:** 이미 선택된 특징들과의 중복성을 고려하여 점수를 재계산하므로, 모델이 불필요한 중복 정보를 배제하고 가장 효율적인 구조를 갖추게 합니다. * **해석 가능성(Interpretability):** 연구자들은 산출된 어텐션 점수를 통해 모델이 특정 결정을 내릴 때 어떤 입력값에 우선순위를 두었는지 명확하게 파악할 수 있습니다. * **이론적 보장:** 선형 회귀 모델에 적용할 경우 검증된 알고리즘인 OMP(Orthogonal Matching Pursuit)와 수학적으로 동일함이 증명되어 성능의 신뢰성을 뒷받침합니다. ### 실제 적용 사례: 특징 선택 및 블록 희소화 * **특징 선택(Feature Selection):** 이미지 인식, 활동 인식 등 다양한 벤치마크에서 기존 방식보다 적은 특징으로도 업계 최고 수준(SOTA)의 정확도를 달성했습니다. * **블록 희소화(Block Sparsification):** 'SequentialAttention++'를 통해 불필요한 매개변수 블록을 제거합니다. 이는 단순한 가중치 제거를 넘어 하드웨어 가속에 최적화된 블록 단위의 희소성을 구현하여 실제 추론 속도를 대폭 향상시킵니다. * **미분 가능한 프루닝과의 결합:** 학습 가능한 파라미터를 사용하는 방식과 조합 최적화 알고리즘의 장점을 결합하여 더욱 정교한 모델 구조를 설계합니다. 모델의 비대화로 인한 비용 효율성 문제가 중요해지는 시점에서, Sequential Attention은 대규모 신경망의 성능을 유지하면서도 자원 소모를 줄일 수 있는 실용적인 프레임워크를 제공합니다. 효율적인 모델 배포가 필요한 엔지니어라면 이 알고리즘을 통해 특징 선택이나 블록 단위 프루닝을 최적화하는 것을 고려해 볼 수 있습니다.

google원문

건강 인사이트의 발견 (새 탭에서 열림)

구글 연구팀은 대규모 검증 연구를 통해 스마트워치가 보행 지표를 정밀하게 추정할 수 있는 매우 신뢰할 수 있는 플랫폼임을 입증했습니다. 이 연구는 기존의 고가 실험 장비나 스마트폰 위치의 제약에서 벗어나, 손목 위 기기만으로 보행 속도와 보폭 등 복합적인 시공간적 보행 지표를 연속적으로 모니터링할 수 있는 기술적 기반을 마련했습니다. 결과적으로 스마트워치는 스마트폰과 대등한 수준의 정확도를 보여주며 비침습적인 건강 관리 및 질병 모니터링 도구로서의 가능성을 확인했습니다. **손목 데이터를 위한 딥러닝 모델 설계** * **다중 출력 TCN 모델:** 기존 연구들이 시점 추정 후 계산 과정을 거치는 것과 달리, 시계열 컨볼루션 네트워크(TCN) 기반의 다중 출력(Multi-head) 모델을 사용하여 모든 보행 지표를 직접 추정합니다. * **입력 데이터 및 전처리:** 사용자의 키(신장) 정보와 픽셀 워치에서 수집한 50Hz 샘플링 속도의 3축 가속도계 및 3축 자이로스코프(IMU) 신호를 결합하여 입력값으로 사용합니다. * **추정 지표:** 보행 속도(Gait speed), 양발 지지 시간(Double support time)과 같은 양측성 지표와 보폭(Step length), 유각기 시간(Swing time), 입각기 시간(Stance time) 등 좌우 각각의 단측성 지표를 동시에 산출합니다. * **오차 최적화:** 서로 다른 단위를 가진 다양한 지표들의 상대적 정확도를 높이기 위해 평균 절대 백분율 오차(MAPE)를 손실 함수로 사용하여 모델을 최적화했습니다. **대규모 임상 연구 및 엄격한 검증** * **방대한 데이터셋:** 미국과 일본의 246명 참여자로부터 수집한 약 7만 개의 보행 세그먼트를 활용해 모델의 성능을 검증했습니다. * **기준 장비(Ground Truth):** 실험실 등급의 보행 분석 시스템인 'Zeno Gait Walkway'를 기준점으로 삼아 스마트워치 추정값의 정확도를 비교했습니다. * **다양한 보행 시나리오:** 6분 걷기 테스트, 빠른 걸음뿐만 아니라 무릎 보조기를 착용하여 인위적으로 비대칭 보행을 유도하는 등 실제 환경에서 발생할 수 있는 다양한 보행 패턴을 포함했습니다. * **교차 검증:** 데이터 누수를 방지하기 위해 특정 참가자의 데이터가 훈련과 테스트에 동시에 포함되지 않도록 5-겹 교차 검증(5-fold cross-validation) 전략을 채택했습니다. **주요 연구 결과 및 성능 분석** * **높은 신뢰도 및 타당성:** 보행 속도, 보폭, 유각기/입각기 시간 등 주요 지표에서 피어슨 상관계수(r)와 내적 상관계수(ICC) 모두 0.80 이상의 우수한 수치를 기록했습니다. * **스마트폰과의 성능 비교:** 스마트폰을 앞뒤 주머니에 넣었을 때의 결과와 비교했을 때, 모든 보행 지표에서 통계적으로 유의미한 차이가 없음을 확인했습니다(p > 0.05). * **양발 지지 시간 측정:** 추적이 까다로운 양발 지지 시간 지표에서도 0.56~0.60의 수용 가능한 신뢰도를 보이며, 손목 기기만으로도 복합적인 보행 분석이 가능함을 보여주었습니다. 이 연구 결과는 스마트워치가 신경계 질환이나 근골격계 상태의 진행 상황을 모니터링하는 데 있어 스마트폰보다 더 실용적이고 일관된 플랫폼이 될 수 있음을 시사합니다. 일상적인 활동 중에도 정확한 보행 데이터를 수집할 수 있으므로, 의료진과 사용자는 임상 방문 사이의 공백 기간 동안 발생하는 건강 변화를 더욱 정밀하게 파악할 수 있을 것입니다.

woowahan원문

“함께 구매하면 좋은 상품” 추천 모델 고도화 | 우아한형제들 기술블로그 (새 탭에서 열림)

배달의민족은 장보기·쇼핑 서비스에서 고객의 구매 의도를 더욱 정확하게 파악하기 위해 기존의 단순 임베딩 유사도 기반 추천에서 벗어나 구매 맥락을 반영한 2단계 추천 모델로 고도화했습니다. 기존 모델의 한계였던 대체재 편향 문제와 시퀀스 정보의 부재를 해결하기 위해 그래프 기반 임베딩과 트랜스포머(Transformer) 아키텍처를 결합한 것이 핵심입니다. 이를 통해 고객이 장바구니에 담은 상품들의 순서와 관계를 학습하여, 단순 유사 상품이 아닌 실제 함께 구매할 가능성이 높은 보완재 중심의 추천 성과를 거두었습니다. ### 기존 Item2Vec 모델의 한계와 문제점 * **대체재 편향 발생**: 기존 모델은 주문 내 동시 출현 빈도를 기반으로 임베딩을 생성하여, 비슷한 구매 패턴을 가진 상품들이 가깝게 배치되었습니다. 이로 인해 우유를 담았을 때 시리얼 같은 보완재 대신 다른 브랜드의 우유가 추천되는 등 추천의 다양성이 떨어졌습니다. * **시퀀스 맥락 소실**: 상품을 장바구니에 담는 순서에는 고객의 의도가 담겨 있지만, 기존 방식은 단순히 '함께 있었다'는 정보만 활용했습니다. 예를 들어 '라면을 담고 고기를 추가한 경우'와 '고기를 담고 라면을 추가한 경우'의 차이를 구분하지 못해 정교한 추천이 어려웠습니다. * **크로스 셀링의 어려움**: 임베딩 유사도에만 의존하다 보니 동일 카테고리 내의 상품 추천에 치중하게 되었고, 장바구니 추천의 핵심 목표인 '다른 카테고리 상품 제안(Cross-selling)'을 달성하기에 한계가 있었습니다. ### Stage 1: 그래프 기반 상품 및 카테고리 임베딩 * **Node2Vec 도입**: 주문 빈도가 낮은 롱테일 상품의 데이터 희소성 문제를 해결하기 위해 Node2Vec을 활용했습니다. 이는 그래프 구조에서 Random Walk를 통해 상품 간의 구조적 관계를 효과적으로 학습하게 해줍니다. * **그래프 구조 설계**: 상품 노드와 카테고리 노드를 함께 구성했습니다. 특히 상품 간 연결(Edge)에는 단순 빈도가 아닌 '연관 규칙(Association Rule)' 기반의 가중치를 부여하여, 인기 상품에만 편중되지 않고 실제 연관성이 높은 상품들이 강하게 연결되도록 했습니다. * **콜드 스타트 방안**: 신규 상품이나 주문 이력이 적은 상품은 카테고리 노드와의 연결을 통해 초기 임베딩을 확보할 수 있도록 설계하여 시스템의 견고함을 높였습니다. ### Stage 2: Transformer 기반 시퀀스 추천 * **맥락 이해**: Stage 1에서 생성된 고품질의 임베딩을 입력값으로 사용하여, 트랜스포머 모델이 장바구니에 담긴 상품들의 순서(Sequence)를 분석합니다. * **다음 상품 예측(Next Item Prediction)**: 고객이 현재 장바구니에 담은 일련의 상품 리스트를 바탕으로, 다음에 담을 가능성이 가장 높은 상품을 예측하는 방식으로 학습을 진행했습니다. * **동적 추천 성능**: 이 과정을 통해 고객이 요리를 위해 재료를 담는 과정인지, 혹은 간식거리를 쇼핑하는 중인지 등의 실시간 맥락을 반영한 개인화된 추천이 가능해졌습니다. 단순히 "어떤 상품과 어떤 상품이 자주 팔리는가"를 넘어 "어떤 순서로 구매 결정이 이루어지는가"를 모델링하는 것이 추천 시스템 고도화의 핵심입니다. 그래프 임베딩을 통해 상품 간의 관계를 정의하고, 트랜스포머를 통해 고객의 시퀀스 맥락을 읽어내는 2단계 구조는 데이터 희소성 극복과 추천의 정확도라는 두 마리 토끼를 잡을 수 있는 실용적인 접근법이 될 수 있습니다.