머신러닝

149 개의 포스트

google원문

NucleoBench와 AdaBeam (새 탭에서 열림)

Google Research와 Move37 Labs는 핵산(DNA/RNA) 서열 설계를 위한 표준화된 벤치마크인 ‘NucleoBench’와 새로운 최적화 알고리즘인 ‘AdaBeam’을 공개했습니다. 이 연구는 방대한 유전체 서열 탐색 공간에서 최적의 치료용 분자를 설계하기 위한 기존 알고리즘의 한계를 극복하고, 16가지 생물학적 과제 중 11개에서 기존 방식보다 뛰어난 성능을 입증했습니다. 특히 AdaBeam은 긴 서열과 복잡한 예측 모델에 최적화된 확장성을 보여주며 신약 개발 과정의 시간과 비용을 획기적으로 줄일 수 있는 가능성을 제시했습니다. ### 핵산 서열 설계의 복잡성과 최적화의 난제 * **방대한 탐색 공간**: 특정 기능을 가진 RNA 분자의 5' UTR 영역 하나만 해도 가능한 서열 조합이 $2 \times 10^{120}$개 이상으로, 단순한 무작위 탐색(Brute-force)으로는 최적의 서열을 찾는 것이 불가능합니다. * **설계 알고리즘의 병목 현상**: 최근 서열의 특성을 예측하는 AI 모델은 크게 발전했으나, 이 모델을 활용해 실제 최적의 서열을 생성해내는 '설계 알고리즘'에 대한 표준화된 평가 지표는 부족한 상황이었습니다. * **기존 방식의 한계**: 유전 알고리즘이나 시뮬레이티드 어닐링(Simulated Annealing) 같은 기존의 '그래디언트 프리(Gradient-free)' 방식은 최신 딥러닝 모델 내부의 유용한 정보(그래디언트)를 활용하지 못한다는 단점이 있습니다. ### NucleoBench: 대규모 표준 벤치마크 프레임워크 * **비교 평가의 표준화**: 16가지의 서로 다른 생물학적 도전 과제에 대해 9개의 알고리즘을 동일한 시작 서열과 조건에서 테스트하여 400,000회 이상의 실험을 수행했습니다. * **다양한 과제 범위**: 특정 세포 유형(간, 신경 세포 등)에서의 유전자 발현 제어, 전사 인자 결합 최적화, 염색질 접근성 개선, Enformer와 같은 대규모 모델을 이용한 장거리 DNA 서열 예측 등이 포함됩니다. * **알고리즘 분류**: AI 모델을 블랙박스로 취급하는 '그래디언트 프리' 방식과 신경망 내부의 개선 방향(그래디언트)을 지능적으로 추적하는 '그래디언트 기반' 방식을 체계적으로 비교 분석했습니다. ### AdaBeam: 적응형 빔 서치 기반의 하이브리드 알고리즘 * **성능 우위**: NucleoBench에서 수행된 16가지 과제 중 11가지에서 기존의 최첨단 알고리즘(FastSeqProp, Ledidi 등)을 능가하는 성적을 거두었습니다. * **탁월한 확장성**: 서열의 길이가 길어지거나 예측 모델의 크기가 커질수록 성능 차이가 더욱 두드러지며, 특히 긴 DNA 서열을 다루는 복잡한 생물학적 모델에서 높은 효율성을 보입니다. * **하이브리드 접근**: 그래디언트 정보를 활용하면서도 탐색의 효율성을 극대화하는 적응형 구조를 채택하여, 모델의 예측 정확도를 최대한 활용하면서도 계산 비용을 최적화했습니다. ### 실용적인 시사점 연구진은 AdaBeam 알고리즘과 NucleoBench 프레임워크를 오픈소스로 공개하여 누구나 활용할 수 있도록 했습니다. 더 정교한 CRISPR 유전자 치료제나 안정성이 높은 mRNA 백신을 설계하려는 연구자들은 이 도구들을 통해 자신의 예측 모델에 가장 적합한 설계 알고리즘을 선택하고, 실제 실험(Wet lab) 이전에 계산적으로 검증된 최적의 후보 서열을 도출함으로써 연구의 성공률을 높일 수 있습니다.

line원문

오픈챗 메시지들로부터 트렌딩 키워드 추출하기 (새 탭에서 열림)

LINE 오픈챗은 사용자 참여를 높이기 위해 채팅방 중심의 추천에서 메시지 콘텐츠 기반의 트렌딩 키워드 추천으로의 변화를 시도하고 있습니다. 이를 위해 일주일 전 대비 빈도가 급증한 단어를 Z-테스트 통계량으로 추출하는 기법을 도입했으며, 중복 메시지로 인한 노이즈를 제거하기 위해 MinHash 알고리즘을 활용한 데이터 정제 과정을 적용했습니다. 이러한 기술적 접근은 일상적인 대화 속에서 실시간 화젯거리를 효과적으로 발굴하여 서비스 활성도를 높이는 데 기여합니다. ## 트렌딩 키워드 추출의 배경과 목적 * 기존 오픈챗 메인 화면은 채팅방 검색과 추천 위주로 구성되어 있어, 이미 특정 방에 정착한 사용자가 새로운 콘텐츠를 탐색할 동기가 부족했습니다. * 개별 메시지는 단건으로 보면 맥락 파악이 어렵고 비문이 많으므로, 유사한 주제의 메시지들을 키워드 중심으로 묶어 가시적인 콘텐츠 덩어리로 제공하는 전략을 수립했습니다. * 이는 마이크로 블로그 서비스가 개별 포스트를 메인에 노출하여 재방문율을 높이는 방식과 유사하며, 사용자들에게 신선한 즐길 거리를 제공하여 서비스 KPI를 개선하고자 했습니다. ## Z-테스트 기반의 화제어 탐지 기법 * 단순 빈도 기반 추출 시 발생하는 일상어(인사, 환영 등) 편중 문제를 해결하기 위해, 빈도 자체가 아닌 '빈도의 급격한 증가량'을 기준으로 트렌딩 키워드를 정의했습니다. * 비교 기준점을 하루 전이 아닌 '일주일 전(D-7)'으로 설정하여, 요일별 반복 단어를 억제하고 며칠간 지속되는 트렌드 피크를 놓치지 않도록 설계했습니다. * 이표본 모비율 차 검정을 위한 Z-테스트 통계량을 사용하여 각 단어의 점수를 계산하며, 이를 통해 빈도수가 작을 때 발생하는 노이즈 효과를 확률 이론에 근거해 제어했습니다. * 통계적 유의미함을 확보하기 위해 빈도가 최소 30% 이상 증가한 단어들만을 최종 후보군으로 선정합니다. ## MinHash를 활용한 중복 메시지 정제 * 복사 및 붙여넣기 등으로 생성된 중복 메시지가 빈도 집계에 미치는 왜곡을 방지하기 위해 집계 전 단계에서 데이터 정제 과정을 거칩니다. * 대량의 텍스트 데이터를 효율적으로 처리하기 위해 차원 축소 기법인 MinHash를 도입하여 유사한 메시지들을 클러스터링했습니다. * 텍스트를 명사 위주로 토큰화(슁글링)한 후 k-MinHash 시그니처를 생성하고, 동일한 시그니처를 가진 메시지 묶음 중 하나만 남기고 나머지는 제거합니다. * 클러스터 내 집합들의 합집합과 교집합 크기를 비교하는 선형 시간 복잡도의 다양성 지표(SetDiv)를 정의하여, 최적의 중복 제거 정밀도를 유지하기 위한 시그니처 길이(k)를 결정했습니다. 단순한 통계 수치를 넘어 채팅 데이터의 특성인 반복성과 중복성을 기술적으로 해결한 이 방식은 실시간 커뮤니티의 활성도를 시각화하는 데 매우 유용합니다. 특히 일주일 전 데이터를 기준선으로 삼는 전략과 MinHash를 이용한 효율적인 중복 제거는 대규모 텍스트 데이터를 다루는 서비스에서 실무적으로 즉시 적용 가능한 강력한 방법론입니다.

google원문

차분 프라이버시 파티 (새 탭에서 열림)

구글 리서치는 대규모 데이터셋에서 개인정보를 보호하면서도 유용한 데이터를 추출할 수 있는 혁신적인 차분 프라이버시(Differential Privacy, DP) 파티션 선택 알고리즘인 'MAD(MaxAdaptiveDegree)'를 공개했습니다. 이 알고리즘은 수천억 개의 아이템이 포함된 방대한 데이터를 처리할 수 있는 병렬 구조를 갖추고 있으며, 기존 비적응형 방식보다 훨씬 더 많은 유효 데이터를 안전하게 식별해 냅니다. 이를 통해 연구자들은 개별 사용자의 민감한 정보를 노출하지 않으면서도 AI 모델 학습이나 데이터 분석에 필요한 고품질의 데이터셋을 확보할 수 있게 되었습니다. **차분 프라이버시(DP) 파티션 선택의 역할** * **개념 정의:** 수많은 사용자가 기여한 방대한 데이터 집합에서 특정 임계치 이상의 빈도를 가진 공통 아이템(예: 자주 사용되는 단어나 n-gram)을 안전하게 선택하는 프로세스입니다. * **프라이버시 보호:** 특정 개별 사용자의 데이터 포함 여부를 알 수 없도록 제어된 노이즈를 추가하며, 노이즈가 섞인 상태에서도 충분히 공통적인 아이템만 최종 리스트에 포함합니다. * **활용 분야:** 대규모 텍스트 코퍼스의 어휘 추출, 데이터 스트림 분석, 사용자 데이터 기반 히스토그램 생성, 프라이버시 보존형 모델 미세 조정(Fine-tuning)의 효율성 증대 등에 필수적입니다. **기존 가중치 산정 방식의 한계** * **표준 패러다임:** 일반적으로 '가중치 계산(빈도 측정) → 노이즈 추가(가우시안 노이즈 등) → 필터링(임계값 적용)'의 3단계를 거칩니다. * **가중치 낭비:** 기존의 비적응형 방식은 매우 인기 있는 아이템에 필요 이상의 가중치를 할당하는 경향이 있으며, 이로 인해 임계값 바로 아래에 있는 유용한 아이템들이 노이즈에 의해 삭제되는 문제가 발생합니다. * **확장성 문제:** 기존의 순차적(Sequential) 알고리즘은 현대의 거대 데이터셋을 처리하기에 속도가 너무 느려 실무 적용에 한계가 있었습니다. **적응형 가중치 재배분을 통한 MAD 알고리즘의 혁신** * **적응형 가중치(Adaptive Weighting):** MAD 알고리즘은 아이템 간의 가중치를 독립적으로 두지 않고, 다른 사용자의 기여도를 고려하여 전략적으로 가중치를 재할당합니다. * **효율적 재배분:** 임계값을 훨씬 상회하는 인기 아이템의 '과잉 가중치'를 식별하고, 이를 임계값 근처에 있는 아이템들에 재배분하여 더 많은 유효 아이템이 프라이버시 기준을 통과하도록 돕습니다. * **병렬 대규모 처리:** 수천억 개의 아이템을 동시에 처리할 수 있는 병렬 구조로 설계되어, 기존 순차 알고리즘 대비 최대 1,000배 더 큰 규모의 데이터셋까지 확장 가능합니다. * **성능 유지:** 가중치를 재배분하면서도 차분 프라이버시의 핵심인 '낮은 민감도(Low-sensitivity)'와 계산 효율성을 그대로 유지합니다. **실용적 의의 및 권고** 데이터 규모가 커질수록 프라이버시 보호와 데이터 유용성 사이의 균형을 맞추는 것이 어려워지지만, MAD 알고리즘은 병렬 처리를 통해 이 문제를 해결했습니다. 대규모 사용자 데이터를 다루는 연구자나 엔지니어는 구글이 오픈소스로 공개한 'DP 파티션 선택' 라이브러리를 활용하여, 데이터의 유실을 최소화하면서도 강력한 프라이버시 보증을 제공하는 데이터 파이프라인을 구축할 것을 권장합니다.

google원문

고정밀 레이블을 통한 (새 탭에서 열림)

구글 애즈(Google Ads) 연구팀은 대규모 언어 모델(LLM) 파인튜닝에 필요한 학습 데이터의 양을 획기적으로 줄이면서도 모델의 정확도를 높일 수 있는 새로운 능동 학습(Active Learning) 기반의 큐레이션 프로세스를 개발했습니다. 이 방법론은 수천억 개의 예시 중 전문가의 주석이 가장 가치 있는 데이터를 반복적으로 식별하여, 기존 10만 개 이상의 데이터가 필요했던 작업을 500개 미만의 데이터만으로 수행하면서 전문가와의 정렬도를 최대 65% 향상시켰습니다. 이를 통해 안전 정책 변화나 새로운 유형의 부적절한 콘텐츠에 대응하는 비용을 크게 절감하고 모델의 신뢰성을 확보할 수 있게 되었습니다. **능동 학습 기반의 데이터 큐레이션 프로세스** * **초기 라벨링 및 클러스터링**: 먼저 퓨샷(Few-shot) 프롬프트가 적용된 LLM-0 모델을 사용하여 대규모 데이터셋을 '정책 위반' 또는 '정상'으로 분류합니다. 이때 발생하는 데이터 불균형과 모델의 낮은 정답률을 해결하기 위해, 각 라벨별로 데이터를 클러스터링합니다. * **경계 영역 샘플링**: 서로 다른 라벨을 가졌음에도 클러스터가 겹치는 구간, 즉 모델이 혼동을 느끼는 결정 경계(Decision Boundary) 부근에서 서로 가장 가까운 데이터 쌍을 찾아냅니다. * **정보성 및 다양성 확보**: 추출된 데이터 쌍 중에서도 전체 탐색 공간을 가장 잘 대변하는 샘플을 우선적으로 선별하여 전문가에게 전달함으로써, 적은 수의 샘플로도 높은 정보성과 다양성을 동시에 확보합니다. * **반복적 파인튜닝**: 전문가가 라벨링한 데이터를 평가용과 학습용으로 나누어 모델을 파인튜닝하며, 모델과 전문가 사이의 정렬도가 전문가들 사이의 합의 수준에 도달하거나 성능이 정체될 때까지 이 과정을 반복합니다. **객관적 성능 평가를 위한 코헨 카파(Cohen’s Kappa) 지표 활용** * 광고 안전성 검토와 같은 영역은 정답(Ground Truth)이 모호한 경우가 많아 정밀도나 재현율 같은 기존 지표 대신 '코헨 카파' 지표를 사용합니다. * 코헨 카파는 두 명의 평가자가 우연히 일치할 확률을 제외하고 얼마나 일관되게 동의하는지를 측정하며, 0.8 이상은 매우 우수한 수준, 0.4 이상은 수용 가능한 수준으로 간주합니다. * 이 지표는 데이터셋의 품질을 모니터링하는 지표인 동시에, 모델이 전문가의 판단 기준에 얼마나 근접했는지를 나타내는 핵심 성능 지표로 활용됩니다. **Gemini Nano 모델을 통한 실험 및 성능 검증** * 연구팀은 1.8B 파라미터의 Gemini Nano-1과 3.25B의 Nano-2 모델을 대상으로 복잡도가 다른 두 가지 과제에 대해 성능을 테스트했습니다. * **데이터 효율성**: 기존에 크라우드소싱을 통해 수집한 10만 개의 데이터를 학습시킨 모델보다, 단 250~400개의 전문가 큐레이션 데이터를 학습시킨 모델이 훨씬 뛰어난 성능을 보였습니다. * **성능 향상**: 복잡도가 높은 과제에서 크라우드소싱 데이터 기반 모델의 카파 지수는 0.41에 불과했으나, 큐레이션 프로세스를 거친 모델은 전문가 합의 수준인 0.78에 근접하는 성과를 거두었습니다. * 결과적으로 대규모 모델을 사용하는 실제 프로덕션 시스템에서는 데이터 규모를 최대 10,000배까지 줄이면서도 품질을 유지하거나 개선할 수 있음을 입증했습니다. 이 연구는 데이터의 '양'보다 '질'과 '선택 방식'이 LLM 성능 향상에 더 결정적임을 보여줍니다. 특히 전문가의 개입이 필요한 모호한 분류 작업에서 비용 효율적으로 고성능 모델을 구축하고자 하는 조직에게 이 능동 학습 기반 큐레이션은 매우 실용적인 가이드라인이 될 것입니다.

google원문

웨어러블 기기 및 일상 (새 탭에서 열림)

구글 리서치(Google Research)는 웨어러블 기기 데이터와 일반적인 혈액 검사 지표를 결합해 제2형 당뇨병의 전조 증상인 인슐린 저항성(IR)을 높은 정확도로 예측하는 머신러닝 모델을 개발했습니다. 이 연구는 침습적이고 비용이 많이 드는 기존 검사 방식을 대체할 수 있는 확장 가능한 조기 선별 도구를 제시하며, 고위험군을 대상으로 한 예방적 치료의 가능성을 열었습니다. 특히 Gemini 모델 기반의 AI 에이전트를 도입하여 사용자가 자신의 상태를 쉽게 이해하고 맞춤형 건강 관리를 실천할 수 있도록 지원하는 통합적인 접근 방식을 제안합니다. **디지털 바이오마커와 혈액 지표의 결합 (WEAR-ME 연구)** * 미국 전역의 1,165명의 참가자를 대상으로 웨어러블 기기(Fitbit, Google Pixel Watch)와 퀘스트 다이아노스틱스(Quest Diagnostics)의 혈액 검사 데이터를 수집하는 WEAR-ME 연구를 진행했습니다. * 데이터는 안정 시 심박수, 걸음 수, 수면 패턴과 같은 웨어러블 지표와 공복 혈당, 지질 패널(Lipid panel) 등 루틴한 혈액 검사 결과, 인구통계학적 정보를 포함합니다. * 심층 신경망(Deep Neural Network)을 활용해 인슐린 저항성의 표준 지표인 HOMA-IR 점수를 예측하도록 모델을 학습시켰습니다. **모델 성능 및 데이터 소스별 기여도** * 단일 데이터 소스보다 여러 스트림을 결합했을 때 예측 정확도(auROC)가 유의미하게 향상되는 결과를 보였습니다. * 웨어러블 데이터와 인구통계 정보만 사용했을 때 0.70이었던 auROC는 공복 혈당 데이터를 추가하자 0.78로 상승했습니다. * 웨어러블, 인구통계, 공복 혈당에 지질 패널을 포함한 전체 혈액 검사 데이터를 모두 결합했을 때 가장 높은 성능인 0.82(독립 검증 코호트에서 0.81)를 달성했습니다. **고위험군 대상의 효용성 및 검증** * 이 모델은 특히 비만이거나 신체 활동량이 적은 정적인 생활 방식을 가진 고위험군에서 강력한 예측 성능을 보였습니다. * 72명의 독립적인 검증 코호트에서도 일관되게 높은 성능을 유지함으로써 모델의 일반화 가능성을 입증했습니다. * 이는 고비용의 특수 인슐린 검사 없이도 일상적인 데이터와 정기 검진 결과만으로 당뇨 위험을 조기에 포착할 수 있음을 의미합니다. **Gemini 기반 인슐린 저항성 교육 에이전트** * 단순한 수치 예측을 넘어, 최신 거대언어모델(LLM)인 Gemini를 활용한 '인슐린 저항성 이해 및 교육 에이전트(IR Agent)' 프로토타입을 구축했습니다. * 이 에이전트는 사용자가 모델의 예측 결과를 쉽게 해석할 수 있도록 돕고, 인슐린 저항성에 대한 문해력을 높여줍니다. * 분석된 데이터를 바탕으로 안전하고 개인화된 건강 관리 권장 사항을 제공하여 실질적인 생활 습관 개선을 유도합니다. 이 기술은 증상이 나타나기 전 단계에서 인슐린 저항성을 발견함으로써 제2형 당뇨병으로의 진행을 늦추거나 예방할 수 있는 강력한 도구가 될 수 있습니다. 현재는 연구 및 정보 제공 목적으로 개발되었으나, 향후 의료 현장에서 데이터 기반의 정밀한 조기 진단 보조 도구로 활용될 것으로 기대됩니다.

google원문

소비자용 초광대 (새 탭에서 열림)

구글 리서치는 스마트폰에 이미 탑재된 초광대역(UWB) 레이더 기술과 전이 학습(Transfer Learning)을 활용해 비접촉식으로 심박수를 측정할 수 있는 새로운 기술을 공개했습니다. 기존의 주파수 변조 연속파(FMCW) 레이더 데이터로 학습된 딥러닝 모델의 지식을 UWB 시스템에 성공적으로 이식함으로써, 별도의 추가 하드웨어 없이도 일상적인 모바일 기기에서 정밀한 건강 모니터링이 가능함을 입증했습니다. 이 기술은 호흡이나 몸의 움직임 속에서도 심장의 미세한 진동을 정확히 포착하여 개인용 헬스케어의 새로운 지평을 열 것으로 기대됩니다. **UWB 레이더를 활용한 생체 신호 감지** * UWB는 현재 스마트폰에서 주로 정밀 위치 찾기나 디지털 키 등에 사용되지만, 고유의 레이더 성능을 활용하면 심박수와 같은 활력 징후 측정이 가능합니다. * 구글은 기존 Nest Hub의 'Soli' 레이더(FMCW 방식)를 통해 축적한 방대한 데이터와 알고리즘을 UWB 환경에 적용하는 연구를 진행했습니다. * UWB는 짧은 펄스를 사용하여 거리를 측정하므로, 연속파를 사용하는 FMCW와 물리적 원리는 다르지만 딥러닝을 통해 학습된 특징(Feature)을 공유할 수 있습니다. **비접촉 측정의 한계와 시공간적 해결책** * 심박으로 인한 흉벽의 미세한 움직임은 호흡이나 일반적인 신체 움직임에 비해 매우 작아 노이즈에 묻히기 쉽습니다. * 이를 해결하기 위해 레이더의 3차원 공간 해상도를 활용하여 신체 주변에 정밀한 '측정 구역'을 설정하고 배경 노이즈를 차단합니다. * 동시에 최대 200Hz의 높은 시간 해상도로 신호를 샘플링하여 심장 박동의 빠르고 미세한 시간적 변화를 포착합니다. **딥러닝 모델 아키텍처 및 전이 학습** * 입력 데이터의 시간과 공간 축을 동시에 분석하기 위해 2D ResNet 구조를 사용하여 미세한 시공간 패턴을 추출합니다. * 이후 평균 풀링(Average Pooling)을 거쳐 공간 차원을 축소하고, 1D ResNet을 통해 시간적 차원에서 심박의 주기적 패턴을 식별합니다. * FMCW 데이터셋(980시간 분량)으로 사전 학습된 이 모델은 평균 절대 오차(MAE) 0.85 bpm을 기록하며 기존 기술 대비 오차율을 절반 수준으로 줄였습니다. * 상대적으로 적은 분량(37.3시간)의 UWB 데이터셋에서도 전이 학습을 통해 스마트폰을 책상이나 무릎에 두는 실제 환경에서 높은 정확도를 보여주었습니다. 이 연구는 추가적인 센서 부착 없이도 우리가 매일 사용하는 스마트폰만으로 고정밀 생체 신호 모니터링이 가능하다는 점을 시사합니다. 향후 웨어러블 기기의 불편함 없이 수면 중이나 명상 시, 혹은 일상적인 스마트폰 사용 중에도 실시간 건강 관리가 가능해지는 기술적 토대가 될 것입니다.

google원문

구글 지도에 HO (새 탭에서 열림)

구글 맵은 전용 차로(HOV)를 이용하는 운전자들에게 더욱 정확한 도착 예정 시간(ETA)과 최적의 경로를 제공하기 위해 새로운 비지도 학습 기반의 분류 시스템을 도입했습니다. 이 시스템은 속도 분포와 GPS 횡방향 거리 데이터를 분석하여 익명화된 교통 흐름 속에서 HOV 사용자를 정교하게 식별해냅니다. 이를 통해 사용자는 카풀 차로 이용 시의 시간 절약 효과를 미리 확인하고 보다 지속 가능한 이동 결정을 내릴 수 있게 되었습니다. **HOV 트립 분류를 위한 비지도 학습 접근법** * HOV 차로 이용 여부에 대한 별도의 레이블이 없는 상태에서 데이터를 처리하기 위해, 레이블이 필요 없는 비지도 학습(Unsupervised Learning) 방식을 채택했습니다. * 전체 경로를 한꺼번에 분석하는 대신, HOV 차로가 존재하는 개별 도로 세그먼트(Segment) 단위로 약 15분 분량의 짧은 시간 윈도우를 설정하여 데이터를 분류합니다. * 각 세그먼트에서 수집된 익명화된 트립 포인트(속도, 관측 시간, 도로 중앙으로부터의 거리 등)를 종합하여 해당 트립이 HOV 차로를 이용했는지 여부를 판단합니다. **속도 분포와 이봉성(Bimodal) 패턴 분석** * 교통량이 많은 혼잡 시간대에는 일반 차로와 HOV 차로 간의 속도 차이가 뚜렷하게 나타나며, 이때 속도 데이터는 두 개의 정점을 가진 '이봉성 분포'를 보입니다. * 시애틀 I-5 고속도로의 사례처럼 HOV 차로가 일반 차로보다 시속 40마일 이상 빠른 경우(Scenario A)는 물론, 속도 차이가 크지 않은 경우(Scenario B)에도 데이터 패턴을 분석하여 트립을 구분합니다. * 이러한 속도 차이 분석은 과거의 교통 트렌드를 파악하고, 미래의 HOV 전용 ETA를 예측하는 모델을 학습시키는 핵심 지표가 됩니다. **GPS 횡방향 거리 측정과 소프트 클러스터링** * GPS의 내재적인 오차를 보정하기 위해 속도 정보와 함께 '도로 중앙으로부터의 횡방향 거리(Lateral Distance)' 데이터를 결합하여 사용합니다. * 차량이 도로의 왼쪽(일반적인 HOV 차로 위치)에 치우쳐 운행하는지 측정함으로써, 속도가 비슷한 상황에서도 차로 위치에 따른 분류 정확도를 높였습니다. * 데이터를 이분법적으로 나누는 대신 각 포인트가 HOV 클러스터에 속할 확률을 계산하는 '소프트 클러스터링(Soft Clustering)' 기법을 적용해 경계선에 있는 데이터를 정교하게 처리합니다. * 통계적 신뢰성을 확보하기 위해 시간적 요소를 고려한 가중 중앙값(Weighted Median) 방식을 사용하며, 최근 데이터에 더 높은 비중을 두어 실시간 교통 변화를 반영합니다. 이와 같은 기술적 개선을 통해 구글 맵 사용자는 HOV 차로 이용 시의 시간 이득을 명확히 인지하고 경로를 선택할 수 있습니다. 이는 개인의 출퇴근 시간을 단축할 뿐만 아니라, 카풀과 같은 지속 가능한 교통 수단 이용을 장려하여 전체적인 교통 혼잡과 탄소 배출을 줄이는 데 실질적인 도움을 줍니다.

google원문

연구에서 기후 회복력 (새 탭에서 열림)

구글 리서치는 인공지능(AI) 기술을 활용해 홍수, 사이클론, 극한 기후 등 기후 위기에 대응하고 전 지구적인 기후 회복 탄력성을 강화하고 있습니다. 과거에는 불가능하다고 여겨졌던 정밀한 기상 예측 모델을 실현함으로써 수억 명의 사람들에게 실무적인 재난 정보를 제공하고 인명 및 재산 피해 예방에 기여하고 있습니다. 연구 성과를 실제 제품과 서비스로 전환하여 데이터가 부족한 취약 지역까지 보호 범위를 확장하는 것이 이 프로젝트의 핵심 결론입니다. **AI 기반 홍수 예측 시스템의 글로벌 확산** * *Nature*지에 게재된 글로벌 수문학 AI 모델을 통해 전 세계 하천 홍수를 최대 7일 전부터 정확하게 예측할 수 있는 기술을 구현했습니다. * 구글의 '플러드 허브(Flood Hub)' 플랫폼을 통해 100개국 이상의 7억 명에게 예측 정보를 제공하며, 정부와 지역사회가 사전에 대비할 수 있도록 돕습니다. * 물리적 측정기가 없는 데이터 취약 지역을 위해 AI가 과거 데이터를 분석해 생성한 '가상 게이지(Virtual gauges)' 기술을 도입하여 150개국으로 서비스 범위를 확장했습니다. * WMO(세계기상기구) 및 주요 국가 기상청과 협력하여 홍수 예측 기술의 글로벌 스케일업을 추진하며 공공 안전을 도모합니다. **사이클론 예측의 정확도 및 리드 타임 개선** * 구글 딥마인드와 협력하여 사이클론의 발생 여부, 이동 경로, 강도, 크기 등을 최대 15일 전부터 예측하며, 50가지 이상의 발생 가능한 시나리오를 생성합니다. * 최신 기상 모델 연구 결과를 전문가와 대중에게 공유하는 인터랙티브 웹사이트 '웨더 랩(Weather Lab)'을 통해 데이터 접근성을 높였습니다. * 미국 국립허리케인센터(NHC)와 파트너십을 맺고 대서양 허리케인 시즌 동안 실험적 모델을 활용하여 더 빠르고 정확한 경보 체계를 구축하고 있습니다. **나우캐스팅을 통한 실시간 국지적 기상 정보 제공** * 지상 레이더 등 전통적 인프라가 부족한 아프리카 지역을 위해 5km 해상도, 15분 간격 업데이트를 제공하는 초단기 강수 예측(Nowcasting) 기술을 구현했습니다. * 최첨단 신경망 기상 모델인 'MetNet-3'와 글로벌 위성 관측 데이터를 결합하여 인프라 격차를 극복하고 구글 검색을 통해 실시간 정보를 제공합니다. * 정밀한 단기 예측은 특히 농업 종사자들이 기상 변화에 능동적으로 대처하게 함으로써 수확량 개선과 운영 비용 절감 등 경제적 회복력을 높이는 데 기여합니다. **글로벌 협업을 통한 기술의 실효성 확보** 기상 위기는 국경을 초월하는 문제인 만큼, 구글 리서치는 학계, 정부, 비영리 단체와의 광범위한 파트너십을 강조합니다. 기술 개발에 그치지 않고 각국의 기상 당국 및 현지 과학 커뮤니티와 모델을 공유함으로써, AI 기술이 실제 현장에서 인명을 구조하고 공동체의 안전을 지키는 실질적인 도구로 활용되도록 하는 것이 중요합니다.

google원문

신뢰 그래프에서의 차분 (새 탭에서 열림)

구글 리서치가 발표한 '신뢰 그래프 기반 차분 프라이버시(Trust Graph DP, TGDP)'는 사용자 간의 다양한 신뢰 관계를 그래프로 모델링하여 데이터의 효용성과 개인정보 보호 사이의 균형을 맞춘 새로운 프라이버시 프레임워크입니다. 이 모델은 모든 사용자가 서로를 신뢰하지 않는 '로컬 모델'과 중앙 관리자만을 신뢰하는 '중앙형 모델' 사이의 간극을 메우며, 실제 인간관계의 복잡한 신뢰 구조를 수학적으로 반영합니다. 연구진은 지배 집합(Dominating Set) 개념을 활용한 데이터 집계 알고리즘을 통해, 신뢰 구조에 따라 기존 로컬 모델보다 높은 정확도를 달성할 수 있음을 증명했습니다. ### 신뢰 관계의 계층화를 반영한 TGDP 모델 * **신뢰의 가변성 모델링**: 기존의 차분 프라이버시는 신뢰할 수 있는 중앙 관리자가 있거나(중앙형), 아무도 믿지 않는(로컬) 이분법적 상황을 가정하지만, TGDP는 사용자가 가족이나 친구 등 특정 대상은 신뢰하고 낯선 사람은 신뢰하지 않는 현실적인 시나리오를 그래프의 정점(사용자)과 간선(신뢰 관계)으로 표현합니다. * **프라이버시 정의**: 특정 사용자 $u$의 데이터가 변경되더라도, $u$가 신뢰하지 않는 외부인이 관찰하는 메시지의 통계적 분포는 거의 변하지 않아야 한다는 원칙을 세워 프라이버시를 보장합니다. * **모델 간의 가교**: TGDP는 그래프의 형태에 따라 기존 모델들을 포함합니다. 모든 사용자가 중앙 관리자를 신뢰하는 '별 모양(Star)' 그래프는 중앙형 모델이 되고, 아무도 연결되지 않은 그래프는 로컬 모델과 동일해집니다. ### 지배 집합(Dominating Set) 기반 데이터 집계 알고리즘 * **알고리즘 메커니즘**: 그래프 내에서 모든 정점이 자신 혹은 인접한 정점 중 최소 하나를 포함하도록 구성된 '지배 집합 $T$'를 선정합니다. 각 사용자는 자신의 원본 데이터를 신뢰하는 이웃인 지배 집합 구성원에게 전송합니다. * **데이터 취합 및 노이즈 추가**: 데이터를 전달받은 지배 집합의 구성원들은 수집된 값을 합산한 뒤, 차분 프라이버시 조건을 충족하기 위한 적절한 노이즈를 추가하여 외부에 공개합니다. * **정확도 향상**: 이 방식은 각 사용자가 개별적으로 큰 노이즈를 더해야 하는 로컬 모델에 비해, 지배 집합을 통해 데이터를 묶어 처리함으로써 전체적인 오차(Mean-Squared Error)를 크게 줄일 수 있습니다. ### 이론적 한계치와 알고리즘의 효율성 * **오차의 하한선**: 연구진은 데이터 집계 작업에서 발생하는 오차가 그래프의 '지배 수(Domination Number, 지배 집합의 최소 크기)'와 직결됨을 수학적으로 증명했습니다. * **성능 최적화**: 지배 집합의 크기가 작을수록(즉, 소수의 신뢰할 수 있는 노드가 많은 사용자를 커버할수록) 알고리즘은 중앙형 모델에 가까운 높은 정확도를 보여줍니다. * **상호작용의 가치**: 이 모델은 사용자들이 서로 데이터를 공유할 수 있는 신뢰 환경이 조성될 때, 프라이버시를 유지하면서도 얼마나 더 정밀한 통계 분석이 가능한지를 정량적으로 보여줍니다. 이 연구는 위치 정보 공유나 소셜 네트워크 데이터 분석처럼 사용자 간의 신뢰 관계가 이미 형성되어 있는 서비스에서 특히 유용합니다. 데이터 분석가는 사용자의 신뢰 토폴로지를 파악하여 지배 집합 기반의 TGDP 알고리즘을 적용함으로써, 로컬 모델의 낮은 정확도 문제를 극복하고 보다 가치 있는 인사이트를 도출할 수 있을 것으로 기대됩니다.

google원문

신경 연결에 대한 새로운 조명 (새 탭에서 열림)

구글 리서치와 오스트리아 과학기술연구소(ISTA)는 기존의 고가 전자 현미경 대신 일반적인 광학 현미경을 사용하여 뇌의 신경망 지도(커넥토믹스)를 정밀하게 구현하는 'LICONN' 기술을 개발했습니다. 이 방법은 특수한 하이드로젤을 이용해 뇌 조직을 물리적으로 확장함으로써 광학 현미경의 해상도 한계를 극복했으며, 전자 현미경 방식과 대등한 수준의 재구성 성능을 입증했습니다. 이를 통해 더 많은 연구자가 저렴한 비용으로 뇌의 구조와 분자 정보를 동시에 분석할 수 있는 길이 열렸습니다. **전자 현미경의 한계를 넘는 광학 현미경 기반 커넥토믹스** * 신경세포 간의 정밀한 연결을 매핑하는 커넥토믹스는 그간 수백만 달러에 달하는 고가의 전자 현미경(EM) 장비와 고도의 숙련된 인력에 의존해 왔습니다. * LICONN(Light microscopy-based connectomics)은 생명과학 실험실에서 흔히 사용하는 광학 현미경을 활용하여 뇌 조직 내의 모든 뉴런과 그 연결을 포괄적으로 지도화합니다. * 이 기술은 전자 현미경 수준의 정밀도를 유지하면서도 장비 접근성을 획기적으로 높여, 대규모 예산을 보유한 기관뿐만 아니라 일반 연구실에서도 커넥토믹스 연구를 수행할 수 있게 합니다. **LICONN의 핵심: 조직 확장 기술과 단백질 라벨링** * 광학 현미경의 낮은 해상도 문제를 해결하기 위해 '확장 현미경(Expansion Microscopy)' 기술을 적용하여 시료 자체를 물리적으로 부풀리는 방식을 채택했습니다. * 하이드로젤을 이용해 조직을 각 차원당 16배(부피 기준 약 4,000배) 확장함으로써, 빛의 회절 한계를 넘어 나노미터 단위의 미세 구조를 관찰할 수 있는 환경을 조성했습니다. * 모든 단백질을 화학적으로 라벨링하여 이미지 대비를 높였으며, 이를 통해 신경세포의 형태를 추적하고 시냅스와 같은 미세한 구조를 정확히 탐지합니다. **머신러닝을 활용한 신경망 재구성과 성능 검증** * 구글의 고도화된 머신러닝 알고리즘과 이미지 분석 도구를 결합하여 약 100만 입방 마이크론(µm³) 부피의 생쥐 피질 조직을 자동 재구성하는 데 성공했습니다. * 생쥐 해마 조직 내 약 0.5미터에 달하는 신경 돌기(Neurite)를 추적한 결과, 기존 전자 현미경 방식과 비교해도 손색없는 정확도를 보여주었습니다. * 특히 여러 파장의 빛을 사용하는 광학 현미경의 장점을 활용해 단백질, 신경 전달 물질 등의 분자 정보와 신경망의 구조적 정보를 동시에 결합한 다각적 분석이 가능해졌습니다. LICONN 기술은 뇌 지도를 제작하는 비용과 장벽을 크게 낮추는 동시에, 뇌의 구조와 기능을 분자 수준에서 연결하는 새로운 연구 기회를 제공합니다. 이는 향후 인지, 지각, 행동이 뇌에서 어떻게 발생하는지 이해하는 데 중요한 도구가 될 것입니다.

google원문

ZAPBench를 통한 (새 탭에서 열림)

구글 리서치와 HHMI Janelia, 하버드 대학교 연구진은 제브라피쉬 유충의 뇌 전체 활동을 단일 세포 수준에서 기록한 데이터셋이자 벤치마크인 'ZAPBench'를 공개했습니다. 이 프로젝트는 뇌의 구조적 연결망인 커넥토믹스와 실제 신경세포의 동적 활동 데이터를 결합하여, 척추동물의 뇌가 복잡한 행동을 어떻게 생성하는지 정밀하게 모델링하는 것을 목표로 합니다. 연구자들은 ZAPBench의 오픈소스 데이터와 평가 표준을 활용해 신경 활동 예측 모델의 정확도를 객관적으로 비교하고 개선할 수 있습니다. **커넥토믹스와 동적 활동 데이터의 통합** * 기존의 커넥토믹스는 신경세포 간의 정적인 연결 구조를 파악하는 데 집중했으나, 실제 뇌의 작동 원리를 이해하려면 시간 흐름에 따른 동적인 활동 정보가 필수적입니다. * ZAPBench는 약 7만 개의 신경세포로 구성된 제브라피쉬 유충의 뇌 전체 활동을 기록하며, 현재 진행 중인 전체 커넥토미 도표 작성 작업과 결합되어 구조와 기능의 상관관계를 직접 조사할 수 있게 합니다. * 이는 쥐 시각 피질의 극히 일부(0.1% 미만)만을 다루던 기존 벤치마크와 달리, 척추동물 뇌 전체를 포괄한다는 점에서 차별화됩니다. **라이트 시트 현미경과 가상 현실을 이용한 데이터 수집** * 몸 전체가 투명하여 뇌 활동 관찰에 용이한 6일 차 제브라피쉬 유충을 실험 대상으로 선정했습니다. * 신경 세포가 활성화될 때 녹색 빛을 내는 칼슘 지표인 'GCaMP'를 활용하고, 라이트 시트 현미경(Light Sheet Microscope)으로 뇌 전체를 얇은 단면 단위로 스캔하여 3D 이미지를 생성했습니다. * 가상 현실 환경에서 물의 흐름, 명암 변화 등 9가지 시각 자극을 제공함과 동시에, 꼬리에 부착된 전극으로 근육 활동을 기록하여 자극-뇌 활동-행동 사이의 상관관계를 2시간 동안 정밀하게 측정했습니다. **예측 모델 평가를 위한 네 가지 핵심 과제** * **자기회귀(Autoregressive) 예측**: 과거의 신경 활동 데이터를 기반으로 미래의 활동 패턴을 얼마나 잘 예측하는지 평가합니다. * **자극 조건부(Stimulus-conditioned) 예측**: 가상 현실을 통해 제공된 시각적 자극에 대해 뇌가 어떻게 반응할지 모델링합니다. * **행동 조건부(Behavior-conditioned) 예측**: 물고기의 특정 행동(꼬리 움직임 등)과 연관된 뇌 활동의 변화를 예측합니다. * **개체 간(Cross-individual) 예측**: 한 마리의 물고기 데이터로 학습된 모델이 다른 개체의 뇌 활동에도 보편적으로 적용될 수 있는지 테스트합니다. ZAPBench는 뇌 활동 모델링을 위한 표준화된 플랫폼을 제공함으로써 신경과학 분야의 '데이터 기반 혁신'을 가속화할 것으로 기대됩니다. 연구자들은 공개된 데이터셋과 튜토리얼을 통해 자신의 모델을 검증할 수 있으며, 이는 향후 생물학적으로 타당한 인공지능 구조를 설계하거나 복잡한 뇌 질환의 메커니즘을 이해하는 데 중요한 밑거름이 될 것입니다.

google원문

모빌리티 AI를 소개합니다: (새 탭에서 열림)

구글 리서치는 급격한 도시화와 자율주행, 전자상거래 확산 등 변화하는 교통 환경에 대응하기 위해 AI 기반의 차세대 교통 관리 프로그램인 'Mobility AI'를 발표했습니다. 이 프로그램은 측정, 시뮬레이션, 최적화라는 세 가지 핵심 기둥을 중심으로 도시 교통 시스템의 데이터를 분석하고, 정책 결정자와 엔지니어에게 실질적인 해결책을 제공하는 것을 목표로 합니다. 결과적으로 Mobility AI는 교통 체증 완화, 탄소 배출 감소, 그리고 도로 안전 강화를 통해 지속 가능한 도시 이동성을 실현하고자 합니다. ### 정밀 측정을 통한 교통 현황 및 이동 패턴 분석 - ML 기반의 혼잡 함수(Congestion Functions)를 통해 차량 통행량과 속도의 상관관계를 수학적으로 모델링하며, 전체 데이터가 아닌 일부 부동 차량 데이터(Floating car data)만으로도 도시 전역의 교통 흐름을 정밀하게 유추합니다. - 자기지도 학습(Self-supervised learning)을 활용한 지오스페이셜 임베딩 기술로 데이터가 부족한 지역에서도 지역적 특성과 공간적 관계를 파악하여 이동 패턴을 정교하게 이해합니다. - 인과 추론(Causal inference) 기술을 도입해 날씨나 공휴일 같은 복잡한 변수 속에서도 신호 체계 변경과 같은 특정 개입이 실제 교통 흐름에 미친 순수한 효과를 정확히 측정합니다. ### 고충실도 시뮬레이션을 활용한 디지털 트윈 구축 - 기존의 수동적이고 느린 시뮬레이션의 한계를 극복하기 위해, 머신러닝이 실제 도로 위 운전자들의 행동을 직접 학습하여 반영하는 'Traffic Simulation API'를 개발했습니다. - 고해상도 이동 데이터를 활용한 자동 보정 기술을 통해 도시 전체 규모의 '디지털 트윈'을 신속하게 생성하며, 이를 통해 새로운 교통 정책이나 인프라 변화의 결과를 가상 환경에서 미리 검증할 수 있습니다. - 대규모 이벤트 이후의 교통 흐름을 분석하거나 대중교통 및 보행자 환경 개선을 위한 다양한 시나리오를 고성능 시뮬레이션 환경에서 테스트하여 최적의 대안을 찾습니다. ### 실질적 개선을 위한 지능형 교통 최적화 - '그린 라이트(Green Light)' 프로젝트를 통해 AI가 기존 교차로의 신호 타이밍을 최적화함으로써 불필요한 정차를 줄이고 연료 소비 및 온실가스 배출을 감축하고 있습니다. - 현재 전 세계 3,000개 이상의 교차로에서 운영 중인 이 기술은 별도의 하드웨어 설치 없이 구글 맵의 데이터를 활용해 도시 당국에 효율적인 신호 조절 권장 사항을 제공합니다. - 교통 신호 제어 API(Traffic Signal Control API)를 통해 지자체가 직접 AI 기반의 최적화 제안을 받아 현장에 적용할 수 있도록 지원하며, 향후 연석 공간 관리나 화물 운송 최적화로 서비스 영역을 확장할 계획입니다. Mobility AI는 구글의 방대한 지리정보 데이터와 고도화된 AI 기술을 결합하여 공공 부문의 교통 문제를 해결하려는 혁신적인 시도입니다. 교통 당국은 이 플랫폼을 통해 단순한 현황 파악을 넘어 미래 변화를 과학적으로 예측하고, 데이터에 기반한 정책을 수립함으로써 시민들에게 더 안전하고 효율적인 이동 경험을 제공할 수 있을 것입니다.

google원문

InstructPipe: 인간의 지시 (새 탭에서 열림)

InstructPipe는 사용자의 자연어 명령을 기반으로 머신러닝 워크플로우를 자동 생성하는 AI 비주얼 프로그래밍 어시스턴트입니다. 두 단계의 대규모 언어 모델(LLM) 프로세스와 코드 인터프리터를 활용해 복잡한 노드 선택 및 연결 과정을 자동화하며, 초보자가 백지상태에서 파이프라인을 구축할 때 겪는 진입 장벽을 대폭 낮췄습니다. 이를 통해 기술적 숙련도와 상관없이 누구나 창의적인 아이디어를 시각적인 ML 파이프라인으로 신속하게 구현할 수 있는 환경을 제공합니다. ### 효율적인 파이프라인 표현 방식 * 기존 비주얼 블록 시스템이 사용하는 장황한 JSON 형식을 '의사코드(Pseudocode)' 형태로 압축하여 처리 효율을 극대화했습니다. * 의사코드 방식을 통해 파이프라인 표현에 필요한 토큰 수를 기존 2,800개에서 123개 수준으로 약 95% 이상 절감하여 LLM의 연산 부담을 줄였습니다. * 각 의사코드는 노드의 고유 ID, 유형, 입출력 변수명, 매개변수 정보를 포함하는 간결한 문법으로 정의되어 LLM이 구조를 정확히 파악하도록 돕습니다. ### 2단계 LLM 기반 생성 프로세스 * **노드 선택기(Node Selector):** 수많은 노드 라이브러리 중 사용자의 명령과 관련된 후보 노드들만 1차적으로 필터링합니다. 이는 마치 라이브러리 문서의 요약본을 훑어보는 것과 같아 시스템의 정확도를 높입니다. * **코드 작성기(Code Writer):** 선택된 노드들의 상세 사양(데이터 타입, 입출력 구조, 연결 예시 등)을 바탕으로 실제 작동 가능한 의사코드를 작성합니다. 상세한 컨텍스트를 제공하여 노드 간의 유효한 연결을 보장합니다. * **코드 인터프리터(Code Interpreter):** 최종 생성된 의사코드를 해석하여 비주얼 블록 에디터에서 즉시 수정 및 실행이 가능한 시각적 노드 그래프로 렌더링합니다. ### 사용자 경험 및 기술적 효용 * 초보 사용자가 적절한 노드를 찾고 수동으로 연결하는 데 드는 학습 곡선과 시간을 획기적으로 단축하여 프로토타이핑 속도를 가속화합니다. * 사용자는 단순히 명령어를 입력하는 것만으로 멀티모달 파이프라인을 구축할 수 있으며, 생성된 결과물은 사용자가 직접 세부 조정할 수 있는 유연성을 가집니다. * LLM의 추론 능력과 비주얼 프로그래밍의 직관성을 결합하여, 복잡한 ML 설계를 인간과 AI의 협업 체계로 전환했다는 점에 의의가 있습니다. InstructPipe는 복잡한 AI 모델을 조합하여 서비스 프로토타입을 빠르게 만들어야 하는 기획자나 개발자에게 강력한 도구가 될 수 있습니다. 단순히 결과를 자동 생성하는 것에 그치지 않고, 생성된 결과물을 사용자가 시각적으로 직접 편집할 수 있는 '수정 가능한 자동화' 워크플로우를 채택할 것을 권장합니다.

google원문

ECLeKTic: LL (새 탭에서 열림)

Google Research가 발표한 ECLeKTic은 대규모 언어 모델(LLM)이 특정 언어로 학습한 지식을 다른 언어로 얼마나 잘 전달하는지 평가하기 위해 설계된 새로운 벤치마크입니다. 이 데이터셋은 특정 언어의 위키피디아에만 존재하는 고유 정보를 활용하여, 모델이 소스 언어에서 습득한 지식을 12개의 대상 언어에서 폐쇄형 질문 답변(Closed-book QA) 형식으로 인출할 수 있는지 측정합니다. 최신 모델인 Gemini 2.5 Pro가 52.6%의 성공률을 기록하며 가장 우수한 성능을 보였으나, 이는 여전히 언어 간 지식 전이 능력을 개선할 여지가 많음을 시사합니다. **언어 간 지식 접근성 격차의 문제** * 인간은 여러 언어를 구사할 때 언어와 상관없이 동일한 지식에 접근할 수 있지만, 현재의 LLM은 특정 언어(예: 인도네시아어)로 질문했을 때만 답변하고 다른 언어(예: 독일어)로 질문하면 답하지 못하는 지식의 파편화 현상을 보입니다. * 이러한 격차는 정보가 적은 언어 사용자들의 지식 접근권을 제한할 뿐만 아니라, 정보가 많은 언어 사용자들 역시 전 세계의 다양한 지식을 활용하지 못하게 만듭니다. * ECLeKTic은 모델의 내부 지식만을 이용하는 블랙박스 평가 방식을 채택하여, 모델의 내부 구조를 알 수 없는 상용 모델(Proprietary models)까지도 쉽게 평가할 수 있도록 설계되었습니다. **데이터셋 구성 및 검증 프로세스** * 한국어, 영어, 인도네시아어, 힌디어 등 총 12개 언어를 포함하며, 특정 언어의 위키피디아에만 단독으로 존재하는 문서를 기반으로 384개의 고유 질문과 4,224개의 번역된 예시를 생성했습니다. * 질문의 타당성을 높이기 위해 원어민 검수자들이 '폐쇄형 질문 답변 가능 여부'와 '특정 문화권의 고유 지식 여부'를 엄격히 필터링했습니다. * '탈맥락화(Decontextualization)' 과정을 통해 질문 내 모호한 대명사나 고유 명사를 구체화(예: "대법원"을 "이스라엘 대법원"으로 수정)하여 번역된 언어에서도 충분히 답변 가능한 형태를 갖추었습니다. * 자동 번역 후 다시 원어민이 번역의 정확성을 검증하고, 원어의 의미가 훼손되어 번역이 불가능한 사례는 데이터셋에서 제외했습니다. **벤치마크 결과 및 성능 지표** * 핵심 지표인 '전체 성공률(Overall success)'은 모델이 소스 언어와 대상 언어 모두에서 질문에 올바르게 답한 비율을 측정합니다. * 8개의 주요 LLM을 테스트한 결과, Gemini 2.0 Pro는 41.6%의 성공률을 보였으며, 최신 버전인 Gemini 2.5 Pro는 52.6%를 달성하여 성능 개선을 입증했습니다. * 결과적으로 최고 수준의 모델조차 절반 수준의 성공률에 머물러 있어, 모든 사용자가 언어 장벽 없이 공평하게 정보에 접근할 수 있는 모델을 만들기 위한 추가적인 연구가 필요함을 보여줍니다. ECLeKTic은 Kaggle을 통해 오픈 소스로 공개되어 있으며, 개발자들은 이를 활용해 자신들의 모델이 가진 다국어 지식 전이 성능을 정밀하게 측정하고 개선하는 지표로 삼을 수 있습니다.

google원문

그래프 학습의 진 (새 탭에서 열림)

그래프 학습은 1736년 오일러의 정리부터 시작되어 현대 머신러닝의 핵심 기술로 진화해 왔습니다. 과거에는 페이지랭크(PageRank)와 같은 알고리즘을 통해 그래프 구조를 분석했다면, 최근에는 딥워크(DeepWalk)와 그래프 합성곱 신경망(GCN)의 등장을 통해 복잡한 관계 데이터를 신경망으로 처리하는 '그래프 러닝'의 시대가 열렸습니다. 구글 연구진은 이러한 흐름을 주도하며 교통 예측, 가짜 뉴스 탐지, 분자 분석 등 다양한 실무 영역에 그래프 알고리즘을 성공적으로 적용하고 있습니다. ### 그래프 알고리즘의 기원과 초기 발전 * 1736년 레온하르트 오일러가 '쾨니히스베르크의 다리 문제'를 해결하며 관계와 연결을 수학적으로 모델링하는 현대 그래프 이론의 기초를 마련했습니다. * 초기 연구는 그래프 내의 커뮤니티 구조 파악, 중심성(Centrality) 측정, 최단 경로 계산 및 최대 유량 문제 등 그래프의 구조적 패턴을 찾는 데 집중했습니다. * 1996년 등장한 페이지랭크(PageRank) 알고리즘은 인터넷 웹페이지를 노드로, 하이퍼링크를 엣지로 정의하여 웹 전체를 거대한 그래프로 해석함으로써 검색 엔진의 혁신을 가져왔습니다. ### 딥러닝과 그래프의 결합, DeepWalk * 전통적인 그래프 알고리즘은 불연속적인 특성 때문에 연속적인 수치 연산을 수행하는 신경망 시스템과 직접 통합하기 어려운 한계가 있었습니다. * 2014년에 발표된 딥워크(DeepWalk)는 신경망 인코더를 사용하여 그래프 데이터를 수치적 벡터로 변환하는 '그래프 임베딩' 기법을 최초로 실용화했습니다. * DeepWalk는 노드 간의 유사성을 단순한 특징 기반의 유사도가 아닌, 그래프 구조 내에서의 관계성을 보존하는 방식으로 캡처하여 그래프 학습 연구의 기폭제가 되었습니다. ### 그래프 합성곱 신경망(GCN)과 현대적 접근 * 2016년 토마스 키프(Thomas Kipf) 등이 제안한 그래프 합성곱 신경망(GCN)은 이미지 처리의 합성곱 개념을 그래프 구조에 도입하여 노드의 이웃 정보를 효과적으로 통합했습니다. * 이후 메시지 패싱 신경망(MPNN) 등 노드 간 정보를 교환하며 주변 구조를 학습하는 정교한 모델들이 등장하며 그래프 학습의 표준이 되었습니다. * 이러한 기술적 진보는 현재 교통 흐름 예측, 전염병 확산 모델링, 물리학 시뮬레이션, 냄새를 유발하는 분자 구조 분석 등 광범위한 실제 문제 해결에 활용되고 있습니다. 복잡한 연결 관계를 다루는 비즈니스나 연구 분야라면 TensorFlow나 JAX와 같은 라이브러리에서 제공하는 최신 그래프 신경망 구현체를 활용해 보는 것을 추천합니다. 특히 데이터 간의 관계 자체가 핵심적인 정보를 담고 있는 소셜 네트워크, 사기 탐지, 화학 구조 분석 등의 도메인에서는 단순한 특성 기반 학습보다 그래프 학습 기반의 접근이 훨씬 더 강력한 통찰을 제공할 수 있습니다.