google·2025년 4월 16일원문

생물학의 언어를 기계에 가르치기: 차세대 단일 세포 분석을 위한 대형 언어 모델 확장 (새 탭에서 열림)

예일 대학교와 구글 리서치는 복잡한 단일 세포 RNA 시퀀싱(scRNA-seq) 데이터를 텍스트 형식으로 변환하여 대규모 언어 모델(LLM)이 해석할 수 있도록 하는 'C2S-Scale(Cell2Sentence-Scale)'을 공개했습니다. 이 기술은 유전자 발현 수준에 따라 유전자 이름을 정렬해 '세포 문장(cell sentence)'을 생성함으로써, 고차원의 생물학적 데이터를 자연어처럼 처리하고 분석할 수 있는 혁신적인 접근법을 제시합니다. 이를 통해 연구자들은 전문적인 코드 없이도 세포의 상태나 약물 반응 등을 일상 언어로 질문하고 답변을 얻을 수 있는 대화형 분석 환경을 갖게 되었습니다. ### 세포 데이터를 문장으로 변환하는 메커니즘 * 단일 세포의 유전자 발현 프로필을 수치 데이터가 아닌, 발현량이 높은 순서대로 유전자 이름을 나열한 '세포 문장'으로 변환합니다. * 유전자 이름, 세포 유형, 실험 메타데이터 등 이미 텍스트로 존재하는 생물학적 정보와 결합하여 LLM이 생물학적 문맥을 자연스럽게 학습하도록 설계되었습니다. * 자연어를 인터페이스로 사용함으로써 복잡한 고차원 데이터를 직관적이고 유연하게 해석할 수 있으며, 기존 LLM 인프라를 그대로 활용할 수 있는 확장성을 확보했습니다. ### C2S-Scale 모델 제품군 및 아키텍처 * 구글의 오픈 모델인 '젬마(Gemma)' 아키텍처를 기반으로 구축되었으며, 실제 전사체 데이터와 생물학적 문헌 등 10억 개 이상의 토큰을 포함한 데이터셋으로 학습되었습니다. * 연구자의 컴퓨팅 자원과 목적에 맞게 선택할 수 있도록 4억 1,000만 개(410M)부터 270억 개(27B)의 매개변수를 가진 다양한 크기의 모델 라인업을 제공합니다. * 모든 모델은 오픈 소스로 공개되어 HuggingFace와 GitHub를 통해 누구나 미세 조정(Fine-tuning)하거나 연구에 즉시 활용할 수 있습니다. ### 자연어를 통한 생물학 데이터 해석 및 성능 * **대화형 질의응답:** "이 T 세포가 항암 치료제에 어떻게 반응할까?"와 같은 질문에 대해 모델이 세포 데이터와 사전 학습된 생물학 지식을 결합하여 자연어로 답변합니다. * **자동 데이터 요약:** 단일 세포의 유형 식별부터 조직 전체의 실험 결과 요약까지, 복잡한 데이터를 생물학적 의미가 담긴 텍스트로 자동 생성하여 연구자의 해석을 돕습니다. * **생물학적 스케일링 법칙:** 일반적인 LLM과 마찬가지로 모델의 크기가 커질수록 세포 유형 주석(Annotation) 및 데이터 생성 능력이 예측 가능한 수준으로 정교해지는 '스케일링 법칙'이 적용됨을 입증했습니다. C2S-Scale은 생물학 데이터를 '언어'의 영역으로 통합함으로써 전문가 위주의 단일 세포 분석 문턱을 크게 낮췄습니다. 생물학 연구자들은 공개된 모델을 활용해 자신의 실험 데이터를 시각화하는 수준을 넘어, 세포와 직접 대화하며 가설을 검증하는 새로운 차원의 연구 워크플로우를 구축해 볼 수 있을 것입니다.

자연어 처리AI대규모 언어 모델gemma+5

google·2025년 4월 1일원문

ECLeKTic: LL (새 탭에서 열림)

Google Research가 발표한 ECLeKTic은 대규모 언어 모델(LLM)이 특정 언어로 학습한 지식을 다른 언어로 얼마나 잘 전달하는지 평가하기 위해 설계된 새로운 벤치마크입니다. 이 데이터셋은 특정 언어의 위키피디아에만 존재하는 고유 정보를 활용하여, 모델이 소스 언어에서 습득한 지식을 12개의 대상 언어에서 폐쇄형 질문 답변(Closed-book QA) 형식으로 인출할 수 있는지 측정합니다. 최신 모델인 Gemini 2.5 Pro가 52.6%의 성공률을 기록하며 가장 우수한 성능을 보였으나, 이는 여전히 언어 간 지식 전이 능력을 개선할 여지가 많음을 시사합니다. **언어 간 지식 접근성 격차의 문제** * 인간은 여러 언어를 구사할 때 언어와 상관없이 동일한 지식에 접근할 수 있지만, 현재의 LLM은 특정 언어(예: 인도네시아어)로 질문했을 때만 답변하고 다른 언어(예: 독일어)로 질문하면 답하지 못하는 지식의 파편화 현상을 보입니다. * 이러한 격차는 정보가 적은 언어 사용자들의 지식 접근권을 제한할 뿐만 아니라, 정보가 많은 언어 사용자들 역시 전 세계의 다양한 지식을 활용하지 못하게 만듭니다. * ECLeKTic은 모델의 내부 지식만을 이용하는 블랙박스 평가 방식을 채택하여, 모델의 내부 구조를 알 수 없는 상용 모델(Proprietary models)까지도 쉽게 평가할 수 있도록 설계되었습니다. **데이터셋 구성 및 검증 프로세스** * 한국어, 영어, 인도네시아어, 힌디어 등 총 12개 언어를 포함하며, 특정 언어의 위키피디아에만 단독으로 존재하는 문서를 기반으로 384개의 고유 질문과 4,224개의 번역된 예시를 생성했습니다. * 질문의 타당성을 높이기 위해 원어민 검수자들이 '폐쇄형 질문 답변 가능 여부'와 '특정 문화권의 고유 지식 여부'를 엄격히 필터링했습니다. * '탈맥락화(Decontextualization)' 과정을 통해 질문 내 모호한 대명사나 고유 명사를 구체화(예: "대법원"을 "이스라엘 대법원"으로 수정)하여 번역된 언어에서도 충분히 답변 가능한 형태를 갖추었습니다. * 자동 번역 후 다시 원어민이 번역의 정확성을 검증하고, 원어의 의미가 훼손되어 번역이 불가능한 사례는 데이터셋에서 제외했습니다. **벤치마크 결과 및 성능 지표** * 핵심 지표인 '전체 성공률(Overall success)'은 모델이 소스 언어와 대상 언어 모두에서 질문에 올바르게 답한 비율을 측정합니다. * 8개의 주요 LLM을 테스트한 결과, Gemini 2.0 Pro는 41.6%의 성공률을 보였으며, 최신 버전인 Gemini 2.5 Pro는 52.6%를 달성하여 성능 개선을 입증했습니다. * 결과적으로 최고 수준의 모델조차 절반 수준의 성공률에 머물러 있어, 모든 사용자가 언어 장벽 없이 공평하게 정보에 접근할 수 있는 모델을 만들기 위한 추가적인 연구가 필요함을 보여줍니다. ECLeKTic은 Kaggle을 통해 오픈 소스로 공개되어 있으며, 개발자들은 이를 활용해 자신들의 모델이 가진 다국어 지식 전이 성능을 정밀하게 측정하고 개선하는 지표로 삼을 수 있습니다.

자연어 처리AI대규모 언어 모델머신러닝+4

google·2025년 3월 20일원문

LLM 표현을 통한 인간 뇌 (새 탭에서 열림)

거대 언어 모델(LLM)의 문맥적 임베딩이 실제 대화 중인 인간의 뇌 신경 활동과 선형적으로 정렬된다는 연구 결과가 발표되었습니다. 연구팀은 LLM의 내부 표현이 인간의 언어 이해 및 생성 과정을 설명하는 강력한 프레임워크가 될 수 있음을 증명했습니다. 결과적으로 이는 LLM이 단순히 성능이 뛰어난 도구를 넘어, 인간의 복잡한 언어 처리 메커니즘을 해독하는 핵심적인 열쇠로 작용할 수 있음을 시사합니다. **LLM과 인간 뇌의 언어 처리 유사성** * 기존의 심리언어학 모델은 상징적인 문법 규칙에 의존했으나, LLM은 다음 단어 예측과 강화 학습을 통해 언어의 통계적 구조를 다차원 임베딩 공간에 인코딩합니다. * 구글 리서치와 프린스턴 대학교 등 공동 연구진은 5년간의 연구를 통해 모델의 내부 표현(임베딩)과 자유로운 대화 중 발생하는 뇌 신경 활동 사이의 유사성을 탐구했습니다. * 연구 결과, 모델의 단어 수준 임베딩이 인간의 언어 중추인 브로카 영역(Broca’s area)과 상측두회(STG) 등의 활동 패턴과 긴밀하게 일치함을 확인했습니다. **Whisper 모델을 통한 신경망 분석 및 정렬** * Transformer 기반의 음성-텍스트 변환 모델인 'Whisper'를 활용해 실제 대화 중인 피험자의 뇌 신호와의 상관관계를 분석했습니다. * 분석을 위해 모델의 음성 인코더에서 추출한 '음성(Speech) 임베딩'과 디코더에서 추출한 단어 기반 '언어(Language) 임베딩'을 사용했습니다. * 두개강 내 전극(Intracranial electrodes)으로 측정된 뇌 활동 데이터에 선형 변환을 적용하여, 모델의 임베딩 값으로 뇌의 신경 신호를 예측하는 모델을 구축했습니다. **언어 이해와 생성의 신경학적 시퀀스** * **언어 이해(Comprehension):** 단어가 들릴 때 먼저 상측두회(STG)에서 음성 임베딩이 신경 활동을 예측하고, 수백 밀리초 후 브로카 영역(IFG)에서 언어 임베딩이 의미 해독 과정을 예측하는 순차적 흐름을 보입니다. * **언어 생성(Production):** 단어를 뱉기 약 500밀리초 전, 브로카 영역에서 언어 임베딩이 활동을 예측하며 발화를 계획합니다. 이후 운동 피질(MC)에서 음성 임베딩이 조음 과정을 예측하는 역순의 역동성이 관찰됩니다. * **자기 모니터링:** 발화 직후에는 자신의 목소리를 듣고 모니터링하기 위해 상측두회의 청각 영역에서 다시 한번 음성 임베딩과 신경 활동의 정렬이 나타납니다. 이 연구는 인공지능의 내부 메커니즘이 인간의 생물학적 언어 처리 과정을 모사하고 있음을 보여줍니다. 따라서 향후 뇌 기능 장애의 이해나 더 정교한 뇌-컴퓨터 인터페이스(BCI) 개발에 LLM의 임베딩 구조를 활용하는 것이 매우 효과적인 전략이 될 것입니다.

자연어 처리AI대규모 언어 모델transformer+4

coupang·2024년 11월 14일원문

LLM을 통한 쿠 (새 탭에서 열림)

쿠팡은 검색, 광고, 물류 등 서비스 전반에 걸쳐 머신러닝(ML) 기술을 적극적으로 활용하고 있으며, 최근에는 대규모 언어 모델(LLM)을 도입해 AI 혁신을 가속화하고 있습니다. LLM은 다국어 환경과 방대한 상품 데이터를 처리하는 데 탁월한 성능을 보이며, 효율적인 모델 학습과 추론을 위한 플랫폼 인프라의 최적화가 이 과정의 핵심 동력이 되고 있습니다. 쿠팡은 이를 통해 고객 경험을 개선하고 운영 효율성을 극대화하는 성과를 거두고 있습니다. **쿠팡의 머신러닝 활용 영역** * **추천 시스템:** 사용자 클릭, 구매 이력, 장바구니 담기 등 대규모 상호작용 데이터와 사람이 직접 라벨링한 관련성 판단 지표를 기반으로 홈 피드, 검색, 광고의 개인화를 구현합니다. * **콘텐츠 이해:** 상품 카탈로그(텍스트, 이미지), 사용자 리뷰, 검색어 등 방대한 데이터를 딥러닝으로 분석해 상품과 고객에 대한 표현(Representation)을 학습하고 이를 쇼핑 경험 개선에 활용합니다. * **예측 모델링:** 100개 이상의 물류 센터(FC) 내 수백만 개 상품에 대한 수요, 가격, 배송 경로를 예측하며, 기존 통계적 기법에 딥러닝 기술을 점진적으로 결합하고 있습니다. **멀티모달 기반의 이미지 및 언어 이해** * **Vision-Language Transformer:** 이미지와 텍스트 데이터를 별개로 처리하던 기존 방식에서 벗어나, 두 데이터를 동시에 모델링하는 트랜스포머 모델을 통해 더욱 정교한 임베딩(Embedding)을 생성합니다. * **검색 및 추천 고도화:** 생성된 임베딩은 광고 검색, 유사 상품 찾기 및 추천 모델의 핵심 피처로 활용되어 사용자에게 더 적합한 결과를 제공합니다. * **다양한 서비스 적용:** 한국어와 대만어 간의 상품명 번역, 쇼핑 피드 이미지 품질 개선, 사용자 리뷰 요약, 상품 및 판매자 키워드 자동 생성 등 다양한 영역에서 대규모 모델이 성공적으로 적용되었습니다. **데이터 레이블링 및 속성 추출 혁신** * **대규모 약지도 학습(Weak Label) 생성:** 사람이 직접 수행하기에 비용과 시간이 많이 드는 다국어(한국어, 영어, 중국어 등) 레이블링 작업을 LLM이 수행하여, 모델 학습을 위한 기초 데이터를 대규모로 확보합니다. * **데이터 부족 문제 해결:** 학습 데이터가 부족한 새로운 카테고리나 세그먼트에서 LLM이 생성한 레이블을 통해 모델의 성능을 빠르게 안정화하고 관련성 모델의 품질을 높입니다. * **통합 모델링으로의 전환:** 과거에는 상품 카테고리별로 개별 ML 모델을 구축해야 했으나, 이제는 통합된 LLM을 통해 상품 분류 및 속성 추출 프로세스를 간소화하고 효율성을 높이고 있습니다. 쿠팡은 LLM을 단순한 기술 도입을 넘어 인프라 최적화와 결합하여 실제 비즈니스 가치를 창출하는 핵심 도구로 활용하고 있습니다. 특히 다국어 지원과 대규모 데이터 처리가 필수적인 글로벌 이커머스 환경에서, LLM 기반의 플랫폼 전략은 향후 AI 경쟁력을 좌우하는 중요한 기반이 될 것입니다.

자연어 처리AI대규모 언어 모델머신러닝+5

coupang·2024년 11월 14일원문

쿠팡의 머신러 (새 탭에서 열림)

쿠팡의 머신러닝 플랫폼은 데이터 탐색부터 모델 배포에 이르는 전체 ML 생애주기를 가속화하여 개발 생산성을 혁신적으로 높이는 것을 목표로 합니다. 이를 통해 검색, 가격 책정, 물류 최적화 등 쿠팡의 다양한 서비스에 머신러닝을 효율적으로 적용하고 있으며, 인프라 관리 부담을 줄여 엔지니어들이 모델 고도화에만 집중할 수 있는 환경을 제공합니다. 결과적으로 이 플랫폼은 복잡한 비즈니스 문제를 해결하는 핵심 기술 기반으로서 쿠팡의 비즈니스 성장을 견인하고 있습니다. **플랫폼 구축의 동기와 목표** * **생산 모드 전환 시간 단축**: 실험 단계의 모델을 실제 서비스 환경에 배포하기까지 걸리는 시간을 줄여 비즈니스 요구사항에 빠르게 대응합니다. * **ML 개발의 CI/CD 도입**: 소프트웨어 공학의 지속적 통합 및 배포(CI/CD) 개념을 ML에 접목하여, 모델 학습과 배포 과정을 자동화하고 일관된 품질을 유지합니다. * **컴퓨팅 자원의 효율적 확장**: 하부 인프라에 대한 개입 없이도 대규모 학습 및 추론을 수행할 수 있도록 유연한 확장성을 제공하여 비용과 성능을 최적화합니다. **플랫폼의 핵심 기능 및 구성 요소** * **관리형 노트북 및 파이프라인 SDK**: 데이터 과학자들이 익숙한 Jupyter 기반 환경에서 작업할 수 있도록 지원하며, 전용 SDK를 통해 복잡한 ML 파이프라인을 손쉽게 정의하고 실행할 수 있습니다. * **피처 스토어(Feature Store)**: 학습과 추론 단계에서 동일한 피처 데이터를 재사용하고 공유할 수 있는 중앙 저장소를 제공하여, 데이터 정합성 문제를 해결하고 개발 효율을 높입니다. * **모델 학습 및 추론 서비스**: 다양한 ML 프레임워크를 지원하는 매니지드 학습 환경과, 대규모 트래픽을 처리할 수 있는 실시간 및 배치 추론 인프라를 운영합니다. * **모니터링 및 관측 가능성**: 배포된 모델의 성능 저하(Drift)나 이상 징후를 실시간으로 추적하여 모델의 신뢰성을 보장하고 신속한 재학습 여부를 결정합니다. **주요 성공 사례** * **Ko-BERT를 통한 검색 고도화**: 한국어 특화 언어 모델인 Ko-BERT를 학습시켜 고객의 검색 쿼리 의도를 더 정확하게 파악하고 상품 검색의 질을 향상시켰습니다. * **실시간 가격 예측**: 수백만 개의 상품에 대해 시장 변화를 즉각적으로 반영하는 실시간 가격 예측 모델을 성공적으로 배포하여 비즈니스 의사결정을 지원하고 있습니다. 쿠팡 ML 플랫폼은 단순히 도구의 집합을 넘어, 데이터 과학자가 비즈니스 가치 창출에만 전념할 수 있도록 돕는 강력한 엔지니어링 생태계입니다. 대규모 데이터와 복잡한 모델을 다루는 조직이라면 쿠팡의 사례처럼 파이프라인 자동화와 피처 정합성을 보장하는 통합 플랫폼 구축을 통해 개발 사이클을 획기적으로 단축할 수 있습니다.

자연어 처리AI머신러닝CI/CD+5

figma·2024년 6월 25일·3분 읽기큐레이션 요약

아무도 당신을 판단

Perplexity는 링크 목록을 보여주는 검색엔진이 아니라, 웹의 정보를 종합해 출처와 함께 답을 제공하는 ‘답변 엔진’을 지향한다. 목표는 사용자가 남의 시선을 의식하지 않고 무엇이든 질문하게 하며, 짧은 시간에 핵심을 이해한 뒤 더 깊은 호기심으로 나아가도록 돕는 것이다. 이를 위해 최신 웹 정보, 간결한 요약, 투명한 출처, 대화형 인터페이스를 결합한다. ## 호기심을 위한 지식 앱 - 공동 창업자 아라빈드 스리니바스는 어린 시절 위키피디아 링크를 따라가며 지식을 탐색하던 경험에서 Perplexity의 아이디어를 얻었다. - 백과사전이 종이책, CD·DVD, 위키피디아를 거쳐 Perplexity로 발전했다고 본다. - 사람들의 참여를 유도하는 방식이 반드시 짧은 영상이나 자극적인 콘텐츠일 필요는 없으며, 호기심 자체를 자극할 수 있다고 주장한다. - 누구나 판단받을 걱정 없이 질문할 수 있게 하는 것이 제품의 중요한 목표다. ## 두려움을 넘어선 창업 - 창업자들은 처음에 자신들의 질문에 답하기 위해 Slack 봇을 만들었다. - 투자 유치 방식 - 직원 건강보험 설정 등 실무적인 질문 - 제품이 유용했지만, 구글과 경쟁한다고 사람들이 비웃을까 봐 공개를 망설였다. - 투자자 냇 프리드먼은 “잃을 것이 없고, 최악의 결과도 현재보다 나은 진전”이라는 비대칭적 베팅의 관점을 제시했다. - 이 조언을 계기로 Perplexity는 ChatGPT 출시 직후 서비스를 공개했다. ## ChatGPT 이후의 차별화 - ChatGPT가 지식의 기준 시점과 환각 문제를 널리 인식시킨 상황에서, Perplexity는 답변뿐 아니라 근거 출처도 함께 제공하는 방향을 택했다. - 핵심 구성 요소는 다음과 같다. - 자연어 질문 이해 - 웹 검색 및 색인 - 대규모 언어 모델 - 여러 웹페이지의 정보 종합 - 답변별 출처와 각주 제공 - Perplexity는 “위키피디아와 대화형 채팅을 결합한 서비스”로 설명되며, 정보의 범위는 전체 인터넷으로 확장된다. ## 정보를 쉽게 전달하는 80/20 접근법 - 사용자가 모든 자료를 처음부터 끝까지 읽지 않아도 핵심적인 이해를 얻도록 하는 것이 목표다. - 책의 서론과 첫 장을 읽어 전체 가치의 상당 부분을 파악하는 방식처럼, Perplexity도 여러 웹페이지에서 중요한 내용을 추려 간결한 답변을 만든다. - 예를 들어 LLM을 이해할 때 전체 세부사항을 다 알기보다, 핵심 개념의 약 20%를 통해 전체 이해의 80%를 얻도록 돕는다. - 단순화하되 내용을 지나치게 축약하지 않고, 원문 출처를 확인할 수 있게 해 정보의 신뢰성과 깊이를 유지한다. ## 답변에서 새로운 질문으로 - 질문에 답한 뒤 관련 질문 세 가지를 제시해 사용자가 다음 탐색 단계로 자연스럽게 이동하도록 한다. - 창업자는 모든 사람이 본질적으로 호기심이 많지만 다음과 같은 이유로 질문을 충분히 발전시키지 못한다고 본다. - 호기심을 탐구할 동기가 부족함 - 무엇이 궁금한지 정확히 표현하기 어려움 - 좋은 질문을 만드는 능력이나 배경지식이 부족함 - 좋은 질문은 사용자의 지식 수준과 목적에 따라 달라진다. 같은 블랙홀 주제라도 일반 사용자와 물리학 박사에게 필요한 설명의 깊이는 다르다. - 따라서 제품은 사용자가 질문을 정확히 만들지 못했다고 탓하기보다, 사용자의 의도와 이해 수준에 맞춰 질문을 구체화하고 탐색을 지원해야 한다. ## 실용적인 시사점 Perplexity의 사례는 AI 검색 서비스가 단순히 더 많은 정보를 제공하는 것보다, **검증 가능한 답변을 적절한 깊이로 전달하고 다음 질문까지 설계하는 것**이 중요하다는 점을 보여준다. 지식 탐색 제품을 만들 때는 정확한 출처, 사용자 수준에 맞는 설명, 판단받지 않는 질문 환경, 후속 호기심을 유도하는 인터페이스를 함께 고려하는 것이 효과적이다.

원문 읽기(새 탭에서 열림)

자연어 처리AI대규모 언어 모델conversational-ai+2