multimodal-sensor-data

1 개의 포스트

google

SensorFM: 웨어러블 헬스 데이터를 위한 범용 지능과 인터페이스를 향하여 (새 탭에서 열림)

SensorFM은 500만 명의 웨어러블 사용자에게서 수집한 1조 분 이상의 센서 데이터를 학습한 대규모 웨어러블 건강 파운데이션 모델이다. 라벨이 거의 없는 현실 데이터를 자기지도학습으로 처리해 심혈관·대사·수면·정신건강 등 35개 과제에 전이 가능한 생리학 표현을 학습한다. 데이터와 모델 규모를 함께 키울수록 성능이 계속 향상됐으며, 적은 라벨만으로도 새로운 건강 예측 과제에 적용할 수 있음을 보였다. ## 웨어러블 건강 데이터가 가진 가능성과 한계 - 심박수, 움직임, 피부 온도, 혈중산소, 수면 등 웨어러블 데이터는 예방적·개인화 건강관리의 중요한 기반이다. - 사람마다 기본 생리 상태와 생활습관이 달라 같은 신호도 개인별 의미가 다를 수 있다. - 확진 진단, 검사 결과, 검증된 설문 같은 학습 라벨은 수집 비용이 높고 과거 데이터에 retrospectively 적용하기 어렵다. - 기존 모델은 특정 질환이나 결과 하나씩을 대상으로 설계돼 다른 건강 영역으로 일반화하기 어려웠다. ## 1조 분 분량의 다중 센서 사전학습 - 데이터는 2024년 9월부터 2025년 9월 사이 수집된 비식별화 데이터다. - 연구 활용에 동의한 500만 명의 참여자가 포함됐으며, 100개 이상 국가와 미국 50개 주, Fitbit·Pixel Watch 20개 이상 모델을 포괄한다. - 각 참여자에게서 수 주간의 데이터를 추출해 총 20억 시간, 1조 분 이상의 분 단위 신호를 구성했다. - 5개 센서 모달리티에서 도출한 34개 1분 집계 특성을 사용한다. - PPG: 심박수, 심박변이도, 혈중산소포화도 - 가속도계: 움직임과 걸음 수 - 피부전기활동(EDA): 피부 전도도 - 피부 온도 - 고도계: 활동 및 환경 변화 정보 - 데이터는 하루 24시간의 생리·행동 흐름을 표현한다. ## 결측 데이터를 활용하는 자기지도학습 - SensorFM은 정답 라벨 대신 마스킹된 센서 신호를 복원하는 방식으로 학습한다. - 웨어러블 데이터에는 센서 전원 주기, 기기 탈착, 절전 모드, 센서 비활성화 등으로 인한 결측과 단절이 일상적으로 발생한다. - 일반적인 자기지도학습은 이런 구간을 인위적으로 보간하거나 불완전한 구간을 버리지만, 두 방식 모두 편향을 만들거나 데이터를 낭비할 수 있다. - SensorFM의 AIM(Adaptive and Inherited Masking) 방식은 실제 결측 구간과 학습을 위해 인위적으로 가린 구간을 동일하게 취급한다. - 따라서 모델은 결측을 단순한 오류가 아니라 센서 데이터의 자연스러운 특성으로 학습하며, 불완전한 기록에서도 유용한 표현을 생성한다. ## 모델과 데이터 규모를 함께 확장한 효과 - 사전학습 데이터는 약 200만 시간부터 20억 시간까지, 모델은 10만 개부터 1억 개 파라미터까지 네 자릿수 범위로 실험했다. - 데이터와 모델 용량이 증가할수록 복원 손실과 실제 건강 과제 성능이 예측 가능하게 개선됐다. - 전체 데이터로 학습한 최대 모델 SensorFM-B는 가장 작은 모델보다: - 복원 손실 31% 감소 - 분류 과제 평균 AUC 9% 향상 - 회귀 과제 평균 피어슨 상관계수 21% 향상 - 데이터만 또는 모델 크기만 키우는 것보다 두 요소를 함께 확장할 때 가장 큰 효과가 나타났다. - 최대 모델은 35개 과제 중 33개에서 가장 높은 성능을 기록했으며, 성능 포화 징후도 나타나지 않았다. ## 하나의 표현으로 여러 건강 영역에 전이 - 3개 독립적이고 기관생명윤리위원회(IRB) 승인을 받은 전향적 연구에서 총 13,985명의 데이터를 활용했다. - 평가 과제는 다음 6개 영역의 35개 분류·예측 문제로 구성됐다. - 심혈관 건강 - 대사 위험 - 정신건강 - 수면 - 인구통계 - 생활습관 - SensorFM 인코더를 고정하고 그 위에 간단한 선형 헤드만 학습하는 방식으로 성능을 측정했다. - 센서에서 직접 설계한 특징을 이용한 지도학습 기준선보다 35개 중 34개 과제에서 우수했다. - 나이·성별 같은 인구통계 정보를 추가하면 성능이 소폭 상승했지만, 모델이 커질수록 추가 효과는 감소했다. - 이는 대형 모델이 사전학습만으로도 생리학적으로 의미 있는 개인 특성을 어느 정도 학습한다는 점을 시사한다. - 우울증과 불안처럼 센서 신호가 약하고 개인차가 큰 상태에서도 규모 확장의 효과가 특히 컸다. - 라벨 데이터가 일부만 있어도 인구통계 기반이나 수작업 특징 기반 모델을 빠르게 넘어섰다. ## 예측 헤드 구축을 자동화하는 에이전트 구조 - 범용 임베딩을 실제 예측 시스템에 적용하려면 과제별 특징 설계, 모델 구조 선택, 하이퍼파라미터 조정이 필요하다. - 연구진은 이 과정을 자동화하기 위해 여러 LLM 에이전트가 협력하고 경쟁하는 ‘교실(classroom)’ 구조를 만들었다. - 이 구조는 새로운 건강 예측 엔드포인트마다 수작업으로 예측 헤드를 설계해야 하는 부담을 줄이는 것을 목표로 한다. - 제공된 글은 해당 에이전트 시스템의 소개 도중 끝나므로, 구체적인 구성과 성능 수치는 본문만으로 확인할 수 없다. SensorFM의 실용적 의미는 웨어러블 데이터를 질환별 개별 모델이 아니라 재사용 가능한 공통 생리학 표현으로 다룬다는 데 있다. 다만 실제 의료 적용에는 데이터 편향, 개인정보 보호, 임상적 검증, 예측 결과의 해석 가능성에 대한 추가 평가가 필요하므로, 연구 성능을 곧바로 진단 도구로 간주해서는 안 된다.