얼굴 인식의 역사와 페이스페이의 미래 (새 탭에서 열림)

얼굴인식은 1960년대 수작업 특징점 분석에서 출발해, PCA 기반 Eigenface와 LBP 같은 전통적 컴퓨터 비전 기술을 거쳐 딥러닝 기반 생체인증으로 발전했습니다. 대규모 데이터셋과 FaceNet·ArcFace 등의 학습 기법으로 인식 정확도가 인간 수준을 넘어섰고, 이제는 결제 서비스에도 적용되고 있습니다. 얼굴결제의 핵심 과제는 빠른 인식뿐 아니라 개인정보 보호, 위조 방지, 결제 오류 대응까지 함께 해결하는 것입니다.

수작업에서 시작된 얼굴인식

• 1960년대 Woodrow Wilson Bledsoe는 사진만으로 사람을 식별하는 비밀 프로젝트를 수행했습니다.
• 연구원들이 눈 사이 거리, 코와 입술 사이 거리, 귀의 위치 등 얼굴 특징점의 좌표를 직접 기록했습니다.
• 컴퓨터는 계산만 담당하고, 특징을 찾고 입력하는 작업은 사람이 수행했습니다.
• 이 연구는 얼굴을 수치화해 비교한다는 초기 개념을 제시했지만, 당시에는 기밀로 분류되었습니다.

기계가 얼굴 특징을 찾기 시작하다

• 1973년 Takeo Kanade는 컴퓨터가 이미지에서 눈·코·입의 위치를 자동으로 검출하는 시스템을 발표했습니다.
• 얼굴 요소 간의 기하학적 관계를 여러 파라미터로 추출해 사람의 수작업을 줄였습니다.
• 얼굴 이미지에서 컴퓨터가 스스로 의미 있는 정보를 추출할 수 있다는 가능성을 열었습니다.

Eigenface와 저차원 얼굴 표현

• 1991년 Matthew Turk와 Alex Pentland는 PCA를 활용한 Eigenface 방법을 제안했습니다.
• 여러 얼굴 이미지의 평균 얼굴을 만든 뒤, 각 얼굴이 평균에서 얼마나 벗어나는지 분석했습니다.
• 얼굴을 여러 Eigenface의 조합과 가중치로 표현해 비교했습니다.
• 두 얼굴의 조합 비율이 비슷하면 동일 인물일 가능성이 높다고 판단합니다.
• 고차원 이미지 데이터를 비교적 작은 수의 수학적 요소로 압축했다는 점에서 중요한 전환점이었습니다.

조명 문제와 전통적 특징 추출

• 같은 사람도 조명, 그림자, 촬영 장소에 따라 매우 다르게 보이는 문제가 있었습니다.
• 얼굴 전체를 비교하는 대신 작은 영역의 질감과 패턴을 분석하는 국소 특징 기반 방법이 발전했습니다.
• LBP(Local Binary Pattern)는 각 픽셀을 주변 픽셀과 비교해 밝고 어두운 관계를 이진 코드로 표현합니다.
• 절대적인 밝기보다 얼굴의 질감에 집중해 조명 변화에 상대적으로 강한 특징을 얻었습니다.
• SVM은 특징 공간에서 사람을 구분하는 경계면을 찾았고, AdaBoost는 여러 약한 분류기를 결합해 성능을 높였습니다.
• 다만 특징을 어떤 방식으로 추출할지는 여전히 사람이 설계해야 했습니다.

딥러닝이 정확도를 끌어올리다

• 2014년 Facebook의 DeepFace는 LFW 데이터셋에서 97.35%의 정확도를 기록해 인간 수준에 근접했습니다.
• 심층 신경망이 대규모 얼굴 이미지에서 사람이 직접 설계하지 않은 특징을 학습했습니다.
• Google FaceNet은 Triplet Loss를 사용해 LFW에서 99.63%의 정확도를 달성했습니다.
• 이후 SphereFace, CosFace, ArcFace 등이 얼굴 특징을 더 잘 분리하는 학습 방식을 제안했습니다.
• 연구의 초점은 얼굴인식의 가능성 검증에서 더 높은 정확도와 안정성 확보로 이동했습니다.

대규모 데이터셋의 역할

• 딥러닝 모델의 성능은 데이터의 양과 다양성, 품질에 크게 좌우됩니다.
• FERET은 1,199명, 14,126장의 이미지로 구성되어 얼굴인식 알고리즘을 객관적으로 비교할 기반을 마련했습니다.
• LFW는 인터넷에서 수집한 5,749명, 13,233장의 사진으로 조명·각도·표정이 다양한 실제 환경을 반영했습니다.
• VGGFace는 2,600명, 약 270만 장의 이미지로 딥러닝 시대의 데이터 규모 확대를 보여주었습니다.
• MS-Celeb-1M은 대규모 데이터 구축의 가능성을 보였지만 개인정보 보호 문제로 공식 배포가 중단되었습니다.
• WebFace260M은 2억 6천만 장의 원본 이미지에서 노이즈를 정제해 약 200만 명, 4,200만 장 규모의 데이터셋을 구축했습니다.
• 데이터 규모뿐 아니라 잘못된 라벨과 중복·노이즈를 제거하는 정제 과정도 중요합니다.

얼굴이 결제 수단이 되다

• 얼굴인식은 스마트폰 잠금 해제, 출입국 심사, 출입 통제 등을 넘어 결제 영역으로 확장되었습니다.
• 결제는 단순 인증보다 높은 보안성과 낮은 오인식률이 필요합니다.
• 토스 페이스페이는 2025년 9월 한국에서 얼굴 결제 서비스를 시작했습니다.
• 결제 수단은 동전·지폐·카드·스마트폰을 거쳐, 아무것도 소지하지 않는 방향으로 발전하고 있습니다.
• 얼굴은 항상 지니고 있고, 손을 자유롭게 사용할 수 있으며, 지갑이나 앱을 꺼내는 과정이 없어 빠릅니다.

페이스페이의 결제 처리 흐름

• 단말기 카메라가 사용자의 얼굴을 촬영하고 등록된 고객인지 식별합니다.
• 등록된 수백만 명 중에서 사용자를 빠르게 검색해야 하며, 미등록 사용자나 유사 얼굴에 대해서는 결제를 거부하거나 추가 인증을 요구할 수 있습니다.
• 식별된 사용자에게 등록된 신용카드·체크카드 등 결제 수단을 연결합니다.
• 사용자가 결제 수단을 직접 선택하도록 구성할 수도 있습니다.
• 이후 기존 카드 결제처럼 승인 요청과 결제 완료 절차가 진행됩니다.

Edge와 Cloud를 결합한 시스템 설계

• 단말기에서 처리하면 네트워크 지연이 적고 원본 이미지가 외부로 전송되지 않아 프라이버시에 유리합니다.
• 반면 단말기의 하드웨어 제약으로 모델 크기와 정확도에 한계가 있고, 모델 업데이트와 고객 정보 동기화가 어렵습니다.
• 서버에서 처리하면 강력한 GPU와 최신 모델을 사용할 수 있으며, 중앙에서 모델과 로그를 관리하기 쉽습니다.
• 대신 이미지 전송 지연과 서버 통신 보안 문제가 발생합니다.
• 페이스페이는 단말기에서 초기 처리를 수행한 뒤 서버에서 얼굴 특징 추출·인식·결제를 진행하는 혼합 구조를 사용합니다.
• 이를 통해 단말기 처리의 속도와 서버 처리의 정확성·관리 편의성을 함께 확보합니다.

다층적인 개인정보 보호와 보안

• 단말기와 서버 간 통신은 TLS로 암호화하고, 이미지 자체에도 AES-256 암호화를 적용합니다.
• Matrix Projection 기반의 취소 가능한 생체인증을 사용해 동일한 얼굴도 키에 따라 다른 벡터로 변환합니다.
• 생체 벡터가 유출되더라도 키를 변경해 새로운 벡터를 발급할 수 있어 비밀번호 변경과 유사한 대응이 가능합니다.
• 저장된 특징 정보는 원본 얼굴 이미지와 직접 대응하지 않으며, 해당 정보만으로 얼굴을 복원하기 어렵게 설계됩니다.
• 생체정보 접근 권한을 제한하고 모든 접근을 기록·관리합니다.
• 개인정보보호위원회의 사전 적정성 검토와 부정 결제 전액 보상 제도 등 기술 외 제도적 보호장치도 함께 활용합니다.

실용적인 결론

얼굴결제는 편리함만으로 완성되는 기술이 아니라, 정확한 얼굴인식 모델과 대규모·정제 데이터, Edge-Cloud 분산 구조, 암호화와 취소 가능한 생체인증, 제도적 보상 체계가 함께 작동해야 합니다. 사용자는 편리성을 누리되, 등록·이용 전 개인정보 처리 방식과 부정 결제 보상 정책, 추가 인증 수단을 확인하는 것이 좋습니다.