[IT 소식] "메타버스서 원하는 얼굴, 더 자연스럽게 바꾼다"...카카오브레인 '페이스 스와핑' 기술 고도화

"메타버스서 원하는 얼굴, 더 자연스럽게 바꾼다"...

카카오브레인 '페이스 스와핑' 기술 고도화

 

(사진=카카오테크 블로그)

카카오브레인이 메타버스 등 가상세계에서 이용자가 자신이 원하는 얼굴로 더 자연스럽게 전환할 수 있도록 돕는 기술을 개발했다.

카카오브레인은 9일 새로운 페이스 스와핑 기술 ‘스무스 스왑(Smooth-Swap)’ 모델을 개발했다고 밝혔다. 페이스 스와핑은 틱톡·스냅챗 등 SNS(소셜미디어)에서 이용자들이 본인의 얼굴을 촬영한 뒤, 촬영된 얼굴을 다른 얼굴로 바꾸는 데 흔히 쓰이는 기술이다.

카카오브레인이 개발한 새로운 기술의 핵심은 ‘아이덴티티(신분) 임베딩(Identity Embedding)’ 기능의 향상이다. 아이덴티티 임베딩은 개인의 아이덴티티를 비교하는 데 사용되는 얼굴 이미지를 벡터로 표현한 것이다. 기본적으로 임베딩은 사람이 쓰는 자연어를 기계가 이해할 수 있는 숫자의 나열인 벡터로 바꾼 것을 의미한다. 아이덴티티 임베딩 기능은 두 얼굴의 이미지 벡터가 서로 충분히 비슷한 경우 그들의 개인 아이덴티티를 동일한 것으로 간주한다.

쉽게 말하면, 페이스 스와핑 기술과 관련해 한계로 지적되는 것이 ‘불쾌한 골짜기’다. 이 현상은 인간을 어설프게 닮은 로봇이나 가상인간 등을 볼 때 사람들이 심리적으로 불쾌감을 느끼는 것을 말한다. 이에 좀 더 사실적이고 자연스러운 가상인간을 만드는 기술이 요구되고 있는데 카카오브레인이 관련 기술을 고도화했다. 즉 아이덴티티 임베딩은 페이스 스와핑이 완료된 다음 자연스러운 결과물을 냈는지 판단하는 데 도움을 주는 기능이다.

카카오브레인의 신규 모델은 아키텍처(프로그래밍 설계) 구성을 기존에 공개된 기술들에 비해 단순화한 것이 특징이다. 현존하는 페이스 스와핑 시스템 모듈을 하나의 통합된 아이덴티티(신분) 임베더(identity embedder)로 대체해 복잡도를 획기적으로 줄였다. 원래 자연스러운 페이스 스와핑 기술을 구현하기 위해 기존 모델들은 3D(3차원) 페이스 모델링을 비롯 여러 요소들을 모델에 적용하는데, 이 과정에서 모델의 아키텍처가 복잡해진다. 이에 정교한 초매개 변수 조정이 추가로 요구되는데, 이러한 한계점을 카카오브레인이 극복한 것이다.

이를 통해 안정적이고 일관된 아이덴티티 그래디언트(identity gradient)를 확보해 자연스러운 페이스 스와핑이 가능토록 했다. 아이덴티티 그래디언트는 목표로 하는 아이덴티티로 자연스럽게 스와핑하기 위해 어떤 방향으로 이미지를 변화시켜야 하는지에 대한 정보를 제공하는 학습 시그널이다.

이러한 기술 개발을 통해 기대할 수 있는 건 더 빠르고 안정적인 페이스 스와핑이다. 더불어 대상의 얼굴 형태를 변경할 시 고품질의 이미지를 생성, 비디오가 재생 중인 상황에서도 페이스 스와핑이 가능하도록 함으로써 기술 경쟁력을 높였다. 또 카카오브레인은 메타버스 등 가상세계에서 인플루언서·쇼호스트·아나운서 등 다양한 직업군의 디지털휴먼(가상인간)을 개발할 수 있을 것으로 기대하고 있다.

특히 이번 연구 성과는 페이스 스와핑 기술 상용화를 위한 높은 잠재력을 보여줬다는 점에서 의미가 크다. 연구 성과를 담은 카카오브레인의 ‘Smooth-Swap: A Simple Enhancement for Face-Swapping with Smoothness’ 논문은 오는 6월 열리는 세계적인 학술대회 ‘CVPR(국제 컴퓨터비전 및 패턴인식 학술대회) 2022’ 오럴 세션에서 발표된다. 오럴 세션에서의 단독 논문 발표는 채택된 논문(총 8161편 제출·채택 비율 25.33%) 가운데 소수에게만 주어진다.

김일두 카카오브레인 대표는 “회사가 공개한 Smooth-Swap 모델이 페이스 스와핑 기술 분야의 혁신을 가속화해 항상 꿈꿔왔던 메타버스와 미래의 디지털휴먼 서비스를 구현하는 데 기여할 수 있을 것이라 믿는다”고 전했다.

한편 카카오브레인은 지난해 12월 열린 ‘카카오브레인 오픈 미니 컨퍼런스’에서 ‘닉페이스(Nickface) 프로젝트’를 소개한 바 있다. 메타버스 등 가상세계에서 이용자들이 실제 이름 대신 닉네임(별명)과 아바타 등 가상인간 형태로 존재하게 될텐데, 이 과정에서 실제 인간에 가까운 가상인간을 구현할 수 있도록 기술을 고도화해 카카오의 서비스와 생태계 내에서의 메타버스 경쟁력을 강화해나갈 것이라고 밝혔다.

황금빛 기자 gold@bloter.net

원문 : https://www.bloter.net/newsView/blt202205090017