[IT 기본학습] AI가 내 머릿속을 해킹한다고?! 생각 읽는 인공지능 “시맨틱 디코더”

 

안녕하세요. 이호스트ICT입니다.

 

시맨틱 디코더의 원리를 묘사한 그림 (사진=미국 텍사스 오스틴대학)

내 생각을 타인에게 글이나 영상으로 보여줄 수 있다면 어떨까요? AI가 내 뇌를 스캔하여 내가 지금 보고있는 시각 매체를 분석하여 비춰주거나, 더 나아가 하고있는 생각까지 보여준다면, 영화에서만 보던 텔레파시 대화가 가능하지 않을까요?

오늘은 마법 같은 기술인 AI 뇌 해독 기술, ‘시맨틱 디코더(semantic decoder)’ 에 대해 살펴보겠습니다.

---

 

"AI가 내 생각을 읽는다고?"

 

fMRI 장비로 뇌 스캔 데이터 수집 (사진=텍사스 대학)

미국텍사스대학 연구진이 어떤 문장을 머릿속에 떠올리면 바로 글로 옮겨주는 인공지능 ‘시맨틱 디코더’라는 기술을 개발했다고 지난 5월 밝혔습니다.

시맨틱 디코더는 챗GPT의 원형인 GPT-1을 이용한 기술로, 실험자의 뇌를 자기공명영상(fMRI)으로 스캔 및 해독하여 문자로 바꿔주는 신경망 기술입니다.

 

연구진이 기능성 자기공명영상(fMRI) 장치로 실험 대상자의 뇌 활동을 측정하기 위한 실험 준비를 하는 모습

자기공명영상(fMRI)은 전자파를 통해 뇌의 혈류량을 측정하여 뇌 활동을 측정하는 기술입니다. 뉴런 신호를 직접 인식하는 장치에 비해 해석에 시간이 오래 걸리는 단점이 있지만, 머리에 전극이나 임플란트를 삽입할 필요가 없어 마비 환자와 같은 의사소통이 어려운 사람들에게 부담없이 착용할 수 있는 장점이 있습니다.

 

"어떻게 가능한 걸까?"

fMRI로 스캔한 뇌 영상을 시맨틱 디코더를 통해 문장으로 재구성 (사진=텍사스 대학)

연구진은 건강한 성인 남녀 7명에게 라디오나 팟캐스트를 들려주며 이 자기공명영상 (fMRI)으로 뇌 움직임을 측정했습니다. 실험 대상자가 특정 구절이나 단어를 들었을 때, 그들의 뇌의 움직임을 파악하여 AI가 학습할 수 있도록 훈련시킨 뒤, 이를 단어와 문장으로 출력할 수 있도록 보완했습니다.

실험 참가자에게 실제 들려준 이야기(왼쪽)와 AI가 생성한 문장(오른쪽) 비교, 파란색은 단어가 딱 일치하는 부분, 보라색은 문맥의 골자를 읽어낸 부분, 빨간색은 인식에 실패한 부분 (사진=텍사스 대학)

실험 결과, 시맨틱 디코더는 문장의 객관적인 의미 전달보단 사용자가 문장을 듣고 자기 나름대로 이해한 결과를 해독하는 데 특화되어 있었습니다.

예를 들어, 참가자에게 "나는 아직 운전 면허증이 없다"라는 말을 들려주면 디코더는 "그녀는 아직 운전을 배우기 시작하지도 않았다"로 해독했습니다.

또, “비명을 질러야 할지, 울어야 할지, 도망쳐야 할지 몰랐다. 나는 대신 ‘나 좀 내버려 둬'라고 말했다”는 말은 들은 디코더는 “비명을 지르고 울기 시작하더니 '나를 내버려 두라’고 말했다”로 해독했습니다.

연구진은 시맨틱 디코더가 정확히 일치하지는 않아도 이야기의 요지를 파악하는 데 뛰어났다고 밝혔습니다.

 

 

또, 뇌 영상을 읽는 동안 실험 대상자가 다른 생각을 하면 전혀 엉뚱한 결과가 나오기도 했습니다. 같은 문장, 같은 영상을 보더라도 사람마다 떠오르는 생각과 해석 방향이 다르므로, 뇌 해석 결과가 사람마다 다르게 나올 수 밖에 없는 거죠. 따라서 정확한 정보를 출력하기 위해선 사용자의 집중력이 중요합니다.

실험대상자가 본 영상을 디코더가 해독하는 장면 (사진=텍사스대)

연구진은 실험 대상자들에게 음성뿐만 아니라 무성 애니메이션 영상을 보여주며 시맨틱 디코더를 적용해봤더니 실시간으로 영상을 설명하는 글이 생성되었습니다.

시맨틱 디코더는 단순히 영상자체만을 해독한 것이 아닌, 뇌가 영상의 의미를 해석하는 과정까지 모두 파악하여 분석해냈습니다. 게다가 실험 대상자들이 비디오를 보면서 떠올린 생각들까지도 그대로 문장으로 표현, 요약까지 가능했습니다.

시맨틱 디코더는 보고 들은 것을 그대로 옮기는 것이 아닌, 사용자의 생각 전달에 특화되어 있는 것입니다.

 

"머리속 이미지까지 재현한다고?"

사람이 실제로 보고 있는 동영상(위)과 인공지능으로 뇌 사진을 해독해 완성한 영상(아래). (사진=아카이브)

뇌파를 텍스트로 표현하는 데 특화된 시맨틱 디코더를 넘어, 사용자가 시청중인 영상을 AI가 재구성하는 기술도 개발됐습니다. 싱가포르국립대 연구진은 뇌 영상과 인공지능의 이미지 생성 기술을 결합해 사람이 보고 있는 동영상과 거의 똑같은 영상의 비디오를 재현하는 데 성공했다고 밝혔습니다.

연구진은 먼저 뇌 스캐너로 수집한 데이터를 인공지능에게 훈련시킨 뒤, 이를 이미지 생성 인공지능인 ‘스테이블 디퓨전’과 결합해 영상으로 재구성했습니다. 이 결과물은 원본 비디오와 완벽하게 일치하지는 않았지만 매우 근접했으며, 색상도 일치하는 경우가 많았다고 밝혔습니다.

트렁크를 여는 차로 달려가는 남자의 1960년대 흑백 비디오 클립(상)과 쥐의 뇌활동을 해독해 생성한 비디오 클립(하) (사진=EPFL)

인간이 아닌 쥐의 뇌파를 해독하여 영상으로 재구성한 사례도 있습니다. 스위스 로잔 공과대학 연구진이 지난 5월 쥐의 뇌 신호를 실시간으로 해석하여 쥐가 보고 있는 비디오를 재현시키는 AI 도구를 개발했다고 밝혔습니다.

연구진은 50마리의 쥐에게 30초 분량의 비디오를 9번 시청하게 한 뒤, 수집한 뇌 활동 데이터를 ‘세브라(CEBRA)’라는 AI 모델에 학습시켜 이 데이터를 다시금 영상으로 변환시켰습니다. 쥐가 자리를 이탈하거나 주의를 기울이지 않은 경우를 제외하고는 재구성된 영상이 원본 영상과 거의 일치했습니다.

"윤리적 문제는?"

(사진=픽사베이)

시맨틱 디코더와 같은 AI뇌 해독 기술은 뇌졸중, 전신 마비와 같은 의사소통이 어려운 환자들에게 커다란 희소식입니다. 하지만 당사자의 동의나 허락 없이 생각을 훔칠 수 있다는 우려의 입장도 있습니다. 이른바 ‘정신적 프라이버시 침해’ 가능성입니다.

이에 연구진은 “이 기술이 나쁜 목적으로 사용될 수 있다는 우려를 매우 심각하게 받아들인다”며 “사람들이 원할 때만 이 기술을 사용해 도움이 되기를 바란다”고 답변했습니다.

---

지금까지 시맨틱 디코더에 관해 알아보았는데요. 의사소통이 어려운 환자들에게는 세상과 소통하는 창이 되어 줄 수 있지만, 어떻게 사용하느냐에 따라 내 머릿속 일기장을 훔쳐보는 해킹범이 될 수도 있겠습니다. 뇌 해독 기술이 부디 옳은 방향으로 발전 및 사용되길 바라며 오늘은 여기서 마치도록 하겠습니다.

감사합니다.