머릿 속 생각을 문장으로 읽어내는 뇌 해독기 개발됐다

의식 있지만 말 못하는 뇌졸중 환자 등의 의사소통 기대

미국 연구팀이 뇌에 전극 등을 심는 침습적인 방식 대신 기능성 자기공명영상(fMRI)으로 뇌 활동을 측정, 머릿속으로 생각하는 내용을 문장 수준으로 읽어낼 수 있는 뇌 해독기를 개발했다.

오스틴 텍사스대 알렉스 후스 교수팀은 2일 과학저널 ‘네이처 신경과학'(Nature Neuroscience)에서 이야기를 듣거나 상상하고 있는 사람의 뇌활동을 fMRI로 측정해 그 내용을 문장으로 재구성하는 인공지능(AI)시스템을 개발했다고 밝혔다.

이전의 해독기는 수술을 통해 탐침 등을 삽입해 뇌 활동을 측정했기 때문에 사용에 제한이 있었고, 비침습적 방식으로 측정된 데이터를 이용하는 기존 해독기는 성능이 단어 또는 짧은 구문을 포착하는 수준에 그쳤다.

연구팀은 이번에 개발한 ‘의미 해독기'(semantic decorder)는 실험 절반 정도에서 참가자 생각을 거의 또는 정확히 일치하게 읽어냈다며 의식은 있지만 말을 못 하는 뇌졸중 환자 등의 의사소통에 기여할 수 있을 것이라고 기대했다.

의미 해독기 개발에는 오픈AI의 챗GPT나 구글의 바드(Bard)와 유사한 방식인 ‘트랜스포머 모델'(transformer model)이 사용됐다. 트랜스포머 모델은 문장 속 단어 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망이다.

연구팀은 먼저 실험 참가자 3명에게 16시간 동안 다양한 이야기를 들려주면서 fMRI로 뇌활동을 측정한 다음, 특정 구절의 의미와 이와 관련된 뇌 반응을 서로 연결해 해석하도록 AI 모델을 훈련했다.

그런 다음 참가자들에게 훈련 중 들려주지 않은 새로운 이야기를 들려주면서 뇌 활동을 측정하고, 이 뇌활동 데이터를 해독기로 해석했다.

그 결과 해독기는 새 이야기의 의미 파악에 필요한 단어들을 포착해냈고, 일부는 이야기에서 사용된 정확한 단어와 구문까지 생성해내는 것으로 나타났다.

연구팀은 해독기가 언어를 처리하는 것으로 알려진 뇌의 대부분 영역과 네트워크 활동에서 연속적인 언어를 추론할 수 있는 것으로 나타났다고 밝혔다.

실험 참가자에게 들려준 4개의 이야기 내용(왼쪽)과 이를 듣는 동안 수집된 뇌활동 데이터로부터 해독기가 재구성해낸 내용. University of Texas at Austin 제공

이들은 단어 하나하나를 그대로 옮기는 게 아니라 참가자가 듣거나 생각하는 것의 요지를 포착하도록 AI를 설계했다며 실험 절반 정도에서 해독기가 참가자의 생각과 거의 또는 정확히 일치하는 문장을 만들어냈다고 설명했다.

해독기는 실험에서 “운전면허가 아직 없다”는 말을 들은 참가자가 뇌활동에서 ‘아직 운전을 배우기 시작하지도 않았다’는 생각을 읽어냈다.

또 “소리를 질러야 할지, 울어야 할지, 도망쳐야 할지 몰랐다. 나는 대신 ‘나 좀 내버려 둬’라고 말했다”는 말을 들은 참가자의 생각을 “소리 지르며 울기 시작하더니 ‘나 좀 내버려 두라고 했잖아’라고 해석했다.

연구팀은 이어 이 해독기는 참가자가 상상한 이야기의 의미나 소리 없이 재생된 동영상 내용도 fMRI 데이터로부터 추론해내고, 참가자가 동시에 2가지 이야기를 들을 때 어떤 이야기를 집중해서 들었는지도 확인할 수 있었다고 말했다.

다만 한 참가자의 fMRI 데이터로 훈련된 해독기는 다른 참가자의 생각은 읽지 못하며, 참가자들이 자기 마음이 읽히는 것에 협력할 경우에만 해독기가 제대로 작동하는 것으로 나타났다.

연구팀은 이는 이 해독기의 훈련과 적용에 참가자의 협력이 중요하다는 것을 보여준다며 향후 이런 기술의 발전에 따라 나쁜 목적으로 이용되지 않도록 ‘정신적 프라이버시’를 보호하기 위한 정책이 필요할 수도 있다고 지적했다.

하지만 이 해독기는 실험실이나 병원에 있는 대형장비인 fMRI를 장시간 사용하기 때문에 이른 시일 내 사람들에게 적용하기는 어려울 것으로 보인다.

연구팀은 이 해독기를 fMRI 대신 기능성 근적위선분광법(fNIRS) 같은 휴대성이 뛰어난 다른 뇌영상 시스템을 이용해 구현하는 게 가능할 것으로 보고 있다.

후스 교수는 “다양한 뇌 부위의 혈류를 측정하는 fNIRS는 해상도는 낮지만 fMRI와 정확히 같은 종류의 신호를 측정한다”며 “이 뇌 해독 방식이 fNIRS로 그대로 변환될 수 있을 것”이라고 말했다. 연합뉴스