[송민령의 뇌과학 이야기] 신경 번역기

[송민령의 뇌과학 이야기]신경 번역기 (daum.net)

[송민령의 뇌과학 이야기]신경 번역기

구글 번역기를 써본 적이 있는가? 2010년대 초반까지만 해도 인공지능 번역기의 수준은 매우 낮았지만 요즘은 다르다. 영어와 한글은 어순이 다른데도 놀라울 만큼 정확하게 번역을 해낸다. 문장은 단어들의 나열로 구성되는데, 이 나열에서 자주 반복되는 패턴을 학습하고, 학습된 패턴을 활용하기 때문에 단어별로 번역하던 예전보다 훨씬 자연스러운 결과가 나온다. 사진이나 언어처럼 복잡한 데이터에서 통계적인 패턴을 찾아내는 능력은 인공신경망을 사용하는 기계학습의 중요한 강점 중 하나다.

 

그렇다면 기계학습을 사용해서 신경 활동의 패턴을 언어로 번역하는 것도 가능할까? 놀랍게도 가능했다. 마킨(Makin) 등은 사람들이 말하는 동안의 뇌 활동을 측정하고, 측정된 신경 활동을 언어로 번역하는 기술을 지난 4월 ‘네이처’ 신경과학지에 발표했다. 이 기술은 신경 활동을 언어로 번역하는 기존의 방법들보다 훨씬 더 적은 데이터를 사용했으며, 높은 정확도를 보였다. 기존의 기술과 마킨의 기술은 어떤 측면에서 달랐을까?

◇ 뇌 활동을 글자로 번역하는 법

말하는 동안의 신경 활동으로부터 말하는 내용을 추론해내는 기술은, 생각으로 로봇 팔을 조종하는 기술과 유사하다. 둘 다 뇌 속 신경 활동을 측정하고, 측정된 내용을 해석해서 외부 장치의 활동을 조종하기 때문이다. 이처럼 신경 활동과 외부 기계의 정보 소통과 관련된 기술을 뇌-기계 상호작용이라고 부른다. 이제 생각으로 로봇 팔을 조종하는 경우를 생각해보자. 이런 경우, 먼저 팔을 들 때는 신경 활동이 어떤지, 팔을 오른쪽으로 움직일 때는 신경 활동이 어떤지를 컴퓨터에 학습시킨다. 그 뒤, 팔을 움직이려는 생각을 하는 동안의 뇌 활동을 해석하고, 그 결과를 로봇 팔에 전달해 로봇 팔을 조종한다.

사고나 질병으로 말을 하지 못하게 된 사람들의 뇌 활동으로부터 이들이 하려는 말을 문자 언어로 전환하는 기술에도 비슷한 방법이 사용된다. 먼저, 말을 하는 것과 관련된 뇌 부위인 가쪽 고랑(sylvian fissure)의 신경 활동이나, 혀와 성대 근육을 조정하는 운동 신경의 활동을 측정하고, 이로부터 혀와 성대를 어떻게 움직이려고 하는지 추론한다. 그 뒤, 추론된 움직임이 어떤 말에 해당하는지 추론하는 방식이 사용되곤 했다. 안타깝게도 이런 방식은 정확도가 매우 낮았다. 틀릴 확률이 39%에서 60%에 달하곤 했다.

마킨 등은 조금 다른 방법을 썼다. 혀와 성대의 어떤 움직임을 추론하는 중간 단계를 과감하게 건너뛰었다. 대신에 측정된 신경 활동으로부터 말하려는 내용을 직접 추정하는 방법을 사용했다. 인공지능 번역기가 한 언어를 다른 언어로 번역하듯이, 신경 활동을 바로 언어로 번역한 것이다. 그 결과 틀릴 확률이 최저 8%까지 낮아질 정도로 정확도가 높아졌다. 사람들이 음성 언어를 글자로 채록하는 정확도가 약 5%이므로 틀릴 확률을 8%까지 낮춘 것은 대단히 놀라운 결과라고 볼 수 있다.

더욱이 비교적 적은 데이터로도 이 기술을 활용할 수 있었다. 뇌-컴퓨터 상호작용 기술에서는 대개 개인별로 특화하는 과정을 거친다. 예를 들어 생각으로 로봇 팔을 조종하면, 공장에서 완제품을 만들어 출하할 수 없다. 사람마다 뇌의 모양과 크기가 다르고, 신경 활동을 측정하는 전극이 이식된 위치가 조금씩 다르고, 같은 말을 하더라도 신경 활동의 특색이 조금씩 다르기 때문이다. 그래서 팔을 움직이려 할 때 뇌 활동이 어떤지 측정하고 기계를 학습시키는 과정은 사용자가 바뀔 때마다 해주어야 한다. 심층 인공신경망의 학습에는 대개 많은 데이터가 필요하므로, 사람마다 별도로 기계를 학습시켜야 한다는 점은 상당한 장애물이었다.

그런데 마킨 등은, 한 사람에게서 얻은 많은 데이터(460개 문장, 1800가지 단어)로 기계를 학습시킨 뒤, 학습된 기계를 다른 사람에게 얻은 적은 데이터(30개 문장, 125가지 단어, 4분 소요)로 추가 학습시키는 방식을 사용했다. 이런 방식이 가능한 것은 개인별로 뇌 활동의 특성과 측정된 위치가 조금씩 다르기는 하지만, 크게 다르지는 않기 때문이다. 고작해야 4분의 학습만 시킨 기계에서는 보통 53%나 되는 에러율이 나왔지만, 미리 학습시킨 기계를 4분간의 데이터로 더 학습시켰더니 에러율이 36%로 17%나 줄어들었다. 이는 비교적 적은 데이터로도 개인별 맞춤이 가능함을 시사한다.

◇ 기술과 제도

최근에는 연구 재현성과 발전 속도를 높이기 위해 코드와 자료를 공개하는 경향이 있다. 마킨 등의 논문에 사용된 프로그래밍 코드와 자료도 모두 인터넷에 공개되어 있다. 언젠가 수술로 뇌에 전극을 이식하지 않고도 생각을 언어로 전환할 수 있을 정도로 기술이 발전하면, 신경 활동으로 가전제품을 조작한다든가, 지루한 회의 시간에 생각으로 다른 일을 하게 해주는 등 다양한 서비스가 늘어날지도 모르겠다. 가장 사적 영역인 마음이 상업 영역과 공공 영역에서 활용될 수 있는 시대가 역사상 처음으로 열리는 것이다. 당장은 거부감이 클지도 모르겠다. 하지만 코로나 위기를 맞아 사생활 침해에 대한 경각심이 낮아진 것처럼, 테러 등 사회적으로 위험한 상황이 생기면 그 시기를 기점으로 마음의 사생활이 공개될지도 모르겠다. 이처럼 기술이 사회에 큰 영향을 주는 시대에는 시민들이 소중하게 여기는 가치를 보호하는 방향으로 기술이 활용되게 하는 것이 중요하다. 그러기 위해서는 시민들이 과학과 기술을 정확하게 이해해야 한다. 필자가 신경과학 칼럼을 계속 쓰는 이유다.

송민령 카이스트 바이오 및 뇌공학과 박사과정ㅣ경향신문 2020.06.04

/ 2022.05.23 옮겨 적음