POSTECHIAN 기사 보기

[2021 가을호] 3-사람과 메타버스의 연결을 위한 인터페이스 기술의 발전, BCI

  • 김주은
  • 2021-10-29 07:03:01

2021 AUTUMN 기획특집 3

사람과 메타버스의 연결을 위한 인터페이스 기술의 발전, BCI

Metaverse, New Paradigm of the Virtual World


앞서 메타버스를 구현하기 위한 게임 엔진과 MEC를 알아보았습니다.
이렇게 최첨단 기술이 집합되어 구성된 메타버스! 이젠 우리가 직접 그 세계에 들어가 봐야겠죠?
최근, 어떻게 하면 사용자가 메타버스를 보고 느낄 수 있으며, 더 나아가 현실처럼 몰입할 수 있을지에 대한 연구가 활발하게 진행되면서
머리 탑재형 디스플레이(Head Mounted Display)와 뇌-컴퓨터 인터페이스(Brain Computer Interface)와 같은 인터페이스 기술이 점점 발전하고 있습니다.
그렇다면 이러한 기술들을 통해서 어떻게 메타버스에 접속할 수 있을지 한번 알아볼까요?

HMD(Head Mounted Display) 기술이란?

HMD는 머리에 기기를 장착해 사용자의 눈앞에 직접 영상이 보이도록 하는 디스플레이 장치입니다. 3D TV와 같은 다른 디스플레이보다 훨씬 높은 입체감과 넓은 시야각을 가지고 있어서 사용자의 몰입감을 증대시키는 대표적인 하드웨어 기술인데요. 이러한 HMD의 높은 기술력에는 머리의 회전 방향을 그대로 인식하여 시점을 조정하는 헤드 트래킹 기술과 센서가 눈의 움직임을 추적하는 아이 트래킹 기술 등이 크게 기여했다고 해요.


HMD 착용 예시

두 기술의 공통점은 센서를 통해 감지된 움직임에 화면이 반응한다는 것입니다. 즉, 사용자가 왼쪽으로 시선을 돌릴 경우, 화면 또한 왼쪽으로 이동해서 가상 현실에서의 몰입감을 최대화하는 것이죠. 최근에는 이런 기술들이 포지셔널 트래킹Positional Tracking으로 발전해서, 머리와 눈의 움직임뿐만 아니라 상체의 움직임 전체를 감지하는 수준에 도달하고 있습니다. 또한 사람은 시야각이 특정 범위를 넘어가면 부자연스럽게 째려보기보다는, 고개를 돌려 쳐다보는 생체적인 특성을 가지고 있는데요. 이러한 점에 착안해서 시야각을 110˚로 조절하는 등 적절한 시야각을 유지하는 기술력을 갖추기도 하였습니다. 덕분에 사용자는 일부러 힘을 줘 째려보지 않는 한, 디스플레이의 가장자리는 보이지 않아 이질감이 들지 않는다고 합니다.


아이 트래킹 기술 활용 이미지

시각 기술뿐 아니라 최근에는 입체 3D 사운드나 공간 음향과 같은 청각 기술도 많이 발전하고 있습니다. 이처럼 고도의 시청각 기술을 탑재한 HMD 기술은 개발 과정에서 다양한 문제를 해결해야 했습니다. 이 중 큰 문제점인, 작지 않은 크기와 무게감을 해결하기 위해 여러 장의 얇은 반사 필름을 사용한 팬케이크 디스플레이 기술이 사용되었습니다.

이 기술은 디스플레이 내부의 빛이 여러 번 반사해 초점거리를 극복하여 기기의 크기를 줄이는 방식인데요. 하지만 이 기술 역시 화면이 너무 어둡게 보이고 ‘고스팅Ghosting’이라 불리는 잔상이 보이는 문제가 발생하였습니다. 이에 따라 팬케이크 디스플레이의 단점을 극복할 하나의 광학 기술로 여러 장의 얇은 홀로그램 필름 레이어와 레이어 광원 기술, 방향성 백라이트를 활용한 기술인 홀로그래픽 시스템Holographic System이 새롭게 개발되었습니다. 기존의 HMD 기기는 아래 사진과 같이 디스플레이 패널의 빛이 렌즈로 전파된 다음 눈으로 향하는 시스템인데요. 그래서 이미지의 초점을 맞추기 위해 디스플레이 패널과 렌즈 사이에 공간이 있어야 했죠.

그와 다르게 홀로그래픽 시스템은 빛을 제어하여 패널과 렌즈 사이를 앞뒤로 여러 번 이동시킨 다음 눈을 향해 나아가게 했습니다. 이를 통해 패널과 렌즈 사이 공간을 크게 줄이는 데 성공한 것이죠. 이 기술을 사용하면 화면이 밝아지는 것은 물론 기기의 두께까지 줄일 수 있다고 합니다. 어쩌면 현재 사용되는 무거운 HMD 기기를 선글라스 모양의 기기로 만드는 데 지름길이 펼쳐진 것이 아닐까요?


기존의 HMD와 홀로그래픽 기술에서의 렌즈 간 거리와 빛의 경로 차이

이렇게 HMD 기술이 많이 발전하면서 사실상 눈을 거치지 않고 두뇌에 직접 영상을 전달하지 않는 이상, HMD 이상의 몰입감을 제공하는 출력 장치는 없다는 말이 나왔다고 합니다. 그러나 여기에 그치지 않고 최근에 실제로 두뇌와 컴퓨터를 바로 연결하는 BCI 기술까지 등장했습니다!

BCI(Brain Computer interface)를 위한 뇌파 측정

일반적으로 컴퓨터를 이용하기 위해서는 머릿속에서 해야 할 작업을 떠올린 뒤 키보드를 두드리고 마우스로 클릭하는 등 컴퓨터가 받아들일 수 있는 형태로 입력해야 합니다. 이러한 입력을 지원하는 환경을 사용자 인터페이스UI, User Interface라고 해요. UI는 익숙한 인터페이스지만 원하는 작업을 위해 입출력장치의 도움을 받아야 하는 한계가 있었고, 이러한 문제의식에서 출발한 기술이 바로 뇌-컴퓨터 인터페이스BCI입니다. BCI는 뇌의 정보 처리 결과를 언어나 신체 동작을 거치지 않고, 사용자가 생각하고 결정한 특정 뇌파를 시스템의 센서로 전달해 컴퓨터가 해당 명령을 처리하는 기술입니다. 다시 말해, 사용자가 키보드와 같은 입출력 장치 없이도 생각만으로 원하는 정보를 검색하고, 디지털 기기를 사용할 수 있도록 하는 기술이죠.

BCI 기술의 시스템은 뇌파 자극을 인식하는 장치를 통해 뇌파를 받아들인 후, 신호화 과정을 거쳐 뇌파를 분석해 입출력 장치에 명령을 내리는 과정으로 이루어져 있습니다.

따라서 BCI 시스템의 가동에 앞서 머리에 전극을 부착하여 뇌파 신호를 수집하는 과정이 필요합니다. 이때, 뇌파는 두피에 부착한 전극을 통해 두뇌를 구성하는 신경세포들의 전기적 활동을 측정함으로써 간접적으로 얻을 수 있습니다. 이러한 기술의 개발과 활용을 위해서는 뇌파 자체에 대한 이해가 필요한데요. 뇌파 신호는 어떻게 발생할까요?

두개골 안쪽에는 뇌가 3층의 막으로 싸여 있으며, 가장 바깥쪽이 경뇌막, 중간에 있는 막이 거미막, 안쪽에 있는 막이 연뇌막입니다. 이 3층의 막 아래 대뇌피질에서 신경세포 사이에 시냅스가 형성되어 신경 전달 물질을 분비합니다. 이는 시냅스 후막의 이온 채널에 부착되어 이온 채널이 열리게 하는데요. 나트륨 이온(Na+)이 나트륨 이온 채널을 통해 세포 안으로 유입되고, 칼륨 이온(K+)은 칼륨 이온 채널을 통해 유출되어 세포막의 양단간 전위에 변화가 일어나 전위차가 발생합니다. 그리고 발생한 전위차로 인해 전압이 생겨 전류가 흐르면서 전자기파가 발생하면 두피에 설치한 전극으로 10~50μV의 뇌파 신호를 측정할 수 있습니다.


시냅스는 뉴런이라는 신경세포의 부분 중 자극을 세포 밖으로 전도시키는 돌기인 축삭의 끝부분과 신경 전달 물질이 오가는 다음 뉴런 사이의 틈을 말합니다.

시냅스 더 알아보기



뇌파 신호의 생성 원리

BCI의 신호 처리 과정

이렇게 측정된 뇌파 신호를 외부에 적용하기 위해 BCI 시스템 내에서 세 단계에 걸쳐 신호 처리가 진행됩니다. 첫 번째인 전처리Preprocessing 단계에서는 신호 획득 과정에서 발생한 잡음을 제거하고, 특성 추출Feature Extraction 단계에서는 여러 가지 뇌 신호가 혼재된 상태에서 특이적 신호(일정한 패턴을 보이거나 자극 후 일정한 반응을 보이는 신호)를 골라낸 후, 마지막으로 분류Classification 단계에서는 추출된 특성으로부터 각각의 뇌파가 어떤 종류의 뇌파 집단에 속하는지 알고리즘을 통해 분류합니다.

조금 더 자세히 알아보자면, 전처리 과정에서는 필터를 이용하여 수집한 뇌파의 잡신호를 제거하고 분석에 필요한 신호를 분리한 뒤 미약한 뇌파 신호를 증폭합니다. 주로 1~50μV 수준의 미약한 뇌파 신호에 혼합된 전원 잡음, 눈동자의 움직임에 따른 안전도EOG, Electrooculography 신호, 근육의 수축과 이완에 의한 근전도EMG, Electromyography 신호, 심장 박동에 의한 심전도ECG, Electrocardiography 신호, 눈의 깜박임 등 뇌파 신호 처리 목적에 부합하지 않는 신호를 제거하게 됩니다.


안구 주위 피부에 전극을 부착하면 안구 운동에 의해 전기적인 극성 이동으로 발생하는 전위차를 안전도라고 합니다.
심장의 박동에 따라 심근에서 발생하는 활동 전류의 기록을 심전도라고 합니다.

안전도와 심전도 더 알아보기


다음으로, 형태 추출 과정은 뇌전도 측정 장치로부터 들어온 뇌파 데이터 정보에서 중요한 정보와 중요하지 않은 정보들을 명확하게 구분하여 신호의 인식률을 높이는 과정입니다. 이렇게 가공된 뇌파 정보는 알고리즘을 통해 샘플들과 비교하여 분석됩니다.

뇌 신호 데이터에 두드러진 특징을 추출하는 형태 추출 과정을 거치고 나면, 특징적인 뇌 신호를 구별하는 분류기를 생성합니다. 분류기는 마지막 분류 단계에서 실시간으로 들어오는 사용자의 뇌 신호를 분류합니다. 분류된 결과는 애플리케이션의 명령으로 입력될 수 있으며, 애플리케이션의 피드백을 통해서 사용자는 자신의 의도가 전달되었음을 확인하게 됩니다.


이렇게 흔히 쓰이는 VR 기기부터 BCI까지 우리와 메타버스가 연결되는 방식은 다양하게 연구되고 있습니다.
스마트폰 세대의 다음 세대를 이끌 주인공으로 메타버스가 꼽힌 만큼 메타버스에 대한 관심이 커지고 그에 따라 메타버스의 활용 분야도 점점 다양해지고 있는데요.
지금은 가끔 게임을 통해 가상 세계에 들어갔다 나오는 정도이지만,
곧 다가올 미래에는 현실과 구분이 어려운 메타버스에서 현실에서는 이루지 못했던 수많은 꿈들을 실현할 수 있으리라는 기대가 됩니다!


[참고문헌]
1. 김도영, 「뇌파신호 및 응용 기술 동향」, 『전자통신동향분석』 제32권 제2호(2017년 4월), 20-21쪽.
2. 박선재, 「뇌파 분석에 인공지능 활용해 정확한 각성 및 수면 단계 구분」, 『MEDICAL Observer』, 2019.08.26. https://www.monews.co.kr/news/articleView.html?idxno=204582
3. 전황수, 「뇌-컴퓨터 인터페이스(BCI) 기술 및 개발 동향」, 『전자통신동향분석』 제26권 제5호(2011년 10월), 124-126쪽.

ALIMI 27기 무은재학부 김주은

궁금한 게 있다면 언제든 연락주세요 !!

기사 모아 보기
공유하기
목록