LG경제연구원, ‘인터페이스의 대세는 멀티모달, 궁극의 목표는 생각 읽기’
스마트폰과 태블릿, 스마트 TV에 이어 안경과 시계 형태의 웨어러블 디바이스까지 정말 다양한 형태의 기기들이 소비자들의 일상으로 들어오고 있다. 형태가 다양해지고 구현하는 콘텐츠와 서비스의 종류도 광범위해지면서 기기와 사용자간의 연결 기능을 담당하는 인터페이스 방식 또한 진화를 거듭하고 있다. 특히 최근에는 멀티모달(Multi-modal) 인터페이스가 큰 흐름으로 자리잡기 시작했다. 키보드 마우스 터치 뿐 아니라 펜, 음성, 동작 등 다양한 인터페이스 방식을 하나의 기기에 적용함으로써 기기와 더 직관적인 소통을 가능케 하려는 노력들이 확산되고 있는 것이다. 이와 같이 인터페이스의 목적은 기기와 사용자간 정보의 양방향 흐름을 최대한 직관적으로 가능하게 하는 것인 만큼 궁극적으로는 사용자의 직접 개입을 최소화하면서도 풍부한 경험을 제공할 수 있는 두뇌-컴퓨터간 인터페이스(BCI, Brain-Computer Interface)가 주목 받을 가능성이 높다.
현재까지 혁신의 주역은 마우스와 터치스크린
일반 TV의 리모콘도 대단한 인터페이스의 진화로 꼽을 수 있다. 그러나 과거 인터페이스의 변화를 통한 사용자 편의성 제공과 저변 확대를 획기적으로 체감할 수 있었던 영역은 PC 사용 환경이다. 명령어와 키보드 중심이었던 PC 사용성은 기계적 언어를 별도로 공부하지 않은 일반인에게는 진입 장벽이 상당히 높았다. 1950년대 효과적인 컴퓨터 제어 방안으로 명령어-키보드 기반의 인터페이스가 처음 도입된 후 1980년대 아이콘-마우스가 일반적으로 사용되기 전까지 30여년간 인터페이스 방식은 크게 달라지지 않았으며, 컴퓨터는 소수 전문가들의 영역이었다.
마우스가 처음 발표된 시기는 1968년으로 크고 작은 변화를 거치며 상용화 시점인 1980년대에 이르러 그래픽 기반 사용자 인터페이스의 핵심으로 자리잡는데 성공했다. 전문가들의 입장에서는 명령어 기반의 인터페이스가 여전히 강력하면서도 유연한 도구였지만, 아이콘-마우스로 대변되는 직관적인 그래픽 인터페이스는 일반인의 컴퓨터 사용에 대한 진입 장벽을 낮추는데 큰 역할을 담당했다. 그 이후 30여년간 소형 조이스틱을 탑재한 제품 등 작은 변화의 시도들이 있었지만 마우스의 형태와 기능은 큰 변화 없이 현재까지 이어지고 있다.
데스크톱 이후 이동성이 강조되는 노트북이 등장하면서 터치패드가 새로운 인터페이스 로 추가되고 현재 대부분의 터치패드가 멀티터치 기능을 보유하고 있지만, 마우스의 편의성을 완전히 대체하지는 못했다. 그러나 노트북 터치패드는 현재 모바일 기기에 보편적으로 탑재되고 있는 터치스크린 인터페이스의 시초라는 점에서 의미가 크다. 어린 아이도 한번만 만져보면 곧바로 조작이 가능한 터치스크린은 스마트폰의 도입으로 인해 사용자들에게 가장 친숙한 인터페이스로 순식간에 자리매김 했다. 모바일 컴퓨팅 기기로서 다양한 기능을 수행할 수 있도록 고안된 스마트폰은 이동성을 극대화하면서도 사용 편의성을 해치지 않기 위해서 인터페이스의 혁신이 반드시 요구되었다. 2007년 애플의 아이폰은 이러한 조건을 충족시키기 위해 터치스크린이라는 카드를 들고 나왔으며, 많은 사용자들의 지지를 얻으며 태블릿이나 PC로 점차 영역을 확장하고 있다.
스마트폰처럼 기술적 파급력을 극대화할 수 있는 적합한 기기를 만나지 못했을 뿐, 사실 터치스크린도 이미 컴퓨터 사용 환경에서 30년의 역사를 가진 오래된 인터페이스 기술이다. 데스크톱 컴퓨터가 보편화되기 훨씬 이전부터 아주 단순한 형태의 터치스크린은 ATM 기기 등에 탑재되어 별도의 교육훈련 없이 사용자들이 기계와 쉽게 상호작용할 수 있는 수단으로 활용되었으며, 컴퓨터 분야에서도 1983년에 적외선 센서를 적용한 HP-150과 같은 터치 기능 제품이 출시된 바 있다. 그러나 디스플레이 자체에 정전식 터치 센서가 내장된 아이폰의 멀티 터치 기술로 인해 터치스크린 인터페이스의 성장 잠재력이 다시 불붙게 된 것이 사실이다. 스마트폰과 멀티 터치스크린의 관계처럼 새로운 기기와 서비스의 출현은 인터페이스의 혁신을 촉진시키는 동력으로 작용함을 알 수 있다. 스마트 기기의 역사는 이제 불과 5년 정도임을 감안할 때 앞으로도 근접 거리에서 조작해야 하는 다수의 기기들이 출현할 수 있어 인터페이스의 혁신 방향성을 쉽게 단정짓기 어렵다. 당장 구글 글래스나 애플 아이워치처럼 기기와 사용자간 접점이 매우 제한적인 형태에서는 음성이나 동작 인식 등의 대안이 필요하다.
음성·동작 인식 인터페이스 적용 노력 중
음성이나 동작 인식은 웨어러블 기기에 앞서 스마트 TV에 먼저 적용되기 시작했다. 스마트 기능을 TV에 접목시키고자 하는 기업들의 입장에서 고민되는 주요 요소 중 하나가 인터페이스인데, 이는 통상 시청거리가 2미터 이상인 TV 사용 환경에서 조작의 편의성을 제공하는 것이 만만치 많은 문제이기 때문이다. 버튼식 리모컨은 특히나 수동적인 기존의 TV 환경에서 정확도와 효율성이 가장 높은 인터페이스이며, 수 십 년 동안 이에 익숙해진 사용자들을 다른 인터페이스로 전환시키는 것은 쉽지 않다. 초기 스마트 TV 모델에는 쿼티 키보드를 장착한 리모콘이 시도된 바 있으나 좋은 반응을 얻지 못했다. 이어 무선 마우스 포인터처럼 TV 화면을 향해 조작할 수 있는 매직 리모콘이 출시되면서 사용 편의성이 다소 개선된 효과를 얻었지만, 음성이나 동작 인식을 적용해 보다 다양한 조작을 가능하게 하기 위한 노력은 계속 되고 있다.
음성 인식 기술은 애플, 마이크로소프트, 구글 등 주요 IT 기업들이 길게는 10여년 전부터 연구해오던 분야이다. 그러나 여전히 잦은 오류와 느리고 어색한 사용 톤으로 보편화되지 못하고 있다. 특히 주변의 소음 간섭이나 타인과 공존하고 있는 공간에서 기계에 소리 내어 명령을 내리는 부자연스러운 사용성이 주요 걸림돌로 지적되고 있다. 그러나 자동차 내부처럼 폐쇄된 개인적 공간 등에서 주행 중 구사하는 제한적인 명령어에 한해서는 상대적으로 전망이 밝다고 할 수 있다.
동작 인식 기술은 스마트폰을 얼굴에 가져가면 통화 연결이 되는 것처럼 기기 자체의 움직임을 감지해 다음 단계에 필요한 작업을 수행하는 기본적인 인터페이스에서부터 마이크로소프트의 키넥트 게임 애플리케이션처럼 사용자의 손이나 신체의 움직임을 인지해 의도된 명령을 수행하는 고도화된 인터페이스로 나뉠 수 있다. 기본적인 동작 인식은 기기에 자력계·가속도계나 자이로스코프 등의 센서를 탑재해 비교적 단순하게 구현할 수 있지만, 카메라나 적외선을 이용해 사용자의 움직임 자체를 명령어로 처리하는 과정은 하드웨어적 정교함은 물론 다양한 명령어를 몇 가지 동작으로 일반화하여 수행하도록 하는 알고리즘에 대한 고민이 수반된다. 이러한 과정을 거쳤다 하더라도 동작 인식 인터페이스에 대해 회의적인 진영은 사용자들이 직관적으로 구사할 수 있는 단순한 동작의 수가 제한적이라는 사실에 주목한다. 기기 조작을 위해 특별히 배우고 기억해야 하는 동작이 많아진다면 이를 수용할만한 사용자는 많지 않을 것이다.
지금은 멀티모달 인터페이스가 대세로
컴퓨팅, 커뮤니케이션, 엔터테인먼트 기기 전반에 걸쳐 하나의 기기에 복수의 인터페이스를 적용하려는 움직임이 활발하다. 터치스크린과 마우스를 동시에 사용할 수 있는 노트북이나, 음성·동작·리모콘 인식이 모두 가능한 스마트 TV는 주변에서 어렵지 않게 볼 수 있다. 터치스크린이라도 촉각을 자극하는 햅틱 기능을 통합한 인터페이스는 사용자에게 더욱 풍부하고 색다른 경험을 제공하려는 목적을 가지고 있다. 터치 버튼을 누르면 진동하는 단순한 기능은 이미 보편적으로 적용되고 있지만 향후에는 햅틱 기술로 스크린 표면을 통해 사물의 질감을 표현하는 단계로 발전할 것으로 업계는 예상하고 있다. 이 외에도 안면·표정 변화를 읽어내는 감성 인식, 사람의 시선이 어디를 어떤 순서로 얼마나 오래 보는지를 읽어내는 아이트랙킹(Eye tracking) 인식 등 차세대 멀티모달의 재료들은 한두 가지가 아니다.
2013년 1월 인텔이 소개한 ‘Perceptual computing(지각적 컴퓨팅)’은 직관적 사용 편의성과 부족함 없는 컴퓨팅 파워를 구비한 모바일 디바이스의 시장 잠식으로부터 PC 수요를 방어하기 위한 중요한 수단으로서 멀티모달 인터페이스를 시도한 사례이다. 카메라가 장착된 PC가 손 동작을 인식하며 구동되는 모습은 마이크로소프트의 키넥트와 유사제품처럼 보인다. 그러나 Perceptual computing 아이디어는 인텔이 판매하고자 하는 개별 제품이나 플랫폼이라기보다 인터페이스적 관점에서 인텔이 그리고 있는 컴퓨팅 기기들의 지향점을 보여준다. 적외선의 깊이 감지 센서와 HD 웹켐, 마이크로폰, 소트프웨어 개발 패키지로 구성된 Perceptual computing 키트는 사용자가 해당 시점에 사용하는 애플리케이션에 따라서 키보드, 마우스, 터치스크린, 음성·동작을 통해 기기를 조작하고, 때로는 복수의 인터페이스를 동시에 사용하며 기기와 상호작용하는 환경이다.
하이테크 세상은 ‘Intel inside’같은 단순 하드웨어적 차별성·신뢰성 대신 사용자에게 특별한 경험을 제공하는 가치 중심으로 변했으며, 인텔의 입장에서도 컴퓨터의 두뇌에 감각을 더해줌으로써 사용자를 제대로 인지하고, 컴퓨터와의 상호작용을 더욱 직관적으로 만들어줄 필요를 느끼는 것이다. 인텔이 제시하고 있는 시제품이 가치를 인정받을 수 있는 특별한 애플리케이션으로 무엇이 있을까 하는 의구심은 존재한다. 그러나 업계 전문가들은 미래의 기기 사용 환경은 복수의 인터페이스들이 얼마나 조화롭게 동시 사용될 수 있느냐가 관건이기 때문에 인텔이 자연스러운 멀티모달 인터페이스 구현을 적극적으로 연구하고 있다는 사실을 긍정적으로 평가하고 있다.
미래형 인터페이스는 단순함과 편리함 지향
2013년은 구글 글래스로 인해 웨어러블 기기의 인터페이스에 대한 관심이 높았다. 몸에 착용하는 웨어러블 기기는 크기가 작을수록 좋을 뿐만 아니라 결코 무겁거나 복잡한 형태를 가져갈 수 없다. 이러한 제약 조건하에서 사용자가 기기를 자연스럽고 편하게 조작하는 것은 쉽지 않아 보인다. 결과적으로 음성인식과 함께 안경 측면에 위치한 터치패널의 조합으로 구성된 구글 글래스는 한편으로 기기 자체가 매우 새로운 인터페이스의 역할을 충실히 수행한다고 할 수 있다. 예를 들어, 실내 외 보행 중 내비게이션 기능을 증강현실로 구현하거나 연동된 스마트폰에 메시지가 왔을 때 자동으로 통보해주는 제2의 스크린으로서 편의성을 제공해준다. 소형 프로젝션 화면은 바로 눈 앞에서 대단한 조작 없이 많은 정보들을 즉시 표시해줄 수 있다. 스마트폰을 가방이나 호주머니에서 꺼내고 몇 번의 버튼 조작 과정을 거쳐야 알 수 있는 정보들을 거의 자동으로 습득하게 되는 편리함이다.
MIT 미디어랩에서 주변 사물과 공간을 사용자에게 보다 자연스럽게 연결해주는 인터페이싱 방법을 연구하는 패티 메이즈 (Pattie Maes) 교수는 현재 기기의 사용 한계를 ▲Blind ▲Passive ▲Disruptive 등 세가지로 요약하고 있다. 즉, 기기 자체는 현재의 상황에 대해 아는 것이 없는 캄캄한 상태이고, 사용자가 명령을 해야만 반응하는 수동적인 특성을 가지고 있으며, 사용자가 기기와 상호작용을 하기 위해서는 하던 일을 멈추고 순간이더라도거의 100%에 가까운 주의를 기울어야 하는 불편함이 있다. 따라서 메이즈 교수는 미래의 기기는 ▲Context-aware ▲Proactive ▲Integrated 되는 형태로 나아가야 한다고 주장한다. 기기에 장착된 수많은 센서와 소프트웨어 알고리즘이 상황과 맥락을 해석/이해하고 사용자가 바로 그 시점에 효용을 얻을 수 있는 정보를 능동적으로 제공하며, 이러한 과정에서 사용자의 직접 조작이나 개입은 최소화되어 자연스럽게 기기-사용자가 상호작용하는 모습을 그리고 있다. 특히 인터페이스적으로 Disruptive가 Integrated 형태로 진화하게 되면 무엇이 달라질지 간단한 예를 들어 보자. 대형 서점에 책을 구입하러 갔다고 가정할 때 지금은 스마트폰을 꺼내어 검색 창에 책 제목을 입력하고 그에 대한 리뷰 정보 등을 수작업으로 찾아보게 된다. 몇 년 후 동일 인물은 안경형 기기를 착용하고 역시 대형 서점을 들어가 관심 있는 책을 집어 들고 응시한다. 책의 표지 디자인이나 마케팅 문구 등을 읽어 내려갈 때 안경형 기기는 해당 도서와 관련돼 사용자가 가장 원할만한 정보를 눈앞에 자동으로 표시해 준다. 물론 사용자가 원할만한 정보는 사용자의 과거 정보 탐색 행태 및 취향을 반영하여 맞춤형으로 선별된다. 이렇듯 인터페이스의 미래 가치는 사용에 대한 심리적 부담이나 학습 과정 필요 없이 자연스럽고 직관적인 제어를 가능하게 하면서도 사용자가 하고 있던 일을 멈추지 않고 상호작용할 수 있는 단순함과 편리함이라고 할 수 있다.
궁극의 모습은 생각과 현실 세계의 직접적 통합
공교롭게 2009년 동시에 개봉한 할리우드 영화 서러게이트와 아바타는 일종의 대리 로봇을통해 주인공의 생각이 현실에서 그대로 실행되는 내용을 담고 있다. 위험하거나 접근이 불가능한 환경 안에서 대리 로봇은 모든 물리적인 위험을 감수하면서 등장인물의 생각을 그대로 수행하는 것이다. 공상 과학 영화에서나 가능한 장면이지만 이렇게 인간의 뇌가 컴퓨팅 기기나 로봇 등의 기계 장치에 연결되어 생각만으로 제어하는 기술을 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)라고 한다. 음성이나 동작 무엇 하나 인위적으로 사용하지 않으면서 기기와 상호작용하는 극단적인 단순함과 편리함이 실현되는 것이다. 영화의 장면을 떠올리면 터무니없이 허황돼 보이지만, 실제로 단순한 BCI를 상용화한 애플리케이션은 의료나 게임 영역에서 서서히 등장하고 있다.
뇌를 통해 사용자의 기기 제어 의도를 감지하는 접근법은 세가지가 있다. ▲뇌의 활동 상태에 따라서 주파수가 다르게 발생하는 뇌파를 이용하는 방법, ▲뇌 특정 부위 신경 세포의 전기적 신호를 이용하는 방법, ▲기능성 자기공명 영상촬영 장치를 이용해 뇌 안에서 혈액이 몰리는 영상을 이용하는 방법 등이다.
BCI 기술은 1990년대 후반 실험실 수준에서 사용자가 컴퓨터 화면의 커서를 움직여 의사소통을 가능하게 하는 등의 성과를 보여주기 시작한 이래 2000년대부터 상당히 활발한 연구가 진행되고 있다. 주로 전신 마비 환자를 대상으로 단순한 전기 신호를 읽어 컴퓨터 화면에 메시지를 작성하고, 휠체어나 로봇 팔 등을 조작함으로써 삶의 질을 개선시키기 위한 목적으로 상용화되고 있다. 대표적으로 MIT, 브라운 대학 등 다수의 기관과 협업하고 있는 BrainGate社가 개발한 반도체 칩은 환자의 뇌에 이식되어 생각만으로 전자우편을 보내거나 게임기, TV 수상기를 제어하고, 로봇 팔을 움직여 커피잔을 잡아 마시고 다시 테이블에 올려 놓는 등의 행동을 가능하게 한다.
최근에는 의료 분야를 넘어 일반 사용자를 대상으로 하는 애플리케이션으로 BCI 영역이 확장하고 있는데 주목할 필요가 있다. 초기 단계이긴 하지만 게임 애플리케이션이 대표적인데 미국의 NeuroSky社와 Emotiv社는 뇌파의 미세하지만 독특한 변화를 모니터링해 상호작용하는 블루투스 헤드셋, 느낌과 감정에 관련된 뇌파를 읽는 헤드셋 등을 출시해 게임에서 생각만으로 특정 명령을 내리거나 감정과 관련된 사진을 검색하는 등의 역할을 수행한다. 캐나다의 InteraXon社는 스마트폰이나 태블릿과 무선으로 연결되어 뇌파를 실시간으로 분석해 뇌 운동을 돕거나 스트레스를 조절하고 집중도는 높일 수 있는 헤드밴드를 출시했다. 여기에는 게임 등의 기기를 뇌파로 직접 조작하는 기능도 포함되어 있다.
뇌의 활동은 단순히 현재 상황을 제대로 분석하는 것만으로도 실질적인 사용자 가치를 줄 수 있다. 일부 자동차 제조사들이 개발 중인 졸음을 감지하는 헤이밴드는 운전자의 상태에 따라 자동으로 비상등을 깜빡여줄 수 있고, DARPA(미국 방위고등연구계획국)가 연구하고 있는 기술은 시시각각 변하는 파일럿의 인지적 상황에 따라서 본부로부터의 추가 정보 전달 방식을 음성이나 그래픽 모드간 자동 변환하는 인터페이스로 정확한 의사결정을 지원한다. MIT가 소개한 아이디어처럼 현재 스트레스 지수가 높거나 급하게 처리해야 하는 정보량이 많을 경우 컴퓨터 인터페이스가 자동으로 업무량을 조절해주는 등의 애플리케이션은 구성원의 정신 건강이나 업무 효율성을 높이는 방안으로 구상되고 있다.
보편화 위해서는 초소형·비침습형 센서 필요
뇌-컴퓨터 인터페이스가 사용층을 넓혀 보다 보편적인 애플리케이션으로 발전하게 위해서는 하드웨어적인 개선이 반드시 필요하다. 뇌의 활동을 측정하는 방식은 기본적으로 침습형과 비침습형으로 나뉘는데, 침습형(invasive) 방식은 전극/마이크로칩을 외과적으로 두피에 시술해 뇌파를 측정하는 방식이고, 비침습형(non-invasive) 방식은 헤드셋이나 헤드밴드를 겉으로 착용해 뇌파를 측정하는 방식이다. 비침습형은 침습형에 비해 사용법이 간편하여 실용화 측면에서 반드시 필요하지만 잡신호가 섞여 정확하고 세밀한 측정이 어렵다는 한계가 있다.
전신 마비 환자들을 대상으로 하는 애플리케이션의 경우에는 삶의 질 개선에 절대적으로 기여한다는 측면에서 정확한 기기 조작을 위해 외과적 시술을 감수한다. 그러나 일반적인 사용자가 양 손을 사용하지 않으면서도 자연스러우면서 직관적인 명령을 시스템에 직접 내릴 수 있다고 해서 뇌에 전극이나 센서를 이식하지는 않을 것이다. 현재는 간단한 수준의 뇌 센싱 기능이 헤드셋이나 헤드밴드 형태로 구현되는 초기 상황인데, 이 또한 게임 시간에만 잠깐씩 착용하는 것을 용인하는 수준이지, BCI를 상시 착용할 수 있는 형태와는 거리가 멀다. 주류 시장에서 고객을 확보하기 위해서는 크기를 훨씬 작게 만들면서 방대한 뇌의 움직임을 읽고 의도를 감지해낸 후, 복잡할 수 있는 제어 정보를 무선으로 전송하는 기술적 어려움을 극복하는 것이 관건이다.
상호보완적 역할로 출발할 듯
과거 인터페이스 혁신을 주도한 마우스나 터치스크린이 순식간에 주류 시장으로 편입된 것처럼 보이지만, 사실 이들 모두 기술적 개념 소개나 시제품 시연은 1960년대 중·후반에 이뤄진바 있다. 기술적 완성도와 애플리케이션 활용성이 일반 대중에게 인정을 받고 상업적 선택을 받기까지 30~40여년이 소요된 셈이다. 뇌-컴퓨터 인터페이스의 경우에도 1990년 후반을 시작 시점으로 보자면, BCI가 단독으로 특정 기기를 조작하면서 충분한 사용자 가치를 제공하기까지는 오랜 시간이 걸릴 것으로 예상된다. 그러나 앞서 언급한 멀티모달 추세대로 BCI 또한 일차적으로는 타 인터페이스와 역할 분담을 고려하여 상호보완적으로 적용될 것으로 예상된다. 즉, 하이브리드 형태로 출발해 단계적으로 독립성을 확보하는 형태로 진화할 수 있다. 예를 들어, 시선의 움직임을 감지해 자동 스크롤을 해주거나 시선이 일정 시간 정지해 있는 콘텐츠에 대해서 추가 정보를 제공하라는 명령을 내리는 아이트랙킹(eye tracking) 웨어러블 기기가 있다고 하자. 정지된 시선이나 깜빡이는 움직임이 해당 명령을 내리는 의도된 행동일 수도 있지만 무의식적으로 일어나는 돌발상황일 여지도 충분하다. 그렇다면 의도와 무의식 사이에 명확한 구분이 필요한데 이를 보완해주기 위해 뇌파 감지 센서를 안경 다리 부분에 탑재한다면 기기의 오작동 염려를 확실히 낮춰줄 수 있다.
2013년 4월 미국 오바마 정부는 미래 10년 장기 프로젝트로 ‘Brain Activity Map’을 선정하고 당장 내년인 2014년에만도 1억 달러의 예산 투입을 약속했다. 해당 프로젝트의 주요 목적은 신경 세포의 활동을 완벽히 파악해 알츠하이머 같은 다양한 뇌 관련 질병을 치료할 수 있는 기반을 마련하는데 있지만, 인간의 인지적 메커니즘을 규명하는 연구 결과물은 BCI 분야의 발전에도 크게 기여할 것으로 예상된다. 업계는 복잡한 뇌의 전체적인 지도가 완성되기 전에라도 2년 내 리모콘 인터페이스 등에 의미 있는 변화를 유발할 새로운 뇌-컴퓨터 인터페이스 제품들이 출시될 수 있을 것으로 내다보고 있다.
*위 자료는 LG경제연구원이 발표한 보고서의 주요 내용 중 일부 입니다. 언론보도 참고자료로만 사용할 수 있습니다.
웹사이트: http://www.lgeri.com
연락처
LG경제연구원
한수연 연구위원
이메일 보내기