◎모바일 UI의 진화 : Beyond Touch

LG경제연구원 '모바일 UI의 진화 : Beyond Touch'


모바일 기기는 사용자가 세상과 연결되고 소통하는 핵심 수단이 되었다. 사용자와 기기는 더 가까워 지고 있으며, 연결 접점인 UI의 중요성도 더욱 증가하고 있다. 직관적 UI 시대의 포문을 연 터치 UI 이후의 세상은 어떻게 변해가고, 주목해야 하는 부분은 무엇인지 살펴본다. 
  
얼마 전 유튜브에서 화제가 되었던 동영상 하나를 보자. ‘One Year-Old Baby Thinks Magazine Is an iPad That Does Not Work(잡지를 고장 난 아이패드로 생각하는 한 살배기 아기)’라는 제목이다. 종이 잡지를 처음 본 아기가 마치 아이패드를 만지는 것 마냥 이곳 저곳을 터치하고, 화면을 확대하려는 듯 두 손가락을 오므렸다 벌리는 상황을 촬영한 동영상이다. 

이 동영상은 스마트폰과 태블릿 시대를 열어 낸 애플의 힘이 어디에서 비롯된 것인지 다시 돌아보게 한다. 왜 사람들은 그토록 애플에 열광하는 것일까? 아무것도 배우지 않은 어린 아이조차도 쓸 수 있는 극단적으로 쉽고 단순한 기기를 만들어 냈기 때문이다. 그리고 이것을 가능하게 한 핵심 요소는 바로 터치 기반의 인터페이스이다. 박물관이나 상점에서 흔히 볼 수 있는 ‘만지지 마시오’라든가, ‘눈으로만 봐주세요’라는 팻말을 생각해 보자. 낯선 것이나 궁금한 것을 보면 자기도 모르게 손을 대는 것은 우리에게 너무나도 자연스러운 행동이다. 사람의 자연스러운 행동을 기기 조작 방식으로 연결한 터치 UI는 ‘직관적 UI’ 시대의 포문을 열었다 해도 과언이 아니다. 
  
기기의 진화는 UI 진화와 직결 

이제 모바일 기기는 사용자가 세상과 연결되고 소통하는 핵심 수단이 되었다. 주변 사람과 소통하고, 업무를 처리하는 것은 물론이고, 순간적으로 기억이 나지 않거나 잘 모르는 것을 물어보는 대상이기도 하다. 사용자와 기기가 이렇게 가까워지면 질수록 연결 접점인 UI(User Interface)의 중요성은 더욱 증가할 수밖에 없다. 

사용자는 필요한 정보를 얻고 싶어하고, 기기는 사용자에게 정보를 제공하는 역할을 한다. 그런데 만약 사용자가 제품 설명서를 읽고 사용법을 익혀야만 기기를 쓸 수 있다면, 그것은 시간과 열정이 많은 사람만 대우하는 것이다. 사용법을 충분히 배우지 못한 사람이나, 공들여 기기를 조작할 시간이 없는 사람들이 정보를 얻기 힘들다면, 제아무리 좋은 기기라도 소용이 없을 것이다. 그렇기에 지금부터 기기의 진화는 UI의 진화와 직결된다. 배우지 않고도 쓸 수 있고, 어떤 상황이든 그 상황에 가장 편리한 인터페이스로 조작할 수 있는 기기야말로 사용자에게 최선의 가치를 줄 수 있기 때문이다. 
  
UI 진화의 핵심 : 사람을 닮는 것 

터치 UI는 지금까지 모바일 기기에서 보았던 어떤 인터페이스보다도 직관적이지만, 현재의 터치 UI가 완벽한 것은 아니다. 일단, 현재의 터치는 마우스의 왼쪽 클릭과 스크롤 역할만 할 뿐이다. 그러나 마우스에는 각각의 상황에 적합한 세부 명령을 제공하는 오른쪽 클릭이 있다. 즉 한 번의 터치로 좀 더 많은 명령을 하는 방법이 나와야, 좀 더 풍부하고 편리한 조작이 가능해 질 것이다. 또한, 터치를 사용할 수 없는 상황도 있다. 추운 겨울에 장갑을 끼고 있다거나, 운전 중인 경우가 대표적이다. 터치가 꼭 입력 수단이어야만 할까? 모르는 것을 자기도 모르게 만지려 하는 행동 속에는 만져보는 것을 통해 사물을 느끼고자 하는 욕구도 담겨 있다. 그렇다면, 기기가 좀 더 다양한 촉감을 제공한다면 그것 역시 가치 있는 정보가 될 수 있다. 

좀 더 근본적으로 생각해 보면, 사람이 의사를 표현하는 방식이 꼭 ‘손을 대는 것’만 있는 것은 아니다. 우리는 의사를 표현하기 위해 말을 하고, 글을 쓴다. 만국 공통어라는 몸짓, 자기도 모르게 얼굴에 나타나는 표정 역시 중요한 의사소통의 도구이다. 다만, 이것을 이해하는 데 필요한 지능과 오감이 기기에 없어서 기기와의 소통 방식과 사람과의 소통 방식이 달랐던 것뿐이다. 만약 기술이 발전해서 기기가 사람의 자연스러운 의사 표현을 이해할 수 있게 된다면, 이것은 어쩌면 터치보다 더 직관적인 인터페이스가 될 수도 있다. 

결국, 좀 더 편리하고, 좀 더 자연스러운 인터페이스를 향한 UI 진화의 핵심은 ‘사람’에 있다. 사람들이 서로 의사를 표현하는 방식, 즉 말과 글, 행동과 표정 속에 담긴 여러 가지 의미를 기기 조작과 연결하는 것이 곧 미래 UI의 나아갈 방향인 셈이다. 

더 강해진 터치 : Enhanced Touch UI 

터치 UI는 계속해서 진화해나갈 조짐이다. 기존의 터치가 직관적인 조작이라는 사용자 경험의 포문을 열었다면, 앞으로의 터치는 사용자에게 더 편리해진 조작 방법과 더 많은 상호 작용 상의 정보를 제공해 줌으로써 더 사용자와 가까워질 것이다. 
  
● 더 많은 명령을 더 편하게 입력 

카네기 멜론 HCII(Human-Computer Interaction Institute) 연구소에서 개발한 ‘Tapsense’는 터치에서도 마우스의 오른쪽 클릭과 유사한 기능이 가능해져 더 많은 명령을 한 번에 더 편하게 입력할 수 있다. 손가락 끝, 손톱, 손가락 면, 손가락 관절을 다르게 인식하는 기술이 핵심으로, 4가지 각기 다른 부분이 터치 할때 나는 소리와 공진 주파수를 분석하여 손가락 터치 입력을 세분화하였다. 예를 들어 손가락 면으로 키패드를 터치하여 입력하고, 손가락 관절이나 손톱 부분으로는 화면의 빈 곳을 클릭하여 마우스 오른쪽 클릭과 같은 환경 메뉴를 불러와 세부 명령을 입력할 수 있다. 또한, 그림을 그릴 때 일일이 도구 버튼을 클릭할 필요가 없이 손가락의 어느 부분이 터치 되느냐에 따라 색깔을 바꿀 수 있고, 그리기와 지우기 모드를 선택할 수 있다. 
  
● 터치와 압력 센서의 결합 

기존 평면상의 사용자 입력에 터치의 깊이감을 더하려는 움직임이 확대되고 있다. 2010년 Nokia는 멀티터치 기능과 압력 센서를 결합한 장치를 특허로 등록했다. 기존에는 평면상의 움직임을 감지하는 것이 전부였다면, 이제는 움직임과 함께 힘의 크기도 감지할 수 있게 되었다. 예를 들어 어플리케이션을 이용하여 피아노 연주를 한다면 터치의 강도에 따라서 직접 피아노 건반을 누르는 듯한 경험을 할 수 있다. 또한, 불편한 자리나 있고 싶지 않은 자리를 피하고 싶을 때 손으로 화면을 지그시 눌러 가짜 전화(Fake call)나 가짜 메시지(Fake message) 같은 재미있고, 비밀스러운 기능 구현도 가능해질 것이다. 
  
● 다양한 촉감 제공 

질감 표현이 가능해지면서, 촉각으로 지금까지 기기에서 줄 수 없었던 풍부한 정보를 제공해 줄 것이다. 센세그 ‘E-Sense’ 기술은 스크린 위의 전기장 변화를 촉각 신호로 바꾸는 방식으로, 스크린 상에서 거칠거나 부드러운 다양한 질감을 인식할 수 있다. 예를 들어 인터넷 쇼핑 중에 부드러운 실크 원단의 옷이 눈에 들어 왔다고 하자. 예전에는 눈으로만 옷을 구경해야 했지만, 이제는 원단의 촉감을 느끼면서 옷을 구매할 수 있다. 또한, 아이에게 전자책을 읽어주면서 말로는 표현할 수 없었던 거북이의 딱딱한 등껍질이나 페르시안 고양이의 부드러운 털의 촉감을 느끼게 해줄 수 있다. 

사람과 소통하듯 : Natural UI 

최근 모바일 관련 전시회 등에서 관심을 끌고 있는 UI의 흐름은 단연 자연 UI(NUI: Natural UI)이다. 아이콘을 클릭하는 GUI(Graphic User Interface)와 달리, NUI는 사용자의 자연스러운 말, 행동, 필기 등을 통해 기기를 조작하는 방식이다(<그림 1> 참조). 

사실 음성인식(1964년)과 필기인식(1982년)은 개념적으로는 좋지만, 실제 기기에 적용하기에는 한계가 있었던 것으로 생각되었던 철 지난 기술이다. 그런데 이런 인터페이스들이 새롭게 관심을 끌기 시작한 것은 자연어 처리 기술과 인공 지능 기술이 상용화 가능한 수준으로 발전하면서부터다. 기기가 사용자의 말과 글, 몸짓을 이해하고, 그에 담긴 의도와 문맥을 추론할 수 있게 되는 것이다. 사용자는 어떤 사용법도 배울 필요 없이 그 순간 생각나는 대로 자연스럽게 반응하면 기기가 그것을 이해해서 필요한 동작을 취하게 되는 것이 NUI의 최종 목표다. 

● 음성 기반 인터페이스 

사용자 음성을 인식하여 검색해주는 다양한 서비스들이 생겨나고 있지만, 현재 상용화된 음성 검색 기술은 대부분 태깅(Tagging)된 단어 중심의 웹 검색이다. 사용자 편의성을 제공한다고 하지만, 아무리 원하는 내용을 말해서 찾고 싶어도 ‘웹에 없는 내용입니다’라는 페이지를 보여주거나 연관성 없는 키워드 결과를 보여줄 때 사용자는 ‘제대로 음성 인식도 안 되는데 왜 쓰지?’ 라고 반문하게 된다. 

다양한 언어 입력과 복잡한 문장의 의미를 이해하기에는 아직 부족하지만, 애플 ‘시리(Siri)’는 기기 안에 떨어져 있었던 알림, 검색, 메모 등의 세부 기능을 모아서 제어하는 기능을 선보였다. 예를 들어 내일 날씨가 궁금할 때, 웹 브라우저를 실행하여 날씨 검색을 하는 것이 아니라 ‘내일 서울의 날씨는 어떤가요?’라고 기기에게 물어보면 기기는 웹을 통해 날씨 정보를 검색하여 사용자에게 보여 준다. 

그렇다면, 앞으로의 미래 모습은 어떻게 될지 궁금하다. 이에 대한 대답은 애플이 등록한 특허를 통해서 일부 엿볼 수 있다. 애플은 ‘상황인지 음성 명령’ 특허를 2010년 등록하였는데, 음성 인식은 입력의 일부이고 상황을 인지하여 기기가 솔루션을 제공하는 것이 특허의 핵심이라 할 수 있다(<그림 2> 참조). 어쩌면 화면 상의 아바타에게 명령만 하면 모든 기능이 구현 가능한 시대가 곧 올지도 모른다. 또한, 문제점으로 지적되었던 주변 소음 문제는 기기가 자동으로 시끄러운 환경이나 음성을 쓰기 곤란한 상황을 감지하여 텍스트-음성 양방향 전환이 가능하도록 한 특허도 올해 등록하였다. 
  
● 핸드라이팅(글씨나 그림) 기반 인터페이스 

수첩에 무언가 끄적이다 보면 생각이 정리되고, 아이디어가 나오는 경우가 적지 않다. 사람의 생각을 글과 그림으로 저장하는 것은 물론, ‘쓰고 그리는’ 그 자체로 사고와 창의성을 촉진하는 도구로서 종이와 펜은 여전히 모바일 기기보다 우등재다. 그런 면에서 핸드라이팅 기반의 UI에 주목해 볼 필요가 있다. ‘스타일러스 펜은 불필요하며, 손가락만으로 모든 것을 표현하겠다’고 한 스티브 잡스의 애플조차도 스크린 상에서 뿐 아니라 종이, 탁자 등 어느 표면에서나 글씨를 쓰거나 그림을 그려도 인식 가능한 스타일러스 펜 특허를 올해 등록했음도 눈 여겨 봐야 할 것 같다. 퀄컴 역시, MWC 2011에서 초음파 위치 측정 기술을 통해 종이 위에 글씨를 쓰면 바로 스크린에 나타나는 기능을 선보인 바 있다. 

필기 인식이 인공 지능과 결합하면 문서 작성 방식이 상당히 변할 수 있다. 기존의 문서 작성 시 페이지 번호를 넣으려면, 상단의 메뉴를 찾아 파일>페이지 설정>페이지 번호 명령을 차례대로 수행해야 했다. 하지만, 페이지 하단에 숫자를 쓰면, 기기는 ‘모서리에 숫자를 쓰는 걸 보니 이건 페이지 번호구나!’라고 이해를 하게 될 것이다. 
  
● 모션 기반 인터페이스 

EyeSight는 전면 카메라를 이용하여 손의 움직임을 인식하는 기술을 Computex 2011에서 선보였다. 예를 들어 음식을 만들려고 할 때, 예전에 즐겨찾기 해놓은 블로그의 요리법을 참고하고 싶다고 하자. 이때, 사용자가 기기 앞에 손을 인사하듯이 좌우로 흔들면 기기의 화면이 켜진다. 손을 좌우로 움직이면서 즐겨찾기 해놓은 블로그를 찾고, 두드리는(Tapping) 행동을 하면 해당 페이지로 이동할 수 있다. 또한, 원하는 음식 사진을 더 확대하기 위해 화면을 두드리면, 줌 인/줌 아웃 기능도 구현할 수 있다. 

영화 ‘마이너리티 리포트’의 주인공처럼 손의 움직임에 따라 화면을 옮기는 인터페이스도 조만간 가능해질 것 같다. 올해 마이크로소프트는 기기 간의 스크린 내용이 공유 가능한 ‘코드 스페이스(Code Space)’라는 컨셉을 개발하였다. 기존의 모션 인식이 개별 스크린 공간에서 개별 사용자의 움직임을 이해하는데 그쳤다면, 이제는 여러 개의 스크린 공간에서 여러 사용자의 움직임을 이해할 수 있다. 예를 들어 수업시간에 학생들은 선생님이 사용하는 대형 스크린을 보고 이해하는 것에 그치지 않을 것이다. 중요한 부분이나 토의할 내용을 개인 모바일 기기에서 대형 스크린으로 혹은 그 반대로 자유롭게 옮기는 일들이 가능해져 여러 학생들 간의 상호 작용이 활발히 이뤄질 것이다. 
  
● 얼굴 인식 인터페이스 

모바일 뱅킹을 하거나 웹 로그인을 할 때 암호가 생각나지 않아 난감한 경우가 많다. 하지만 얼굴 인식 기술을 통해 개인 보안과 사용자 인증 절차가 간소화될 수 있다. 공항에서 카메라를 통해 출입국 심사를 간편하게 하듯이 모바일 기기를 작동하고 제어하는데 얼굴 인식을 통한 사용자 인증이 가능해 질 것이다. 구글 ‘페이스 언락(Face unlock)’은 이런 기술이 적용된 대표적 사례다. 애플 역시 비슷한 기능을 내놓을 것으로 예상된다. 2009년 애플이 얼굴 인식과 관련한 특허를 등록해 놓았기 때문이다. 이 기술에 의하면 전화가 왔을 때 사용자의 얼굴을 감지하여, 화면을 보고 있다고 판단되는 경우 전화가 왔다는 메시지를 화면상에 보여주고, 그렇지 않은 경우에는 전화벨을 울리는 것이다. 회의실에서 뜻하지 않게 벨이 울리는 순간에 유용한 기능이 될 것이다. 

표정 감지가 가능하다면 좀 더 스마트한 작동이 가능해 질 수도 있다. 입력이 잘못되거나 동작이 제대로 이루어지지 않았을 때, 사용자의 얼굴을 보고 동작 재 수행 여부를 기기 스스로 판단하는 것이다. 
  
● 시선 감지 인터페이스 

사람들은 책을 어디까지 읽었는지 표시하기 위해 책갈피를 사용하고 중요한 부분에는 줄을 긋는 것이 보통이다. 이러한 방식도 모바일 기기에서도 그대로 구현될 수 있게 된다. 독일 인공지능 연구센터가 진행 중인 ‘Text 2.0’ 프로젝트는 시선 검출을 활용한 ‘인터랙티브 독서 방법’을 제시했다. 예를 들어 읽었던 부분이나 읽다가 놓친 부분에서의 사용자 눈 위치를 기억하여 기기가 자동 북마킹을 해놓거나, 사용자가 속독하고 있을 때 중요한 단어들을 진하게 부각시켜 하이라이트 표시를 해줌으로써 가독성을 높여준다. 
  
UI의 변화가 몰고 오는 더 큰 변화 

모바일 세상에서 기기와 사용자는 더욱 가까워 지고 있으며, 사용자와 기기의 연결 접점인 UI의 중요성은 더욱 증가하고 있다. 사용자의 자연스러운 의사 소통 방식을 기기가 이해하고 기기 조작과 연결하려는 변화의 시도가 여기저기서 나타나고 있다. 하지만, 이러한 변화는 결코 단순한 인터페이스의 변화로 한정시켜 생각하면 안될 것이다. 과거에는 어플리케이션을 잘 다운 받고 쓰는 것이 사용자의 능력으로 인식되었지만, 앞으로 사용자는 어플리케이션을 일일이 찾지 않고 기기에 명령만 내리면 기기가 알맞은 기능과 어플리케이션을 찾아 구현해 주는 세상으로 변할 것이다. 

그 어느 때보다 사용자의 니즈는 다양해지고, 기기와 UI의 변화 속도도 빨라지고 있다. 하지만, 사용자들은 앞으로 어떤 UI 세상이 펼쳐지는지에 대한 관심보다 배우지 않고도 쓸 수 있고, 어떤 상황이든 그 상황에 가장 편리하게 조작할 수 있는 기기의 등장을 원한다. 모바일 기기를 중심으로 생태계 전쟁이 뜨거운 지금, 기업들은 단순한 스펙 경쟁이 아니라 UI를 넘어선 사용자의 가치 변화에 더 주목해야 할 것이다.  <끝>