[증강현실] 세상을 보는 또 다른 시선

세상을 보는 또 다른 시선
월간 마이크로소프트웨어 2009년 10월호

1984년부터 연재되었던 드래곤볼은 아직도 만화, 애니메이션뿐 아니라 영화, 캐릭터 시장에서 지속적인 수익원을 만들어내고 있으며 최근에는 원저작자인 토리야마 아키라가 직접 참여해 이슈가 되었던 온라인 게임이 정식 오픈을 앞두고 많은 기대를 모으고 있다. 20년을 훌쩍 넘어버렸음에도 언제든 다시 보아도 흥미롭고 세련된 구성 때문에 이야기에 빠져들게 만든다. 배경이 시공간을 초월하기 때문에 다양한 아이디어들을 엿볼 수 있었는데 그중에서 상대방의 파워를 측정해볼 수 있는 전투력 측정기(스카우터)는 만화의 흥미를 더해주는 요소였다. 만화에서 싸울 대상의 힘을 미리 알아버리는 것은 미리 결과를 예측해 재미가 없을 수도 있었겠지만 작가는 이에 기를 감추는 능력까지 더해 반전의 요소를 만들어주었다.

디자인도 그렇게 복잡하지 않아 집에서 골판지를 잘라서 셀로판지를 붙여 만들어보았을지도 모르고 좀 여유가 있던 친구들은 문구점에서 좀 더 폼 나는 모형을 구입하기도 했다. 혹시 집안 어딘가에 아직도 예전에 만든 전투력 측정기를 찾을 수 있을지도 모르겠다. 만화 후반부에 가면 전투력 측정기가 필요 없이 기를 느낄 수 있는 능력이 등장하는데 그 정도의 종족은 예외로 치고 초감각적인 정보를 인식할 수 있는 정보로 바꾸어주는 측정기는 현실적에서도 많은 가치를 가질 수 있다. 현실적인 사물을 보고 감각으로 인식할 수 있는 정보는 그다지 다양하지가 않다. 예를 들어 서점에 가서 책을 찾는다고 하자. ‘플렉스 UX’에 관련된 책을 찾는다고 할 때 서가분류에서 ‘컴퓨터/인터넷’이 위치한 곳을 찾을 것이고 그 중에서 웹 분야를 선택한 후에 출판사별로 또는 제목에 따라 분류된 책을 찾게 된다. 처음 방문한 곳이라면 이 과정에서 입구에서 배치도를 참고하고 찾는 곳의 위치를 확인한다. 현재 위치한 곳과 다른 층에 위치한 책을 찾아야 한다면 계단을 찾아 원하는 층으로 이동해야 한다. 책이 위치한 서재에서는 몇 가지 책을 골라보고 어느 책이 나을지 비교해보게 된다. 서점에 오기 전에 인터넷을 검색해 서평이라든지 필요한 정보를 찾아보지 않았다면 현장에서 사용할 수 있는 정보는 베스트셀러 여부나 책의 내용을 살펴보는 것뿐이다. 이 과정에 전투력 측정기 개념을 더해보자. 먼저 서점에 들어왔을 때 원하는 정보가 위치한 방향정보를 얻을 수 있다. 방향을 고민할 것 없이 눈앞에 보이는 대로 따라가 보면 원하는 위치를 찾을 수 있다. 그리고 비교할 책을 늘여놓고 서로의 전투력을 측정하는 것이다. 평점은 어떤지 현재 판매량은 어느 정도인지 저자의 다른 책은 어떤 것들이 있었는지 원하는 항목을 현장에서 비교해볼 수 있다. 이러한 일련의 작업이 다시 정보를 얻기 위해 컴퓨터를 찾아 인터넷에서 책 이름을 검색어로 집어넣고 검색해보는 것이 아니라 책을 자동으로 인식하고 원하는 정보를 즉시 제공받을 수 있다.

(화면 1. 드래곤볼에 등장하는 전투력 측정기)

이처럼 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 것을 증강현실(Augmented Reality)이라고 하며 가상현실(Virtual Reality)의 하나로 분류한다. 나머지 것들과 차별화되는 부분은 현실세계의 실체가 주가 된다는 것이다. 증강현실을 무엇이라 설명할 때 드래곤볼의 전투력 측정기 이야기는 직관적인 예로 많이 사용된다. 현실에서 볼 수 있는 정보의 수준을 확장시키고 다양한 시각에서 볼 수 있게 하는 노력은 1960년대 이반 서덜랜드(Ivan Edward Sutherland)의 연구를 바탕으로 특수한 장비를 헬멧처럼 착용하는 HMD(head-mounted display)에서 시작해서 최근의 증강현실에 대한 연구기술은 번거로운 측정기와 같은 도구를 가지고 다니는 대신에 콘택트렌즈와 같이 몸의 일부의 형태로 등장시키고 있다. 워싱턴대학의 바박 파비즈(Babak Parviz)교수팀은 생물학과 전기공학 사이의 인터페이스를 연구하며 기능성 콘텐츠 렌즈 기술을 개발하고 있다. 이 연구에서 생체정보를 모니터링 하는 기술과 증강현실을 구현할 수 있는 기술도 같이 연구되고 있다. 5-10년 내에는 이 기술이 상용화될 것이라고 한다.

FLARToolkit

올해 초 일본에서 개최된 어도비 MAX JAPAN행사에서 눈길을 끌었던 기술 중에 하나가 FLARToolkit 이다. 이 기술은 카메라로 인식된 이미지위에 3차원 물체를 그려 넣는 라이브러리인 ARToolKit를 액션스크립트 기반으로 변환한 라이브러리였는데 웹상에서 3D를 구현할 수 있는 Papervision3D기술과 같이 조합되어 쉽게 구현할 수 있는 증강현실 방법으로 소개되었고 많은 웹사이트에서 이를 응용한 시도가 등장했다. 낯선 기술이 아닌 익숙한 플래시 개발 기술을 쉽게 적용해서 개발할 수 있기 때문에 광고나 이벤트용으로 많이 사용되고 있다.

ARToolKit은 1999년 워싱턴 대학의 휴먼 인터페이스 기술 연구소(HITLab)의 히로카즈 카토(Hirokazu Kato)교수가 주도해 만든 라이브러리로 SIGGRAPH행사에 처음 선을 보였고 이후 GPL로 공개되어 증강현실 분야에 다양한 시도를 가능하게 했다. FLARToolkit은 ARToolKit의 자바버전중 하나인 NyARTToolKit 개발자와 함께 만든 액션스크립트 라이브러리이다. 하지만 FLARToolkit에서 제공하는 기술은 한계를 가지고 있다. 최적화되지 못한 라이브러리 위에 3차원 물체를 그리고 이를 움직여주어야 하기 때문에 성능에 제한을 가지고 있고 마커를 인식하는 것을 기반으로 하기 때문에 번거로운 면도 있다. 물론 자신의 몸에 마커를 그려가지고 나와서 엽기적인 발표를 했던 더그매퀸(doug mccune)과 같은 개발자도 있긴 하지만 말이다.

(화면 2. 더그매퀸의 증강현실 퍼포먼스)

최근 개발자들의 관심사는 안면인식쪽으로 이동하고 있다. 이를 위해 C로 개발된 함수를 아케미(Alchemy - C/C++ 코드를 컴파일해서 SWF를 생성하는 기술이다)로 변환해 플래시로 연결하고 개발하는 사례도 소개됐다. 아직까지는 웹에서 고수준의 연산을 실시간으로 처리하기에는 무리가 있어 이론적으로는 가능하지만 실제 활용까지는 진행을 못하고 있다. 하지만 사용자 환경이 하루가 다르게 발전하고 있어 내년쯤에는 새로운 시도를 만나볼 수 있을 것이다.

크리스휴즈(Chris Hughes)는 TED에서 발표를 했지만 더 이상 그의 발표를 들어볼 수가 없다. FLARToolkit를 가지고 시연을 보여주었음에도 불구하고 마치 자신의 독자적인 라이브러리인 것처럼 이야기를 했다는 것이 원인이라고 한다. 더 이상 그의 발표를 들어볼 수 없으니 정확한 내용은 알 수 없겠지만 다행스럽게도 시연했던 코드는 공개가 되어있다. 2가지 코드가 제공되는데 하나는 3D 오브젝트를 다루는 것이고 하나는 비디오를 다루는 것이다. 플렉스 프로젝트로 구성되어있어 플렉스 빌더를 사용하고 있다면 바로 프로젝트를 불러와 실행해볼 수 있다.

1. 아래 주소에서 소스 파일을 다운로드한다.
http://spazout.com/assets/tedflartoolkit.zip
2. 압축을 적당한 폴더에 풀어주고 플렉스 빌더를 실행한다(플렉스 빌더는 http://www.adobe.com/go/flex_trial_kr 에서 60일동안 사용할 수 있는 시험버전을 다운로드 받을 수 있다).
3. 플렉스 빌더에서 File > import > Flex Project를 선택한다.
4. 가져오기 창에서 Project folder를 선택하고 tedflartoolkit을 선택한다.
5. mindshare_flar이라는 이름으로 프로젝트가 생성된다.

소스에는 Main.as와 Main2.as파일이 있는데 해당 파일을 선택하고 Run Application 항목을 선택하면 브라우저에 캠에서 들어온 영상이 뿌려지는 모습을 확인할 수 있다. 캠 인식에 필요한 마커는 프로젝트 내 marker폴더에 pdf파일로 포함되어있다. 프로젝트를 실행하기 전에 사용하는 컴퓨터에 먼저 캠이 설치되어있어야 한다. 에러를 처리하는 부분이 없기 때문에 캠이 없다면 실행이 되지 않고 웹캠의 입력을 기다리게 된다(플래시 플레이어를 디버거용으로 설치한 경우에는 null값을 참조하는 오류를 만나게 된다). 정상적으로 프로그램이 실행되면 웹캠 및 마이크 엑세스에 대한 확인창이 나오게 된다. 이때 허용을 클릭해주면 된다. 약간의 소스를 수정해서 자신이 찍은 동영상을 재생해보거나 하는 체험할 수 있다.

Layar

요즘 나오는 신차의 경우에는 대부분 네비게이션이 달려 있고 그렇지 않은 경우에는 별도로 네비게이션을 구매해서 사용하고 있다. 예전처럼 낯선 곳에 약속장소를 잡더라도 어느 길로 와야 한다고 알려주기보다는 해당 지역명이나 주소만 알려주고 네비게이션을 보고 찾아올 것이라고 기대한다. 간혹 새로 생긴 길을 인식하지 못해서 공중을 날아가는 자동차를 만들기도 하지만 정보의 업데이트가 주기적으로 제공되고 심지어는 실시간으로 업데이트 되는 장비의 광고도 볼 수 있다. 차량의 경우에는 다양한 장비를 내장할 수 있고 휴대성에 있어서 어느 정도 부담을 가지지 않을 수 있기 때문에 다양한 시도를 해볼 수 있지만 차량을 이용하지 않는 경우에는 모바일 장비에 의존하게 된다. 물론 도로 곳곳에 키오스크 장비를 배치해서 사용을 지원할 수 있지만 모든 도로에 장착하기에는 현실성이 없을 것이다.  이런 기술에 대한 대안으로 모바일에서 지도서비스에 관심이 높아지고 있고 다양한 서비스가 제공되고 있다. 아이팟에서 앱으로 제공되는 국내의 지도만 보더라도 웹에서 제공하는 것과 비교해서 부족하지 않을 만큼의 정보를 제공하고 있고 맛집과 같은 특화된 서비스도 별도의 앱으로 제공되고 있다. 해외의 경우에도 여행자를 위한 다양한 도시정보를 유료로 판매하고 있다. 예전에 무슨 가이드라는 이름으로 판매되던 책들을 대체해 현재 위치를 기준으로 다양한 정보를 제공하고 있다.

(화면 3. Layar 시연 이미지)

아마 최신 기술에 관심이 있는 분들이라면 한번쯤 보았을 증강현실서비스인 레이아(Layar) 시연 동영상 역시 이러한 서비스의 연장선에 있다(아직 못보신 분들은 http://layar.com/ 에서 확인해볼 수 있다). 드래곤볼의 전투력 측정기처럼 실제 사물을 분석하는 것은 아니고 GPS의 도움으로 해당 위치를 분석해서 정보를 배치하는 형식이다. 실제 사물의 이미지를 분석하는 것이 아니기 때문에 현재 위치에서 보이지 않는 건물이라도 결과화면상에서는 보이는 것처럼 표기된다. 때문에 레이아는 증강현실 기술보다는 네비게이션에 가깝게 보는 평가도 있지만 길을 물을 때 어디로 얼마만큼 가면 되는지를 궁금해 하기 때문에 이러한 정보를 알려준다는 의미에서 큰 가치를 가질 수 있다. 서비스 이름이 뜻하는 것처럼 시각적으로 보이는 영상에 한 꺼풀 정보를 덧씌워주는 형식이다. 단순한 지리 정보뿐 아니라 부동산 정보가 될 수도 있고 맛집 정보가 될 수도 있다. 사용자가 원하는 정보를 선택하면 해당 정보를 눈앞에 보이는 영상에 추가해 보여주게 된다. 이러한 형식은 상업적으로도 많은 가능성을 가지고 있다. 다양한 모바일기기에서 활용할 수 있는 플랫폼을 마련한다면 이보다 더 훌륭한 광고의 기회는 없기 때문이다.

증강현실과 웹

웹의 사전적 의미를 따라가 보면 하이퍼링크를 따라 브라우징하는 행위라는 표현을 사용하고 있다. 하이퍼링크를 동작하려면 컴퓨터에서 동작하는 브라우저가 필요하다. 이러한 의미는 모바일에서도 마찬가지다. 그동안 익스플로어의 독점적인 구조였던 브라우저 시장도 조금씩 변화를 가져오고 있고 마냥 구글의 천하일것 같았던 검색시장의 점유율도 변해가고 있다고 한다. 증강현실도 어떤 의미에서는 웹에 가까운 성격을 가지고 있고 그렇기 때문에 이를 탐색할 수 있는 브라우저 시장에 많은 경쟁 구조를 가지고 갈 수 밖에 없다. 물론 모바일 장비와 같이 맞추어져야 하기 때문에 제약이 있기는 이 역시 조만간 변할 수 있는 부분이다. RIA 기술이 모바일에 많은 투자를 아끼지 않는 것은 이런 이유를 가지고 있다. 특히 플래시 플랫폼은 데스크탑의 경험을 그대로 모바일로 가져가겠다는 일정을 차근차근 진행해나가고 있다. 10월 달에는 현재 데스크탑에서 사용하는 플래시 플레이어 10버전과 동일한 기능을 가지는 플레이어가 탑재된 모바일 기기를 선보일 것이다라는 소문이 돌고 있고 시간의 문제일 뿐 모든 장비에서 동일한 경험을 가져갈 수 있는 환경을 만들어 가고 있다.

(화면 4. 증강현실을 패러디한 사진)

검색부분은 이러한 이슈에서 가장 먼저 만나는 지점일 것이다. 마이크로소프트에서 최근 빙(bing.com)에 투자를 아끼지 않고 있고 시장에서의 점유율도 10%대를 넘어서고 있다. 증강현실 속에서 검색은 사용자에게 다양한 검색결과를 제공하고 선택할 수 있는 가이드를 주는 것보다 지능적이고 즉각적인 반응을 필요로 한다. 또는 비주얼 면에서 쉽게 검색이 가능하고 즉각적인 선택이 가능하게 제공되어야 한다. 구글 역시 스트리트뷰에 대한 정보를 수집하면서 3D 정보도 같이 수집한다고 한다. 이러한 정보들은 영상인식을 통한 위치 검색이라든지 관련된 정보를 가져오는 기술에 있어서 다양한 활용이 가능할 것이다.

열광의 주기

레이아를 서비스하는 모바일 업체인 Sprxmobile에서는 증강현실의 열광의 주기라는 내용으로 글을 올렸다. 이 글에서는 증강현실을 크게 4단계로 구분했는데 다음과 같다(원문에서는 0레벨에서 3레벨로 표기했다).

1단계 - 현실세계의 접촉.
일반적인 상품판매에서 사용하고 있는 1D 바코드와 일본 관광객을 위해 최근 지방자치단체에서 많이 활용하고 있는 QR과 같은 2차원 바코드, 평면 이미지 인식을 포함한다. 2차원 바코드의 경우에는 국내에서도 다양한 형태로 서비스되고 있다. 좁은 영역에 많은 데이터를 고밀도로 표현할 수 있으며 공간 이용률이 매우 높고 코드가 오염되거나 훼손되어 데이터가 손상되더라도 오류를 검출해 복원하는 능력이 탁월한 점에서 모바일 상품정보뿐 아니라 각종 고지서나 모바일 티켓 등으로 활용되기도 한다. 이미지 인식 기술은 휴대폰에 있는 카메라에서 인식된 이미지를 상품데이터베이스에서 검색해내는 기술로 도서, 영화 등의 상품을 검색하는데 사용되고 있다.

2단계 - 마커기반의 AR.
앞서 설명한 FLARToolkit과 같이 프로그램에서 주어진 마커를 인식하게 하고 그 영역 내에 새로운 입체적인 이미지를 만들어내는 형식이다. 바코드에서 얻어진 정보는 인식된 정보와 제공되는 정보가 별개로 구분되어지지만 마커위에 보이는 이미지는 현실 이미지와 중첩되어 보인다. 공개된 라이브러리 뿐 아니라 게임에서도 활용되어지고 있다. 마커를 기반으로 하기 때문에 다양한 변수를 고려하지 않아도 되고 이러한 기술을 기반으로 다음 단계인 실제 사물에 대한 인식의 연구가 이루어지고 있다.

(화면 5. 식스센스 프로젝트)

3단계 - 마커없이 보이는 AR
GPS와 위치기반기술의 산물로 위키튜드나 레이아 서비스를 예로 들 수 있다. 올해 2월 달에 TED에서 발표한 MIT 미디어 랩의 페티 메이즈는 SixthSense라는 프로젝트를 소개했다. 발표된 영상을 보면 일상에서 쉽게 구할 수 있는 캠과 프로젝터 등으로 구성된 350달러 정도의 비용으로 구성한 장치에서 다양한 정보를 수집하고 네손가락 끝에 마커(실제 보드마카 뚜껑을 사용했다)를 인식해 멀티터치 인터페이스를 구성하는 모습을 보여주고 있다. 서피스 컴퓨팅과 같은 멀티터치 기술과 차별화되는 점은 프로젝터에서 어디나 정보를 보여줄 수 있고 공간위에서 컨트롤할 수 있다는 점이다. 손바닥 위에 숫자패드 영상을 뿌리고 전화를 거는 모습은 이 장치가 보여주는 실질적인 용도를 쉽게 알 수 있게 해준다. 유사한 연구가 없었던 것은 아니지만 저렴한 비용으로 구현할 수 있다는 점에서 많은 관심을 받고 있다. 멀티터치 분야에서도 다양한 시도가 있었지만 주목을 받았던 것은 실제 응용이 가능한 아이디어를 만들어낸 제프 한이었다.

4단계는 아직은 영화 속에서만 보이는 일이지만 콘텐트렌즈와 같은 장치에서 궁극적인 AR을 구현하는 것이다. 실제 기술적으로는 개발이 진행되고 있으며 일부 호환성 처리를 위한 작업이 진행 중이다.

빽투더퓨처

2015년을 배경으로 하는 빽투더퓨처(Back To The Future) 2편은 여러 가지 면에서 지금 시점의 현실세계를 되돌아보게 한다. 1989년에 만들어진 이 영화는 다양한 미래의 모습를 바탕으로 흥행에 성공했고 지금도 유니버셜 스튜디오에서 놀이기구로 사랑받고 있다. 특히 영화에 나오는 기술 중 많은 부분이 최근 실현되고 있어 다시 영화를 본다면 또 다른 감정을 느낄 수 있을 것이다. 영화 속에서 홀로그램으로 제작된 죠스 19편의 광고는 개인화된 광고일 뿐 아니라 영화의 홍보를 극대화하는 효과를 보여주고 있다. 다시 현실로 돌아와서 이전까지 평면적인 이미지만을 강조했던 영화 포스터도 최근에는 영상이나 음향효과를 더해주고 있다. 최근 개봉한   터미네이터: 미래전쟁의 시작  (Terminator Salvation, 2009)은 영화포스터에서 평범한 도시 사진에 폭발이 일어나면서 점차 터미네이터의 골격으로 변해가는 효과를 보여준다. 플래시로 작업된 이 포스터는 애크로뱃9에 추가된 기능을 바탕으로 PDF 포트폴리오로 만들어져 배포되기도 했다. 영화관도 오감으로 체험할 수 있는 극장과 프로그램을 상용화하고 있다.

(화면 6. 빽투더퓨처중에서 홀로그램 광고)

영화에서 보았던 상상력을 실제로 접할 수 있다는 것은 그만큼 기술의 발달이 빨라졌고 더 이상 영화 속에서 상상할 수 있는 것들이 제한되고 있는 것 같다. 최근의 영화들이 SF보다는 재난에 초점을 맞추고 있는 것도 이제는 기술이 인류를 해하고 있다는 것에 메시지를 보내는 것이기도 하지만 영화에서 더 이상 상상력을 만들어내기 힘들어진 것이 아닌가 싶기도 하다.

길을 찾을 때 성능이 좋은 네비게이션이 있는 것도 좋지만 더 좋은 것은 그곳을 잘 아는 친구와 함께 여행을 갈 수 있는 것이다. 네비게이션이 좀 더 빠른 길을 찾아주고 주변에서 값싸고 유명한 맛집을 찾아 줄지는 모르지만 즐거움과 감성까지 대신해주지는 않는다. 쉽게 찾을 수 있는 정보로 인해 더 소중한 사람을 잃지 않기를 바란다. 모르는 문제가 있을 때에는 지식검색에 묻기보다는 동료에게 먼저 물어보자. 생각하지도 못했던 사람을 얻게 될 수도 있다.

참고자료
1. 페티 메이즈, 미래를 바꿀 "식스 센스", 웨어러블 테크를 시연하다.
http://www.ted.com/talks/pattie_maes_demos_the_sixth_sense.html
2. Sprxmobile
http://www.sprxmobile.com/the-augmented-reality-hype-cycle/
3. 혼합현실닷컴
http://honsil.com/
4. ‘눈 속 컴퓨터’ 시대 온다... 렌즈 컴퓨터, 글래스 컴퓨터
http://pic.joins.com/article/photo/article.asp?Total_ID=3589330
5. 11 Predictions That Back to the Future Part II Got Right
http://www.11points.com/Movies/11_Predictions_That_Back_to_the_Future_Part_II_Got_Right
6. FLARToolkit
http://saqoosha.net/flartoolkit/