Intangible Cultural Heritage of Asia and the Pacific

홀로그램 시스템에서 무형 문화재 ‘승무’ 시연광경 © 문화재청

현실과 가상의 경계: 무형유산과 홀로그램

홀로그램의 태동(胎動)과 역사(歷史)

한국은 현재 4차 산업혁명 붐이 일고 있다. 4차 산업혁명을 통해 문화유산에 접목하려는 시도도 많아지고 있는데 특히 요새 주목 받고 있는 기술이 홀로그램이다. 그런데 이 홀로그램 기술은 최신 기술이 아니라 무려 150년의 역사를 가지고 있다.

홀로그램Hologram은 ‘전체’라는 뜻의 그리스어 holos와 ‘그림’이라는 의미를 지닌 gramma가 합쳐져서 만들어진 신조어다. 즉, 사물의 한면이 아니라 전체 모양을 한꺼번에 보여주는 완전한 그림이란 뜻이다. 19 세기 후반에 등장한 페퍼의 유령(Pepper’s ghost)은 무대 전면에서는 최적의 입체영상이 보이지만 무대 옆이나 뒤로 가면 가짜임이 드러난다.

따라서 간단한 착시현상을 이용한 ‘페퍼의 유령’은 엄밀하게 말해서 ‘완전한 그림’은 아니다. 하지만 관객의 눈으로 볼 때 지금의 관점에서 살펴보자면 이 ‘페페의 유령’은 가장 완성도가 높은 무안경식(無眼鏡式) 3D입체영상의 형태라는 것과 45도 반사판의 원리를 적용하고 있다는 측면에서 슈도 홀로그램Pseudo-Hologram의 원형이라고 하겠다.

이렇듯 인류가 3차원 공간에 영상을 띄우는데 처음 성공한 것은 약 150년 전이다. 영국 발명가 헨리 덕크는 19세기 후반 무대 위에 유령을 떠올리는 놀라운 영상기술을 개발했다. 무대 밑의 어두운 방에서 피사체에 밝은 조명을 집중한다. 물체의 영상은 45도 뒤로 기울어진 거울에 반사되고 다시 무대 위에 비스듬히 설치된 유리판에 투사된다. 관객들의 눈에는 어두운 배경과 투명한 막에 비친 물체의 상이 겹쳐지면서 마치 유령이 실제 공간에 떠있는 것처럼 보인다.

1862년 유럽에서 대유행했던 페퍼의 유령 한 장면

결국 어두운 장소에 설치된 유리판은 마치 거울처럼 빛을 반사한다는 단순한 원리를 이용해 착시현상을 일으킨 것이다. 수년뒤 존 페퍼스는 새로운 광학기술을 이용해 극장에서 귀신공연을 했고 페퍼의 유령이란 이름으로 유럽 극장가에서 큰 화제를 모았다. 어떻게 보자면 헨리 덕크가 고안한 귀신놀이의 패턴은 슈도 홀로그램의 이론적 배경이 되어 오늘날 대형공연, 첨단 디지털 전시 등에서 환상적인 홀로그램을 구현하는 틀을 제공하게 된 것이다.

현재 광학이나 레이저 방식의 홀로그램이 각광을 받지 못하고 있는 상황에서 볼때 귀신놀이 패턴은 산업적 활용이 가능한 형태의 홀로그램 방식을 낳게한 시발점이라고 할 수 있겠다.

이후 20세기에 들어와 착시현상이 아닌 실제 공간에 빛을 쏘아 입체적인 빛의 흐름을 만드는 진짜 홀로그램 기술이 등장하게 된다.

1947년 영국의 물리학자 데니스 가보Dennis Gabor는 물체의 두 가지 빛을 간섭시켜 3차원 공간에 입체 영상을 재현하는 홀로그램의 원리를 최초로 발견했고 훗날 노벨상까지 수상하게 된 큰 발견으로 인정받게 된다.

문화유산에 적용되고 있는 슈도 홀로그램(Pseudo-Hologram)

슈도 홀로그램은 광학 홀로그램 입장에서 본다면 진정한 홀로그램은 아니다. 컴퓨터를 응용한 프로젝터 반사 방식의 홀로그램이다.

영어 해석으로 옮겨본다면 홀로그램과 유사하다는 ‘Hologram like’로 풀이되며, 한자 해석으로 또 옮겨본다면 <의사(擬似) 홀로그램>으로 정의할 수 있는데 여기서 한자(漢字) ‘擬似’의 뜻은 ‘실제(實際)와 비슷하다’로 풀이된다.

이것의 원리는 실제 인물 및 영상을 특수 디스플레이를 활용하여 허공에 투사하는 방법으로, 허공에 투사되는 입체영상으로 특수 빔 프로젝터 혹은 LED를 활용한다. 원리는 앞서 설명한 1862년 유렵에서 시연되었던 페퍼의 유령 원리에서 출발했다.

최근까지 비슷한 개념으로 ‘3D Holographic Projection’으로 불려오기도 했는데, 편의상 홀로그램의 한 범주로 포함시키기 위해 슈도 홀로그램으로 정의를 붙여본 것이다. 이 슈도 홀로그램의 원리를 이용한 대표적인 상업적 적용 사례로는 Musion사의 Eye-liner, Vizoo사의 Free Format, 미국 스프링필드 링컨 박물관의 수증기 방식 홀로그램 전시, Actuality System사의 Perspecta, Activ 3D사의 3D-holobox hologram display, INNOVISION LABS의 HoloAd/ Realfiction의 Dreamoc XL등이 있다.

홀로그램 기술을 활용한 한국의 문화유산 전시사례

홀로그램 영상을 상업목적으로 이용하는 사례는 대형 투명막에 3D 영상을 투사하는 페퍼의 유령 방식이 대부분을 차지한다. 아직 개인이 집에서 즐기기엔 무리지만 유명스타의 공연장, 대기업의 마케팅 행사처럼 기술력과 자본이 모이는 장소에선 대규모 홀로그램 영상이 실제로 활용되기 시작했다.

1) 디지로그(Digilog) 사물놀이

2010년 1월 광화문아트홀에서는 사물놀이와 3D홀로그램 영상을 결합한 공연 ‘죽은 나무 꽃피우기’ 일명 디지로그 사물놀이를 세계 최초로 선보였다. 한국의 전(前) 문화부장관을 엮임한 이어령 교수가 대본을 쓴 이 공연은 실제 연주자가 홀로그램 속의 인물과 협연하는 새로운 스타일의 예술형식으로 커다란 관심을 끌었다. 사물놀이 명인 김덕수가 홀로그램 입체 영상 속의 김덕수와 협연하고, 전통무용 안무가 국수호와 안숙선 명창의 가무악(歌舞樂)이 서로 어울린다.

전통문화와 첨단기술이 결합한 새로운 형식의 공연인 ‘디지로그 사물놀이’는 춘하추동과 비·구름·천둥·바람 등 자연의 전통적 흐름을 상징하는 사물놀이에 3차원 입체 영상 기술을 접목시킨다는 발상 때문에, 공연에도 디지털digital과 아날로그analog의 합성어인 ‘디지로그digilog’를 붙였다.

이 공연의 홀로그램 스토리텔링은 이러하다. 막이 열리면 산업화를 상징하는 죽은 나무와 사막이 나온다. 이후 징·장구·꽹과리·북이 어우러지는 사물놀이를 통해 나무에 다시 생명을 불어넣고 김덕수의 사물놀이, 국수호의 춤, 안숙선의 소리등이 환상적인 홀로그램 영상과 만나 관객들의 감동을 배가 시켰다.

사물놀이의 리듬이 공연장을 뒤흔드는 가운데 무대 위의 죽은 나무에서 갑자기 꽃이 개화하거나 3∼4명의 가상 김덕수가 다른 악기로 연주를 하는등 초현실적인 장면을 보여준다.

이렇듯 디지로그 사물놀이에서 무대 위를 꽉 채운 입체영상에 시청각적 충격을 느낀 관객들의 열띤 반응은 그대로 언론의 폭발적인 관심으로 이어져 우리 사회에 홀로그램 신드롬을 낳았다. 사실 이 한편의 공연으로 그간에 별로 주목받지 못했던 전 ‘홀로그램’이 일약 전 국민의 관심으로 떠오른 계기가 된 것이다.

디지로그 사물놀이의 첫 번째 기술적인 특징은 사물악기 소리의 강도, 연주자들의 움직임에 반응하는 센서 기술을 활용하여 연주자들의 공연 형태와 관객의 반응에 따라 실시간으로 변화하는게 핵심이었다.

예를들어 악기 소리가 커질수록 무대 위에 죽은 채로 있던 나무에 잎이 돋아나고 꽃잎이 흩날리게 된다. 연주자들의 움직임이 격해지면 나비들이 하늘로 날아올라 무대를 가득 메운다.

이렇듯 미리 제작된 영상에 맞춰 퍼포먼스가 구성되는 것이 아니라 실시간으로 디지털 기술과 아날로그 공연 장단이 인터렉티브한 상호작용을 수행하게 되면서 관객들의 반응에 따라서도 3D 이미지가 변화한다. 예를들어 3D 영화나 방송의 경우 이미 단선적(單線的)인 시나리오에 의거한 영상물을 보여주지만, 관객이 참여할 수 있는 여지는 두지 않는다.

그렇기 때문에 디지로그 사물놀이가 4D를 표방했던 가장 큰 이유는 바로 인간의 신체접촉성을 통해 디지털 기술과 상상력이 한 공간에서 서로 반응할 뿐만 아니라 관객과 연주자 그리고 3D영상이 상호 인터랙티브한 소통의 장을 만들었다는 점이다.

이 기술을 아주 구체적으로 말하자면 홀로그램 영상과 무대 위 연주자가 시간을 뛰어넘는 앙상블을 이루어 “사운드센싱Sound Sensing”이나
“제스처센싱Gesture Sensing” 기술에 의해 악기소리와 연주자의 움직임에 반응하여 그래픽 영상이 실시간으로 변화하도록 연출하였다는 것이다.

이것은 가상과 현실의 경계가 무너지고 예술과 기술이 융합된 새로운 디지로그 공간을 창조했다고 볼 수 있다.

두 번째 기술적인 측면은 아바타Avata와 같은 입체영화를 상영하는 3D입체 영화 전용관에서처럼 안경을 착용하지 않고도 3D입체영상의 효과를 자아냈다는 점이다. 이는 3D입체영화와 그 구현방식만이 다를 뿐, 입체영상의 기술적 원리는 거의 동일하다고 볼 수 있다.

결과적으로 디지로그 사물놀이는 현실 속의 연주자와 가상 홀로그램이 어우러진 이 공연은 3D의 정점으로 불리는 홀로그램이 향후 전통문화유산 공연문화를 변혁시킬수 있을 새로운 트렌드를 생생하게 보여 줬다는데 큰 의미가 있다.

2) 백범 김구 인공지능 홀로그램 콘텐츠

디지로그 사물놀이가 무형문화유산과 홀로그램 기술이 결합되었다면 최근에 제작된 ‘백범 김구 홀로그램’은 근현대 역사인물을 홀로그램 기술과 접목시킨 사례다.

우리나라 현대사의 큰 족적을 남긴 백범 김구의 홀로그램이 제작되었다. 이것은 백범 김구 인물에 대한 철저한 고증과 모션 캡처, 홀로그램 등 최신 과학기술의 도움을 받아 역사 속 인물을 현실에 소환하는 것이었다.

2019년 대한민국에서 열렸던 ‘백범 김구 토크 콘서트’는 인터렉션 홀로그램을 통해 백범 김구 선생이 직접 말하고 움직이는 등 관객과 소통하는 역사 토크 콘서트의 행태로 진행되어 관객들의 큰 호응을 이끌어 내었다.

백범 김구 홀로그램 콘텐츠를 위해서 매우 다양한 기술이 적용되었다. 홀로그램 디스플레이 기술, 페이셜 캡처, 모션 캡처 등의 기술을 실시간 홀로그램과 연동하는 솔루션을 통해 대역배우의 행동과 얼굴 표정 등이 백범 김구의 3D 캐릭터로 구현 되기도 하였다.

이것은 관객과의 실시간 소통도 가능해, 관람객들이 실시간으로 질문을 할 경우 디지털 액터Digital Actor 형태의 인공지능 김구와 실제 대화하는 듯한 느낌을 받을 수 있게 전개시켰다.

김구 홀로그램의 경우는 홀로그램 기술 하나만 쓰인게 아닌게 4차 산업혁명 기술의 총아인 인공지능과 접목되어 홀로그램 기술의 가능성을 한 차원 높게 상승시켰다는데 큰 의미가 있다.

향후 홀로그램 문화유산 활용전망

무형유산을 홀로그램과 접목한 첫 사례인 디지로그 사물놀이라는 홀로그램 이후, 문화유산의 홀로그램 가능성에 주목하기 시작했고 홀로그램 기술을 이용한 다양한 문화유산 공연과 전시가 쏟아져 나왔다.

앞으로 홀로그램 기술이 본격적으로 박물관 전시 형태로 적용될 것으로 짐작된다. 이렇듯 홀로그램 기술은 아직까지 한계가 많이 상존하지만 점차 기술 혁신을 이루어나간다면 홀로그램 기술 혁명은 실제 현실세계와 가상세계를 구분하지 못할 정도로 발전해 나갈 것으로 보인다.

홀로그램 기술을 응용한 문화산업 활용 분야는 앞서 설명한 무형문화유산을 소재로한 공연분야 외에도 문화유산 전시분야에서도 활용의 폭이 매우 크다.

이는 홀로그램의 2차원적인 속성, 색과 형태가 시시각각 변하면서 허공에 떠있는 3차원적인 특징, 관객의 참여도에 따라 인터렉티브한 4차원의 세계까지 다각도로 보여줄 수 있기 때문이다. 이런 이유 때문에 이 홀로그램 기술은 앞으로도 무형유산 혹은 유형유산을 기반으로한 디지털 박물관 분야에도 큰 두각을 나타낼 것으로 보인다.

이와같이 홀로그램은 전시와 같은 환경을 조성할 수 있으므로 박물관에 있어서 디지털 전시로서의 활용성이 매우 높다. 박물관 전시의 가장 큰 문제인 한정된 오프라인 공간에 실제 유물을 일일이 디스플레이 해 놓을 수 없는 입장에서 보면 홀로그램 데이터로 전환된 가상유물은 전시 뿐만아니라 보관까지도 공간의 제약을 받지 않기 때문이다.

그밖에도 문화재의 홀로그램화 및 대용전시 가능성 때문에 외국과의 자유자제로 무형유산 교류도 용이하며, 세계 문화유산 비교전시 및 연구, 지역 박물관의 지역성 유지, 원형이 이미 훼손된 문화유산을 홀로그램으로 복원할 수 있는 등 여러 장점이 있다.