우리는 인터넷 상의 지식 정보가 저절로 만들어지는 것이 아니라는 사실을 상기할 필요가 있다. 누군가가 지식의 작은 조각을
만들어내고, 다른 누군가가 뜻을 통하게 하는 연결 고리를 만들고, 또 다른 누군가가 그 자원에 대한 사람들의 접근을 용이하게 하는
노력을 기울인 결과이다. 그런데 그러한 일련의 일들이 체계 없이 무질서하게 엮어지는 것과 일정한 목표와 방법을 가지고 수행되는
것 사이에는 결과 면에서 큰 차이가 있다. 보다 유용하고, 신뢰할 수 있고, 더욱 많은 사람들의 관심을 모으고 도움을 줄 수
있는 지식 정보의 생산을 위해서는 전략과 기술의 개발, 그리고 그것을 운용할 수 있는 전문 인력의 육성이 필요하다.
인문정보학은 인문지식의 정보화에 관련된 다양한 문제들을 탐구 주제로 삼는다. 정보 처리 기술 수준으로 이야기하자면, 가장 낮은
단계의 데이터 입출력 문제에서부터 정보과학의 궁극적 목표라고 할 수 있는 인공지능의 구현에 이르기까지, 거기에 인문 지식이
결부되는 과제들은 모두 인문정보학의 과제일 수 있다. 그 가운데 실용적인 측면에서 문화콘텐츠의 제작과 직결된 것을 우선적으로
꼽는다면 인문학적 지식을 디지털 미디어에 탑재하여 사이버 공간에서 유통될 수 있도록 하는 디지털 텍스트 편찬 기술, 그리고 ‘읽고
이해하는’ 대상이었던 인문지식 콘텐츠를 ‘보고 느끼는’ 감성적 체험의 대상으로 전환하는 인문지식의 시각화 기술을 들 수 있을
것이다.
2) 시각적 인문학
시각적 인문학(Visual Humanities)이란 인문지식을 시각적인 형태로 전환하여 그 활용성을 높이려는 시도이다.
시각적 인문학의 한 분야는 인문학 지식으로 의미를 갖는 데이터의 관계망이나 통계적 수치를 그래프 형태로 시각화하는 것이다. ‘족보(族譜)’의 내용을 정보화하는 것을 예로 들어 보자.
족보(族譜)에는 한 집안의 여러 세대에 걸친 가계가 기록되어 있다. 그런데, 그 내용은 문자로만 기술되어 있는 것이 아니다. 일반적인 하나의 형식을 예로 들면, 한 장의 지면을 5~7 개의 단으로 나누고 각 단에 한 계대의 자손을 기록함으로써 여려 대의 가승(家乘)을 한 눈에 볼 수 있도록 되어 있다. 이것은 종이라고 하는 매체만을 사용할 수 있던 시절, 우리의 조상들이 만들어낸 가장 우수한 지식의 시각화 기술 가운데 하나이다.
디지털 기술로 지면의 한계를 벗어날 수 있는 우리는 새로운 방법으로 전자 족보를 만들 수 있게 되었다. 전자 족보가 전통적인 족보의 형식을 그대로 유지한다면, 그것은 족보라는 책을 디지털 매체에 옮겨 놓는 것에 불과하다. 우리가 하고자 것은 그 책에 담겨 있는 사실(fact)을 전자적인 방법으로 재현하는 것이다. 디지털 족보의 가상 지면 상에서는 가계도를 새로운 모양으로 보여 줄 수 있을 뿐 아니라, 대수를 제한할 필요가 없이 수백 년 간의 가계도를 하나의 그래프로 그려낼 수도 있다.
[그림 3] 전통적인 족보의 계대 정보 / 팬 차트 형태로 시각화 한 계대 정보
여러 집안 족보를 표준화된 형식의 데이터베이스에 수록하면 그것은 훨씬 더 의미있는 지식 콘텐츠로 재탄생하게 된다. 문중간의 혼맥(婚脈)을 찾아내고 그 관계를 데이터망의 시각화 기술을 통해 그래프로 표현할 수 있다. 조선왕조실록이나 조선시대의 과거 급제자 명부인 문무과방목에서 추출한 인명 데이터를 여러 문중의 족보 DB와 연계하여 동일인을 찾고 그 관계성 데이터를 시각화하면 조선시대의 정치적 엘리트들의 혈연 지도를 만들어내는 것도 가능할 것이다.
SNS(Social Network Service)의 확산과 더불어 그 네크워크의 양태를 분석하고자 하는 수요가 일어나면서 데이터망 시각화 기술의 이용은 예전보다 훨씬 용이해졌다. 중요한 것은 그 기술과 접목했을 때 의미있는 지식 콘텐츠로 재탄생할 수 있는 인문지식 데이터를 생산하는 일이다.
[그림 4] 영·정조 5개 가문의 가계와 혼인 관계망
보다 넓은 의미의 시각적 인문학은 인문지식을 전달하는 텍스트가 문자에만 국한되지 않고, 시각적인 미디어를 통해 표현될 수 있도록 하는 것이다.
인문지식은 수천 년 동안 ‘글’이라는 이름의 문자 중심 텍스트의 형식으로 기록되고 전승되어 왔다. 그 영향으로 인문지식은 곧 글, 그리고 그 글을 담은 종이 책으로 대변된다. 하지만 오늘날의 독자들이 흡수하는 지식의 텍스트는 반드시 전통적인 책이나 글의 형식을 따르는 것이 아님이 분명하다. TV를 통해 방영되는 다큐멘터리라고 하는 장르의 영상물은 이미 여러 가지 척도에서 책을 능가하는 영향력을 발휘하고 있다. 그리고 인터넷과 같은 정보통신 네트워크가 가장 영향력 있는 지식 유통의 무대가 되면서, 책 속의 글과는 다른 모습의 텍스트가 요구되기 시작했다.
디지털 정보 시대의 인문지식 수요를 겨냥한 시각적 인문학은 전통적인 문자 텍스트와 뉴미디어 상의 시각적 자료가 적정한 문맥으로 엮여져서 감성적인 멀티미디어 텍스트로 재탄생하는 것을 목표로 한다.
한 마을의 자연 환경, 역사적인 유래와 유적, 그곳 주민들의 생업과 문화적인 이벤트, 특산물 등을 종합적으로 조사하여 기록한 학술 보고서를 예로 들어보자. 참고 도판 몇 장이 들어 있을 뿐, 대부분의 텍스트가 문자로만 기술되어 있는 상태에서는 학계의 전문가들에게나 유용한 딱딱하고 지루한 자료로 여겨질 것이다. 하지만 거기에서 이야기되는 모든 사실과 인물들이 마을이라는 공간과 그 마을이 지내온 시간의 어느 위치에 놓여 있는 것인지 시각적으로 확인할 수 있게 하고, 그것이 묘사하는 환경과 현장의 모습을 생생하게 눈으로 보는 장치를 마련하면, 이 딱딱한 학술 보고서는 그 자체로 즐기면서 배우는 문화콘텐츠의 기능을 발휘할 수 있게 된다.
조선시대 왕궁의 건축과 조경, 왕실의 혼인 등 갖가지 의례, 궁중에서 벌이는 다양한 연희와 놀이, 왕자와 공주에 대한 교육...... 건축학, 역사학 예술학, 교육학 등 분과학문 분야에서 제각기 따로따로 이러한 문제를 탐구하지만 그것은 ‘궁중’이라는 일정한 범위의 공간 내에서 밀접하게 연관되어 존재했던 것이다. 조선시대 궁중을 3차원 입체 영상으로 재현하여 조선왕실에 관한 다양한 지식을 수용하는 무대로 만들고, 그 안에서 독자들이 알고자 하는 문제의 해답을 찾을 수 있게 하고, 자연스럽게 좀 더 깊은 지식에 대한 호기심을 일으킬 수 있게 한다면, 전통시대의 역사 문화에 대한 학습은 힘들고 따분한 일이 아니라 게임을 즐기듯 흥미진진하게 몰입할 수 있는 일이 될 수도 있다.
산과 언덕, 강과 호수와 같은 자연 지형이나 전각, 누정, 불탑과 같은 건축물을 디지털 공간에 3차원 형상으로 재현하는 기술은 이미 상당한 수준으로 발전해 있다. 이른바 가상현실(Virtual Reality)이라고 하는 기술 분야의 연구 개발 성과에 의한 것이다.
자연 지형을 실물에 가까운 형태로 가상화 하는 기술은 지리 정보 시스템(GIS, Geographic Information Systems) 연구를 통해 발전하고 있다. 인공위성에서 조밀하게 측정한 지표면의 고도 데이터를 입체적인 지형 그물망(Terrain Mesh)으로 형상화하고, 그곳에 위성 사진이나 항공 사진을 통해 얻어진 이미지를 입혀서 자연의 실제 모습을 닮은 3차원 영상 지도로 만드는 것이다. 지형 그물망 데이터는 군사적인 목적으로 쓰일 정도의 정밀한 것 외에는 많은 부분이 누구나 활용할 수 있도록 개방되어 있다.
[그림 5] 지형 그물망
건물과 같은 인공축조물의 가상화는 레이저 스캐너(Laser Scanner)를 통해 대상물 표면의 요철(凹凸)을 측정하고, 그 각각의 화소에 광학적 카메라로 포착한 색상을 입히는 방법으로 구현한다. 건축 문화재를 관리하는 분야에서는 보수를 위해 해체 복원 작업을 할 때나, 화재등의 사고로 실물을 잃었을 때 원형에 가깝게 재현할 수 있도록 이 기술을 사용하지만, 여기에서 생산된 데이터는 그 문화재의 역사성과 문화적 의미를 탐구하는 목적으로도 요긴하게 활용될 수 있다.
[그림 6] 숭례문 3D모델
사물의 움직임을 가상 세계에 옮겨 놓은 작업은 모션 캡쳐(Motion Capture, Motion Tracking) 기술을 활용한다. 게임이나 애니메이션 제작 등에 주로 쓰이던 것인데 최근에는 인문․예술 분야의 연구나 지식 콘텐츠 제작 목적으로도 활용되고 있다. 신체의 움직임을 전자적인 신호로 전환하고, 그 데이터에 따라 컴퓨터 프로그램 상에서 아바타가 움직이게 하는 이 기술을 통해 전통 무용의 춤사위, 무예의 몸놀림, 한방 체조의 몸동작 등을 정밀하게 재현할 수 있다.
[그림 7] 모션 캡쳐링을 이용한 움직임의 디지털화
자연지형이나 인공축조물의 3D 모델링은 현실과 닮은 3차원 공간을 느낄 수 있게 하기 때문에 가상현실 시스템에서 중추적인 역할을 담당한다. 모션 캡쳐링도 정적(靜的)이었던 가상세계에 생동감을 주는 기술로 주목받고 있다. 그러나 그것들은 실물의 형상을 수치화하고, 그 수치 값을 영상 신호로 환원하는 것이기 때문에 실물의 본래의 아름다움을 감동적으로 재현하는 것까지 기대하기는 어렵다. 대상을 눈으로 보면서 느끼는 감성을 가장 잘 전달할 수 있는 매체는 렌즈를 통해 포착된 이미지 - 사진(Photography)이다.
과거에 필름이 하던 역할을 디지털 촬상소자(撮象素子)가 대신하게 되면서, 카메라는 셔터를 누르는 순간 디지털 데이터를 생산하는 장비가 되었다. 요즈음은 거기에 갖가지 자동화 기능이 더해져서 누구나 쉽게 사진을 찍을 수 있다.
인문지식의 시각화 자료 가운데에는 카메라로 찍은 스틸 이미지의 비중이 가장 높다고 할 수 있다. 제작이 용이할 뿐 아니라 의미있는 대상을 명시적으로 포착하는 장점이 있기 때문이다. 그렇지만 고품질 지식 콘텐츠로 쓰일만한 사진을 제작하는 것은 여전히 쉬운 일이 아니다. 현장에서 활동하는 인문 지식 콘텐츠 제작자들은 전통적인 사진학의 성과를 보다 진지하게 이해하고 수용할 필요가 있다. 아날로그 필름 시절부터 사진학에서 다루어 오던 렌즈의 미학은 상당 부분 디지털 콘텐츠의 시대에도 여전히 유효하기 때문이다.
한 지점에서 여러 방향으로 사진을 촬영하고, 그것을 컴퓨터 프로그램으로 합성하여 얻어낸 넓은 화각의 스틸 이미지를 파노라마 사진(Panoramic Image)이라고 한다. 화각을 상하 사방 360°까지 넓히게 되면 광학적인 3D 영상이 만들어진다. 누정(樓亭)과 그곳에서 바라보이는 산과 강, 사찰이나 서원, 향교의 건물 배치, 전각 내부의 4면의 모습 등 시선을 어느 한 곳에만 고정하고서는 알 수 없는 것들을 이 360° 전방위 영상은 생생하게 전달해 줄 수 있다.
[그림 8] 누정 안에서 촬영한 360° 파노라마 이미지
유․무인 항공기를 이용하여 50~300m 고공에서 파노라마 이미지를 만드는 것을 항공 파노라마(Aerial Panoramic Photo)라고 한다. 하늘에서 내려다보는 방법으로 한 마을이나 지리적 환경과 취락 구조를 한 눈에 알 게 할 수 있다. 일정한 경로를 따라 이동하면서 360° 주변을 돌아볼 수 있게 하는 동영상 VR도 파노라마 사진 촬영을 기반으로 하는 응용 기술이다. 하천을 거슬러 올라가면서 주변의 환경을 살피는 생태 탐사, 재개발 이전 산동네의 좁은 골목길을 걸어보는 체험 프로그램의 구현 등에 응용된다.
이와 같이 다양한 가상화 기술을 통해 어떤 대상을 감성적으로 체험할 수 있게 하는 기술을 ‘멀티미디어’(multimedia)라는 이름으로 부르기도 한다. 과거에는 문자, 음향, 영상 등을 별도의 매체에 저장할 수밖에 없었는데, 오늘날의 기술은 그것을 한꺼번에 담아낼 수 있게 되었기 때문에 얻게 된 이름이다. 하지만 각각의 가상화 기술은 대상의 특정한 일면을 포착하고 재현한다는 점에서 여전히 ‘모노미디어’(monomedia)에 머물고 있다고도 할 수 있다. 진정한 멀티미디어는 다양한 모노미디어를 의미있게 조합하여, 종합적인 세계를 형상화하고 그 속에서 전개되는 이야기를 전달할 수 있어야 한다.
디지털 환경에서 문자 텍스트와 함께 다른 미디어의 콘텐츠를 종합적으로 엮어내는 것을 하이퍼미디어(hypermedia)라고 한다. 의미의 연결고리를 좇아 무수한 텍스트 조각들이 자유롭게 연결되어 새로운 이야기를 만드는 것을 하이퍼텍스트(hypertext)라고 하는데, 하이퍼미디어는 그 연결이 종래의 문자 텍스트에 한정되지 않고 오감으로 체험하는 멀티미디어 콘텐츠로까지 확장되는 것을 의미한다.
인문정보학이 추구하는 시각적 인문학은 다양한 멀티미디어 기술이 물리적인 형상의 가상화에 머물지 않고, 인문학적 연구가 찾아낸 무형의 지식이 그 안에 어우러질 수 있도록 하는 것이다. 이 목적을 이루기 위한 하이퍼미디어는 개별적인 모노미디어들을 의미있는 문맥(context)으로 엮어내는 ‘조합의 기술’이다.
유서 깊은 역사성과 아름다운 건축미를 지닌 옛집을 디지털 세계에 재현하는 일을 생각해 보자. 그 건물은 아무데나 자리한 것이 아니라 산세와 물줄기, 풍광을 모두 고려하여 선택된 곳에 지어졌을 것이다. 자연 형상을 입체적으로 볼 수 있게 하는 3D 전자지도는 그 터의 풍수지리적 입지를 보여 줄 것이다. 안채와 사랑채 등 분별과 소통의 문화를 담고 있는 건물의 구조와 외관은 360° 파노라마 사진으로, 부엌과 곳간에 남아 있는 옛 기물은 클로즈업 스틸 사진으로 묘사할 수 있을 것이다. 가까운 연못가의 정자에서 연주되었을 거문고 연주는 동영상으로, 마당에서 벌어진 남사당의 기예는 모션 트래킹에 의한 시뮬레이션으로 재현하여 그 흥취를 되살려 볼 수 있다. 그리고 건물 곳곳에 붙어 있는 현판(懸板)과 주련(柱聯)의 글씨와 해석, 그곳의 주인이었던 사람들의 이력과 업적, 그들이 남긴 서간(書簡)과 일기(日記) 등을 유관한 시각적 장면과 연결된 하이퍼텍스트로 제공할 수 있다.
전자지도나 파노라마 영상, 동영상 등이 단순히 텍스트의 의미 전달을 도와주는 삽도(illustration)로서만 기능하는 것이 아니라, 보다 능동적으로 문맥을 만들고 텍스트의 흐름을 이끌어 가게 하기 위해서는 그것이 다른 미디어의 콘텐츠를 매개해 주는 문맥 구현자(Context Builder)의 역할을 할 수 있어야 한다. 모노미디어와 그 사이의 연결고리를 디지털 텍스트로 기술하거나 표준화된 형식의 메타데이터(metadata)로 제작하는 방법, 그 정보를 체계적으로 편성하고 유지하기 위한 데이터베이스(database)의 구축, 멀티미디어 데이터를 시각화하는 인터페이스 규약을 디지털 텍스트 상에 적정하게 활용하는 방법 등이 ‘조합의 기술’을 지향하는 하이퍼미디어의 세부 과제이다. 그렇게 함으로써 단편적인 하나 하나의 미디어는 이야기(storytelling)로 엮이게 되고, 그 눈으로 보는 이야기를 통해 생동감 있는 지식의 전달이 가능해질 수 있다.
하이퍼미디어의 구현을 위해서는 위에서 언급한 기술을 이해하고 그것의 운용 능력을 얻는 것이 필요하지만, 가장 중요한 과제는 그 기술을 가지고 전달하고자 하는 원천 지식에 대한 심도있는 이해이다. 그 토대 위에서만 무엇을 어떠한 형태로 시각화할지, 그리고 그것을 어떠한 문맥으로 조합할지를 정하는 판단력을 얻을 수 있기 때문이다.
본 내용은 한국학중앙연구원 인문정보학 김현 교수의 "인문정보학"의 일부를 발췌한 내용입니다.
