메뉴

ARTICLE

전설의 거장이 살아 돌아온다면? 기술로 다시 만나는 예술가들

2020-12-31

첨부파일

 


AI로 다시 만나는 거북이의 터틀맨? 

‘만약 세상을 떠나간 예술가들이 우리 곁으로 다시 찾아온다면?’ 지난 12월 9일 Mnet 특집 프로그램 이 첫 방송 이후 큰 화제가 되었다. 실시간 검색어 순위 장악은 물론이고 관련 기사와 대중의 열렬한 후기가 쏟아졌다. 프로그램에 등장한 그룹 거북이의 전체 음원 평균 스트리밍은 방송 전주보다 무려 169%나 증가하기도 했다.


2001년 리메이크 곡 ‘사계’로 데뷔한 그룹 ‘거북이’는 발매하는 앨범마다 큰 사랑을 받았고 2006년에는 ‘비행기’로 첫 1위까지 거머쥐며 전 국민적인 인기를 누렸다. 하지만 2008년 4월 그룹 거북이의 리더 터틀맨이 심근경색으로 갑작스레 사망했고 그룹 거북이는 해체 수순을 밟았다. 그리고 어느덧 12년이 지난 지금, 여전히 그의 목소리와 무대를 그리워하는 많은 이들을 위해 Mnet은 ‘AI 음성 복원 기술’과 ‘ 페이스 에디팅 기술‘을 활용해 터틀맨을 복원했고 은 이 100일간의 여정을 고스란히 담아냈다.


인공지능(AI) 음성 복원 기술은 특정 목소리를 학습하고 분석한 뒤 동일한 특정 목소리로 새로운 노래를 부르게 하는 기술이다. 복원 과정은 생각보다 단순하다. 우선 특정 가수의 목소리를 분석한다. 이후 분석한 목소리를 데이터로 변환해 AI를 훈련시킨다. 마지막으로 AI의 특정 규칙으로 추출한 목소리를 새로운 반주 음악(MR)에 추가한다. 그렇다면 페이스 에디팅 기술은 어떻게 이뤄질까? 이는 사진과 영상 속 특정 인물의 얼굴을 다른 사람의 얼굴로 합성하는 기술이다. 기존의 자료들을 통해 AI에게 특정 인물의 얼굴을 학습 시키고, 훈련을 통해 보유한 데이터를 바탕으로 AI는 후보정 작업을 거쳐 인물의 모든 요소를 복원한다. 그리고 복원한 아티스트의 모습은 홀로그램을 통해 선보이게 된다. 


▲ <AI 음악 프로젝트 다시 한번> 중 홀로그램 터틀맨 등장 장면. 출처(https://youtu.be/Jm0s0CEEd3Q)



예술의 친한 친구, 홀로그램? 


그러나 고인이 된 전설의 예술가를 복원한 것은 이번이 처음은 아니다. 특히 ‘홀로그램’ 기술은 이미 2012년부터 예술의 매개체로서 대중들에게 확실한 눈도장을 찍었다. 미국의 코첼라 뮤직 페스티벌에서 전설의 가수 투팍의 홀로그램 무대가 공개돼 큰 화제를 일으켰기 때문이다. 그렇다면 ‘홀로그램’은 정확히 어떻게 구현되는 기술일까? 홀로그램은 모든 각도에서 볼 수 있도록 고안된 3차원 물체를 만들어내는 빛과 물질의 교차점이다. 오늘날의 홀로그램은 화면 위에 투영된 디지털 창작물이며 이는 비디오와 더 유사하다고 볼 수 있다. 때문에 홀로그램은 AI로 복원한 예술가들의 모습에 입체감을 더하고 화면에 이를 송출해 현실성을 부각한다. 



홀로그램을 통해 만나는 마리아 칼라스 


마이클 잭슨, 휘트니 휴스턴, 투팍 등 유명 대중가수들의 홀로그램 콘서트의 선례는 다양하지만 성악가로는 마리아 칼라스가 최초다. 마리아 칼라스(Maria Callas)는 특색 있는 목소리와 격렬하고 열정적인 연기를 선보인 20세기 오페라 스타다. 그리고 그를 복원해 진행한 콘서트가 바로 ‘칼라스 인 콘서트(Callas in Concert)’이다. 이 공연은 미국 로스앤젤레스에 위치한 ‘베이스 홀로그램(Base Hologram)’회사가 제작했고 베테랑 오페라 감독인 스테픈 워즈워스(Stephen Wadsworth)가 연출했다. 또한 지난 2020년 아카데미 시상식에서 최초의 여성 지휘자로 활약한 이미어 눈(Eímear Noone)이 총괄 지휘를 맡기도 했다.


‘칼라스 인 콘서트’는 2018년부터 2019년 12월까지 약 26개의 도시에서 진행됐다. 칼라스는 90분간 진행되는 공연에서 푸치니의 <토스카>, 베르디의 <라트라비아타>, <맥베스>, 그리고 비제의 <카르멘>등의 아리아를 불렀다. 또한 오케스트라 연주와 칼라스의 노래가 맞지 않는 순간에는 홀로그램 속 칼라스가 손짓을 하여 오케스트라를 잠시 멈추게 하기도 했다. 즉, 단순한 화면 속 인물이 아닌 실제 무대 위에 존재하는 하나의 ‘소프라노’와 같은 모습을 여러 번 보여준 것이다.


하지만 아쉬운 점도 존재했다. 기존에 녹음된 칼라스의 노래에서 오케스트라 반주를 제거한 후,  공연에서 새롭게 연주하는 라이브 오케스트라로 대체하는 것이 ‘칼라스 인 콘서트’의 오디오 연출 방법이었다. 때문에 소프라노에게 가장 중요한 ‘목소리’가 홀로그램으로 구현된 칼라스의 몸에서 나오는 것처럼 들리지 않았다는 것이 보완해야 할 요소로 꼽혔다. 


▲ 2018년 프랑스 리옹 <칼라스 인 콘서트>무대. 출처(https://youtu.be/WZEKBuzp1BU)



전설의 피아니스트 글렌 굴드의 콘서트? 


홀로그램 제작사 ‘아이일루션(Eyeillusion)’과 ‘프라이머리 웨이브 뮤직 퍼블리슁(Primary Wave Music Publishing)’이 혁신적인 음악가 글렌 굴드(Glenn Gould)의 홀로그램 공연을 진행한다고 밝혔다. 1982년 세상을 떠난 굴드는 현대사에서 가장 잘 알려진 클래식 피아니스트 중 한 명으로서 J.S 바흐, 브람스, 베토벤 등의 음악에 대한 탁월한 해석자로도 이름을 알렸다. 프라이머리 웨이브 뮤직은 굴드의 홀로그램 프로젝트를 2017년부터 준비해 왔다. 그의 마스터 녹음, 모든 시청각 작품, 그리고 이름에 대한 권리를 획득하며 수집한 자료를 토대로 오랜 기간 그의 연주 및 무대 위의 모습을 복원하고자 노력했다. 이들은 2019년 말 정확한 투어 날짜와 공연 진행 방식을 공지하겠다고 밝혔지만 이후 코로나19로 인해 악화된 상황으로 콘서트에 관한 구체적인 정보와 일정은 아직 발표하지 않고 있다. 관련 정보는 다음 링크(bit.ly/38ShvM2)를 통해 확인할 수 있다.



미술도 예외는 아니다! 기술로 만나는 전설의 화가 


기술은 음악 분야의 전설들뿐만 아니라 미술 분야 거장들의 모습 또한 재창조하는데 성공했다. 미국 플로리다주 세인트피터스버그에 위치한 달리 미술관이 초현실주의 거장이라고 불리는 살바도르 달리(Salvador Dali)의 모습을 재현해 눈길을 끌었다. 이 미술관은 홍보를 위해 ‘달리 라이브(Dali Live)’라는 비디오 작업을 설치했는데, 이 비디오에 등장해 대화를 이어 나가는 달리는 ‘딥페이크’ 기술을 이용해 제작한 화면이다. 현재 딥페이크는 범죄 동영상 제작에 사용이 되는 등 이용 목적과 관련해 논란의 중심에 서 있는 기술이다. 딥페이크는 ‘얼굴 바꾸기’ 기술이 업그레이드된 프로그램으로 실제 얼굴 외에도 목소리와 행동까지 모두 합성이 가능하다. 즉, 현실에서는 하지 않았을 행동과 말들을 모두 간단한 프로그래밍을 통해 조작할 수 있다는 것이다.


하지만 달리 박물관은 이 기술을 조금 더 친근하고 가벼운 목적으로 활용했다. 미술관을 방문하는 관람객들은 30년 전에 사망한 달리를 만난다. 달리는 그들을 반갑게 맞이하고 몇 개의 짧은 대화를 통해 상호작용하며 친밀감을 쌓는다. 대화의 중간중간에는 달리가 생전 말했던 인용구로 대화를 이어나가기도 한다. 대화가 끝나면 화면 속 달리는 뒤를 돌아 핸드폰을 꺼내 화면 앞에 서 있는 관람객들과 단체 사진을 찍는다. 홍보의 일환으로 기획한 ‘달리 라이브’가 미술관에 불어 넣는 또 다른 영향력은 ‘감정’이라고 달리 미술관 관장은 말한다. 화면 속 달리는 방문객들의 개인적인 감정을 자극해 공감을 불러내고 이는 그의 작품을 더 열정적으로 이해하고 관람하도록 만드는데 기여한다는 것이다. 예술에 기술적 요소를 추가해 문화생활의 또 다른 연장선을 구축한 셈이다. 


▲ 달리 미술관의 '달리 라이브' 속 영상 일부. 출처(https://youtu.be/mPtcU9VmIIE)


글/아트앤테크 플랫폼 운영진

목록