메뉴

ARCHIVE

[예술과기술융합지원 선정작 리뷰] 기계와 인간이 교차하며 수행하는 창작 루핑 - 오픈스페이스 블록스 <아트 매치-매시업>

2021-12-31

첨부파일

전혜인 독립 큐레이터  



창작 알고리즘: 생성과 식별의 루핑


딥러닝 기술의 도약에 따라 예술의 영역에서 인공지능의 창작은 계속 논의되어 온 주제이다. 인공지능의 창작활동은 이미 다양한 형태로 시도해 왔으며, 이는 데이터와 학습 방식과 알고리즘(Algorithm)에 따라 여러 결과물을 생성해내며 예술의 영역을 확장하고 있다. 이러한 시류 속에서 오픈스페이스 블록스의 《아트 매치-매시업 (Art match-mashups) – 예술을 배운 기계, 인공지능을 만난 예술의 융합》은 인공지능 창작이 갖는 여러 논의의 연장선에서 이미지를 기반으로 한 융합적 창작 모델의 가능성을 시현한다.


▲ <아트 매치-매시업>, 사진(한국문화예술위원회)


《아트 매치-매시업》은 시각예술을 중심으로 작가와 인공지능 기술이 창작 과정에서 단계적으로 비교 검토하며 새로운 창작 방식을 제안한 프로젝트이다. “매시업(mashup)”은 각종 콘텐츠와 서비스가 유기적으로 결합하여 새로운 것을 만들어내는 것을 의미한다. 전시를 기획한 오픈스페이스 블록스는 작품의 창작 과정에서 작가의 생각과 인공지능 기술이 교차하며 해당 정보와 창작의 요소들을 교환, 혼합, 응용하여 새로운 유형의 창작물을 개발하고, 이를 통해 인공지능과 작가의 예술적 완성도를 비교, 진단해 보는 것에 본 프로젝트의 목적이 있다고 말한다. 


▲ <아트 매치-매시업>, 사진(한국문화예술위원회)


이번 전시에서는 인공지능이 작가 고유의 창작 기법과 텍스트로 된 작품의 내러티브(narrative)를 학습하여 이미지를 생성하고, 이 이미지를 토대로 작가들이 신작을 어떻게 도출, 제작해내는지 그 “창작 과정”에 주목한다. 전시에 참여한 김창겸, 양대원, 유한이, 이돈순, 홍경택 작가 5인은 각각 다른 작품의 형태와 주제로 작업을 진행해왔다. 각기 다른 주제 아래 영상부터 페인팅, 연필 드로잉, 설치 등 다양한 질료들을 활용한 창작활동을 해온 작가들은 이번 전시에서 동일한 모델을 경험하며 새로운 방식의 창작을 시도했다. 



선택과 조합을 넘어 “창작”을 위한 알고리즘  


인간의 고유성이 발현된 예술의 영역에서 “모사”를 넘어 새로운 “생성”을 이끄는 딥러닝 기술은 창작이라는 행위를 수행하지만, 여전히 사유의 함축과 의도적 표현에는 인간의 개입이 필요하다. 생성적 적대 신경망(GAN, Generative Adversarial Network)은 원본 이미지를 기반으로 새로운 이미지를 생성해 내는 생성자(generator)와 새로운 이미지의 진위를 판정하는 식별자(discriminator)가 경쟁하듯 계속 교차, 반복하여 구별해 낼 수 없는 원본 같은 새로운 이미지를 만들어 낸다.



▲ <아트 매치-매시업>, 사진(한국문화예술위원회)


《아트 매치-매시업》이 시도한 창작 모델의 핵심은 인공지능의 학습 데이터를 통한 “생성”과 알고리즘의 변화를 유도하는 “식별”에 있으며, 작가와 인공지능이 교차적으로 창작을 실행한다는 점이다. 창작 모델의 세부적인 단계를 보자면, 먼저 웹 크롤링(crawling)을 통한 이미지 데이터 수집이 아닌 신작에 관한 작가의 진술(artist’s statement)을 토대로 의미론적인 개념과 표현을 뽑아 예비 예술인들이 그린 이미지 수 천장을 학습 데이터 세트로 구성했다. 그리고 StyleGAN2-ada*와 Pix2pix HD**알고리즘을 활용하여 이미지 증폭 과정을 통해 인공지능이 생성한 수 만장의 이미지를 추출하고, 이 중 생성 이미지를 선별하여 작가의 스타일을 학습시켰다. 계속된 시도를 통해 선별한 인공지능이 생성한 최종 이미지가 작가에게 전달되고, 작가는 이 이미지를 토대로 새로운 영감을 받아 신작을 제작했다.


이러한 창작 방식은 전시장 내 작가의 구역별로 벽면에 걸려있는 작품 관람 동선에 따라 고스란히 경험할 수 있었다. ‘작가의 기존 작품 - 작가가 제시한 대표 이미지 – 작가의 신작 진술 내용(artist’s statement) – 학습을 통한 인공지능의 최종 생성 이미지 - 작가의 신작’의 순으로 전시된 작품들은 작가의 창작활동에 인공지능 기술이 어떠한 영향을 끼치고 작품의 변화를 가져왔는지 추측하게 만든다. 



▲ <아트 매치-매시업>, 사진(한국문화예술위원회)


▲ <아트 매치-매시업>, 사진(한국문화예술위원회)


전시장 한쪽에 마련된 아카이브 섹션에서는 인공지능 학습을 위해 투입했던 학습 데이터 세트와 생성 이미지의 중간과정에서 나온 이미지 등을 볼 수 있었다. 이때 인공지능이 생성한 작가별 중간 이미지 투표와 신작에 대한 설문조사가 함께 이루어지며 작가와 인공지능 간 창작 및 구현에 관한 평가를 공유한다. 



▲ <아트 매치-매시업>, 사진(한국문화예술위원회)


《아트 매치-매시업》은 기계와 인간이 교차하며 수행하는 창작 루핑(looping)이자 인간의 의도와 기계의 규칙 연산의 콜라주(collage)라 할 수 있다. 정형화되고 규칙적인 알고리즘이 생성-식별 반복 과정을 거쳐 작가들의 기존 작품세계에 의외성을 더하며 변칙을 만들었다. 이는 인공지능이 도구적인 측면에서의 기술적 적용을 넘어 작가의 의도를 내포하고 자체적으로 표현을 생산하는 역할로 진화하고 있음을 시사한다. 

인간의 주체성 아래 감성으로 빚어진 주관적 언어였던 예술 안에서 기계의 창작은 이미 익숙한 것이 되어가고 있다. 이러한 시대의 부름에 맞춰 인공지능 생성 작품의 감상과 해석에서도 새로운 관점과 언어가 필요하지 않을까. 신기술의 등장에 따라 반복 실행되는 ‘루핑’ 속에서 피어날 또 다른 예술의 방식과 그 ‘명령’을 기대한다.



* StyleGAN2-ada: GAN(Generative Adversarial Network)은 생성자와 식별자가 서로 경쟁하며 데이터를 생성하는 모델을 말한다. StyleGAN은 네트워크에 점진적 성장을 사용하여 고해상도 이미지를 생성하거나 각 레이어에 이미지 스타일을 통합하는 두 기능이 있다. StyleGAN2는 StyleGAN의 문제점을 개선한 것으로, ada(adaptive discriminator augmentation)라는 이미지 증강 기법의 일종으로 식별자에 들어가는 이미지를 다양한 형태로 증강해준다. 많은 데이터가 있어야 하는 StyleGAN2의 데이터 부족 현상을 어느 정도 극복해주는 역할을 수행한다.

** Pix2pix HD: 이미지의 스타일을 변형시키는 알고리즘으로 페어(pair)로 되어있는 데이터 세트를 이용해 이미지에서 이미지로 변환하는 지도학습(Supervised Learning)이다.



글/ 전혜인
편집/ 아트앤테크 플랫폼 운영진

※ 외부 필자의 원고는 한국문화예술위원회의 공식입장과 일치하지 않을 수도 있습니다.



전시, 퍼포먼스, 교육 등 다양한 기술 기반의 예술을 중심으로 한 프로젝트 기획을 해오고 있다. 2014년부터 2021년까지 아트센터 나비 학예팀에서 큐레이터로 재직하였으며, ISEA2019 아트 부문의 총괄 큐레이터이자 조직위원으로 활동하였다. 최근에는 블록체인 NFT 아트를 중심으로 한 프로젝트에 많은 관심이 있으며, HanDAO의 멤버로도 활동 중이다 


목록