인공지능의 시대가 왔다. 짧은 시간에 현란한 결과물을 내놓는 AI의 기술력에 사람들의 눈은 휘둥그레졌고 “이제 인간은 더 이상 할 것이 없다.”라며 주눅이 들어버렸다.
처음 카메라가 나왔을 때도 “예술은 죽었다.”라고 했고, 처음 디지털 문화를 접하던 그때도 “예술은 죽었다”라고 했었다.
“그때는 틀리고 지금은 맞다.”라는 어떤 영화의 타이틀처럼 그때는 꼭 예술이 죽어버렸고 인간이 新문명에 무릎을 꿇을 것 만 같았었다. 하지만 어떤가, 우리는 디지털이 제공하는 프로그램과 에셋, 그리고 가능성들을 탐구하며 더 다양한 작품들을 쏟아내고 있다. ‘종이 위의 종합예술’이었던 만화는 이제 무한 확장 의 미디어 예술이 되었다. 2001년에 쓰여진 《만화의 미래》1에서 ‘어쩌면 세로로 펼쳐지는 만화 원고 가 생겨날지도 몰라’라고 상상하는 대목이 있는 데, 이때 우리는 이미 웹툰으로 넘어가고 있었고 강풀의 〈순정만화〉를 기점으로 스크롤 형식은 웹툰의 기본 언어로 정착이 되었다. 웹툰이 시작될 때만 해도 출판만화의 시대가 저물어버리는 것이 아닌가 영겁의 고민을 했었다. 결론을 말하자면, 우리는 적응을 했고, 더욱더 대단한 결과물들을 이끌어오고 있다. 지금도 AI라는 괴물 같은 시스템과 어떻게 상생할지를 고민하면 된다. 어차피 인간의 필요에 의하여 프로그래밍된 시스템이고, 도구이다. 우리는 ‘무엇’이 필요한지의 제시를 통해 ‘왜’ 만들어졌는지’만 파악할 수 있다면 분명 든든한 무기로 승화할 수 있을 것이다. 기성세대들에게 이 과정은 아직도 탐험의 기로인지 모르 겠다. 하지만 현재 일어나고 있는 이 AI의 등장에 아무 고정관념과 경계심이 없는 차세대 아이들은 당연한 도구로 여기고 있을 것이라 확신한다. 그렇게 세상은 변해간다.
▲<그림1> 스콧 맥클라우드(2001), 김낙호 옮김, 《만화의 미래》, 시공사
우리는 무엇이 필요한가?
웹툰을 제작할 때 혼자서 넘어가기에는 너무 많은 단계가 도사리고 있다. 그렇다고 여러 작가들이 협업하여 만드는 시스템을 구축하고 있는 스튜디오나 에이전시라고 이 산을 쉽게 넘어가지 못한다. 얼마만큼의 시간과 노력의 투자를 쏟는가라는 총량의 법칙이 존재하기 때문이다. 웹툰을 제작하기 위해 필요한 제작단계들을 훑어보고 단계별 프로세싱 중에서 어떤 부분을 AI에게 도움을 받고 싶은지를 생각해보기로 하자. 못할 것도 없다. AI는 데이터 싸움이다, 얼마만큼의 데이터를 확보하고 그것들을 어떤 규칙에 의해 프로그래밍을 하는지에 따라 활용도가 결정되는 것이니까. 그리고 실제 어떤 부분까지 연구가 되고 현실화에 가까이 다가와 있는지 알아보자.
1. 캐릭터 구상
작품들마다 캐릭터들이 존재하고 저마다 독특한 개성의 캐릭터를 개발하기 위해 노력을 한다. 외형적인 모습 뿐 아니라 캐릭터가 가지고 있는 성향이나 성격 등을 설정하면서 어떤 환경에서 자라왔는지, 어떤 이유에서 ‘무엇’을 사랑/혐오하게 되었는지까지 생각하지 않을 수 없는데 이 부분을 보완하기 위해 인문학적인 자료들을 많이 찾아보게 된다. 그러다보면 사람들의 성격도 데이터로 정리가 되고 있음을 알 수 있다. 캐릭터를 설정할 때 그 데이터들을 적용하면 될 것인데 애니어그램이나 MBTI 등, 수치로 증명된 성격 데이터를 통해 캐릭터들에게 상황별 리액션이나 말투, 습관 등을 지정할 수 있겠다. 안젤라 애커만의 《캐릭터 만들기의 모든 것》, 《디테일 사전》, 《트라우마 사전》 등 참고할 자료들은 충분히 준비되어 있지 않은가. 또한 “표정만 보아도 ‘특정인’을 떠올릴 수 있는 것처럼 성격에 따라 습관 표정에 차이가 있다.”는 전제를 가지고 발표한 캐릭터의 성격별 표정연구2 논문이 있다. 실제 사람들의 6가지 감정이 담긴 표정을 수집하여 캐릭터에게 적용을 하면, 해당 성격을 가진 인물과 같은 표정을 구사할 수 있다는 것이다. '특정 사회적 분위기나 자연 재해 등의 이슈가 있는 집단들은 같은 감정을 느낀다' 라는 점을 적용하여 지역 감성 데이터나 사회적 성향 데이터를 활용한 프로그램이 활성화된다면 캐릭터 설정뿐 아니라 불특정 다수의 엑스트라들의 표정 입력에도 도움이 될 수 있겠다.
▲<그림2>각기 다른 성향을 가진 표정 데이터를 아바타에 적용을 하는 과정 (제공: 김한재)
2. 시나리오
창작은 인간만의 전유물이라고 생각했다. 아무리 거대 데이터를 가지고 덤빈다고 해도 인간의 의도에 따른 상상력은 따라올 수 없을 것이라고 생각했다. 그 자만심을 비웃기라도 하듯, AI 소설가 비람풍이 집필을 한 장편소설 《지금부터의 세계》가 발간되었다. 인간의 의도된 순서만을 바탕으로 순수하게 AI의 프로그램으로만 만들어졌다고 하지만 상당 부분의 수정이 있던 것으로 보여져 완전 자동화 소설은 아닌 것 같기는 하다. 해당 AI 소설 제작과정이 책에는 상세히 수록이 되어 있다고 해서 직접 구매한 후 찾아보았으나, 관련 프로그램의 프로세싱이나 근거에 관한 언급이 없어 아쉬웠다. 그럼에도 이렇게 작품을 만드는 창작의 영역에도 인공지능이 충분한 역할을 했다는 부분은 놀라울 만하다. AI가 소설을 쓰는 과정을 상상해보면, 아이템 발굴과 취재까지도 원스톱으로 가능할 것 같은데 상당한 시간을 아낄 수 있겠다. 이야기의 근거가 되는 역사적인 사실들이나 과학적인 근거 자료들을 조합해서 이야기의 줄기에 살을 붙이는 것은 인공지능이 더 잘 해낼 수도 있을 것 같기도 하다. 하지만 인간의 감성과 감정을 다룰 수 있는 글이 나오기에는 아직 멀지 않았을까? 아니, 사실은 거기까지 오지는 않았으면 하는 것이 솔직한 개인적인 바람이다.
3. 글/그림 콘티
콘텐츠임팩트 프로젝트를 통해 글/그림 콘티구현이 가능한 연구도 진행되었다.
《세이브 더 캣》이라는 작법을 토대로, 이야기의 흐름을 잡아주고 비슷한 맥락의 새로운 제안을 제시해주어 좀 더 풍성한 이야기가 만들어 질 수 있도록 가이드 역할을 해주는 ‘세이브 더 AI 캣’과, 그렇게 정리된 글에 맞는 이미지 콘티를 제안해주어 선택을 하면 앞뒤 연결 컷들을 이어주는 형식의 ‘세이브 더 AI 웹툰’이 그것이다. 사용자의 선택을 중요시 여기기 때문에 완전 AI화는 아니지만 선택과 수정을 통해 작가의 오리지널리티를 지켜줄 수 있다. 실제 작품을 진행하는 작가들과 에이전시에서 가장 주목하고 있는 분야로 연말이나 내년 초에 텀블벅 등에서 선보일 예정에 있으니 좋은 결과가 있기를 바란다.
4. 데생/펜선/컬러
네이버에서 선보인 ‘웹툰 채색 자동화 프로그램’이 생각보다 높은 퀄리티의 채색 결과물을 산출해내어 깜짝 놀랐던 기억이 난다. 장편 연재물의 경우에도 지정된 색상을 유지하며 연재를 할 수 있을지에 관한 걱정에 대하여는 PSD 파일 로 다운받아 수정할 수 있다니, 밑색 정도의 작업은 맡겨도 되겠다. 또한 ‘웹툰 미’라는 프로그램을 통해 인물실사 이미지를 자동으로 웹툰화해주는 작업도 준비 중인데, 이를 통해 이야기만 있으면 누구나 웹툰을 제작할 수 있는 시대가 올 것이라고 하였다. 다만 현재는 실제 연재 중인 작가의 독특한 그림체를 학습한 것으로, 구사할 수 있는 그림체는 많지 않고, 캐릭터의 유사성 제기로 저작권 등 의 문제가 생길 수 있을 것 같다. ‘최종적으로는 사용자의 그림체를 학습한 AI로 연재를 하는 형태가 가장 이상적인 것이 아닌가?’, ‘과연 작가 고유의 작화선까 지 작업을 해줄 수 있을까?’ 설마, 라고 생각하는 그 기술을 위해 연구 진행 중 인 곳이 있다. (주)디캐릭에서 개발 중인 ‘선화자동보정프로그램’인데 작가가 러프하게 그림을 그리면, AI가 작가의 그림체를 인식하여 일정한 퀄리티로 선화를 보정하며 그림을 완성해주는 결과물까지 기대하고 있는 파일럿 프로젝트의 일 환으로 약 3화 분량의 웹툰 콘텐츠 15개를 선보일 예정이라고 하였다.
▲<그림3>네이버 AI 개발현황 (제공: 네이버)
▲<그림4>애니메이션과 AI활용 웹툰 결과물 비교 (제공: 탁툰 엔터프라이즈)
5. 편집
웹툰 <뾰족마을의 수상 한 이웃들>3은 (주)탁툰 엔터프라이즈와 중앙대 학교 VILab이 공동 연구 개발한 ‘인공지능 시스템’을 활용하여 만들어 졌다. 해당 작품은 애니 메이션으로 먼저 서비스가 되었던 것으로 향 후에는 국내 타 애니메이션 작품들도 웹툰화하여 국내외 대중들에게 선보일 수 있으면 좋겠다는 마음으로 시스템을 개발 하게 되었다고 하였다. 영상을 분석하여 가장 ‘주요하다’라고 판단되는 컷을 추출한 이미지에 지정해둔 말풍선 선별 및 배치, 대사 크기나 색 또한 내용, 사운드에 따라 스스로 지정할 뿐만 아니라 폰트도 시스템이 직접 선택한다고 한 다. 이후 작업자가 후보정 과정에서 디테일한 수정을 진행하여 최종 결과물이 도출되는데, 반복적인 파트에서의 시간 단축이 가능해져 결과적으로 작업자는 후보정 작업에만 집중을 할 수 있도록 효율적인 작업환경을 만들어진 것 같다.
6. 불법공유웹툰 근절
비단 웹툰 뿐이겠느냐. OTT와 각종 플랫폼들의 성장으로 인해 예전과 다르게 비용만 지불하면 원하는 콘텐츠를 거의 향유할 수 있는 시대가 왔는데도 불구하고 음원, 영상 등을 아직도 공공연히 불법이라는 사실을 망각한 채 공유하고 있 는 것을 주위에서 쉽게 볼 수 있다. 출판만화의 시대에는 불법 스캔본이 활개를 치더니, 아예 디지털 이미지로 서비스가 되는 웹툰은 말도 할 것 없이 더욱 빠르고 쉽게 공유가 되고 있는 것이다. ‘밤토끼’라는 불법 웹툰 공유 사이트가 수면 위로 올라오면서 웹툰산업에 얼마나 큰 악영향을 끼치고 있는지를 실감하는 계기가 되었다. 정말 많은 시간과 수고를 쏟아 붓고서야 겨우 ‘밤토끼’ 운영자를 검거할 수 있었는데, 그때의 안도와 기쁨은 잠시. 이내 제2의 밤토끼, 더 많은 불법 공유 사이트가 생겼다. 이를 위해 네이버는 2017년 7월부터 ‘툰레이더’라 는 불법 복제물 감시 AI 프로그램을 개발하여 실행하고 있는데, 한 질문게시판 의 “공유 사이트에 네이버웹툰은 왜 안 올라와요?”라는 글에 “네이버에서는 툰 레이더가 있어서 못 퍼온대요”라는 답변이 실리기도 했다니 꽤 좋은 성과를 내고 있는 듯하다. 실제 국내 1차 불법사이트 31개 중 29개가 문을 닫았다. 서충현 네이버웹툰 저작권보호기술팀장은 “웹툰 플랫폼의 가장 효율적인 전략은 불법 유출 계정을 신속, 지속 차단, 1차 불법 사이트가 역할을 못하게 하고 위험 계정 예측 차단기술을 고도화해 불법 공유를 사전에 막을 역량을 높이는 것”이라며 “사전에 피해를 막기 위한 기술 대응을 강화하겠다”고 밝혔다.
7. 메타버스와 VR 웹툰
몇 년 전만 해도 krPano 이미지뷰어를 통해 구사했던 VR모사 수준의 구현이 VR 웹툰의 미래라고 생각한 적도 있었다. 만화세상을 VR 이미지로 보았던 첫 순간 은 경이로웠다. 하지만 그게 다였다. 이야기를 담아내지 못했다. 우리가 보던 만화와 웹툰을 360도로 이루어진 광활한 캔버스에 어떻게 담을 것인지가 막막해 지기 시작했다. 그중 다행이었던 점은 VR의 핵심기술은 레이어에 있는데, 웹툰의 경우 대부분 배경/인물/말풍선 등의 레이어를 구분하여 제작하고 있기에 컨버팅 전처리 작업이 따로 필요하지 않은 VR 최적의 파트너였던 것이다.
덱스터스튜디오에서 개발한 <조의 영역>은 게임처럼 환경 전체를 360 모델링으로 구현한 형식으로 스팀, 오큘러스 스토어, 플레이스테이션 스토어에도 선보이며 VR웹툰을 안방으로 불러들였다. 단편형식의 웹툰 체험 콘텐츠로는 만족할 만했다. 다양한 VR작품들이 안방으로 들어왔으면 하는 기대감이 생긴 순간이었다.
가장 활발한 서비스를 하고 있는 스피어툰을 보자면, 자체 메이커 서비스로 런칭하였는데 그로 인해 VR 컨버팅 속도를 높일 수 있었다고 하였다. 호랑 작가가 가장 중요시 했던 부분은 ‘가독성’이라고 한다. 물론 VR환경에 최적화된 360도 배경과 입체 레이어, 사운드 등의 효과도 제공하지만, 그보다 중요한 것은 ‘만화’가 가지고 있는 스토리의 전달성이라는 것이다. 그 해답으로 말풍선이 사용 자의 시점을 따라다니도록 하거나, 읽는 순서대로 말풍선이 출력되게끔 구성하 고, 모든 말풍선은 사용자의 시야 내에 배치하였다. 이 방식은 VR만화의 입체성 과 함께 스토리에 몰입할 수 있는 몰입감을 제공하였다.
▲<그림5>피어툰 메이커 (제공: 스튜디오 호랑)
그런가 하면 VR웹툰 회사 코믹스브이가 추후에는 메타버스가 IP의 새로운 시장으로 크게 확장될 것으로 전망하며 빌리버로 변신을 하고 카툰 형식의 3D캐릭터인 VR스트리머 ‘베리’ 를 통하여 웹툰과 타깃이 유사한 메타버스 콘텐츠를 준비 중이다. 양병석 대표는 “독자들은 좋아하는 IP(만화/웹툰) 세계관에 몰입하고 경험하는 것을 원하기 때문에 1인칭 시점의 Full 360도가 필요하다.”라고 하면서 “VR스트리머는 3D 애니메이션의 제작비용이 상대적으로 낮다는 점에서 작가의 그림 스타일을 접목한 만화형식의 VR과 메타버스에서 웹툰 IP는 가장 적합한 요소로 성장할 것”이라고도 하였다.
연출, 컷 전환의 방법, 그리고 용량 문제까지 해결해야 할 문제는 많지만, 해결할 수 있는 방법은 분명히 있다. 아직까지는 시장이 크지 않아 개발자들도 머뭇거리고 있는 요즘이지만, 조만간 VR은 집으로 들어올 것이라 생각된다. 늦지 않았다. 먼저 선점할 수 있다. 메타버스와 커뮤니티를 활용한다면 무궁무진한 부캐들의 이야기를 직접 만들어 낼 수 있다. 가상 청와대를 오픈했던 마인크래 프트, 바이든 선거캠프를 운영했던 닌텐도 동물의 숲, 블랙핑크 사인회를 진행 한 제페토, BTS 안무를 공개했던 포트나이트 등이 미디어로 출력할 수 있는 시스템만 갖추어진다면 우리가 만들고 싶어 하는 무궁무진한 이야기 캔버스가 되어 줄 것이라 믿는다. 3D로 구현이 된 가상공간에서 캐릭터들이 저마다의 이야기를 만들어간다는 점에서 메타버스와 VR 웹툰은 뗄래야 뗄 수 없는 관계가 아 닐까 싶다. 다만 아직은 모일 공간이 확실하게 정해지지 않은 상태여서 궁극적으로 어떤 형태의 플랫폼이 살아남아 우리의 메타버스 세계를 구축하게 될지 향후가 주목되는 바이다.
지금 이 순간에도 AI가 웹툰 작가들의 든든한 조수가 될 수 있도록 연구에 매진하고 있는 많은 연구자들이 있다. 일거리를 빼앗기는 것이 아닌 오롯이 작품에 집중할 수 있는 조건을 안고 상생할 수 있는 동반자로 다가올, 조금 후의 미래를 즐거이 상상해본다.
