만화에서 웹툰으로 넘어가기까지. 우리는 얼마나 많은 갈등을 안고 지냈던가.
펜과 잉크, 그리고 종이만 있으면 되었던 시대를 훌쩍 지나, 포토샵 등으로 디지털로 넘어오나 싶더니 그 다음부터는 숨 쉴 틈도 없이 급격한 발전을 경험하고 있는 곳이 만화 콘텐츠 제작 분야이다. 망가스튜디오를 어렵사리 구해서 체험해 보는 것이 소원이었던 것이 엊그제 같은데 이제는 클립스튜디오가 한글버전으로 서비스가 되고 있고 웹툰 스크롤 원고까지 지원해준다. 스케치업이라는 것이 생기더니, 숫자(X,Y좌표 계산)와 거리가 먼 작가들을 3D의 세계로 끌어들인다. 3D로 모델링을 만들어 포징 잡는 것을 도움을 받는다. 그러더니 그리는 것도 버거운데 이제는 무빙툰으로 넘어가서 움직임까지 구현해 내라고 한다. 이렇게 기술이 발달하면 할수록 하고 싶던 것을 할 수 있게 해주었고 할 수 있는 것이 많아지면서 할 일도 많아졌다.
이제 좀 익숙해지는가 싶었는데 이제는 AR, VR로 구현하는 시도들이 쏟아진다. 거기에 AI라니. 만화를 창작하는 창작자들을 무슨 로봇을 만들어내는 박사 마냥 만능인으로 존재하길 요구하는 세상이 오고 있는 듯하다.
웹툰이 처음 등장했을 때 우려했던 것처럼, 신기술의 등장에 많은 창작자들이 여러 가지 의미에서 우려를 하고 있다. 하지만 우리가 지금까지 겪어왔던 것처럼, 인공지능은 콘텐츠 산업에 있어 필수적인 기술이 되고 있는 듯하다. 특히 시간과 비용, 노동력을 절감하여 효율성을 높일 수 있다는 점에서 웹툰 기업이든, 개인 창작자이든 눈여겨보고 필요에 의해 적극적으로 도입을 해 볼 필요가 있다. 그렇게 절약된 시간과 노력을 통해 또 다른 오리지널을 입힐 수 있는 기회를 만들 수 있을테니 말이다.
네이버 웹툰 : 툰레이더는 네이버에서 2018년에 공개된 프로그램으로 캡쳐된 웹툰을 특정할 수 있는 코드를 심어 불법 복제 및 유통을 한 당사자를 추적하는 기술이다. 100여개가 넘는 작품이 불법 사이트에 게재되면 평균 20분 내로 유출자를 찾아내고 재접근을 차단한다. 이는 불법으로 유통된 작품 한 화를 검사하는데 20~30분의 시간이 걸렸던 검사 시간을 15분 이하로 줄여 더 생산적인 작업에 집중할 수 있게 되었다는 점에 있어 큰 의미가 있다고 볼 수 있다. 아직까지는 혹시 모를 오류를 위해 사람이 직접 검수를 하는 과정을 거치기는 하고 있다. 개인 식별 데이터를 추출하며 완전 자동화를 할 수 있도록 추가 개발 중이다.
어도비(Adobe) : 어도비 센세이를 기반으로 하는 만화 전문 창작도구인 “코믹 블라스트”를 공개했다. 코믹 블라스트는 MS 워드에서 작성한 메모를 기반으로 알고리즘에 따라 스크립트를 분석하고 자동으로 콘티를 작성하며 말풍선을 채우거나 칸 구성을 해주는 등 콘티 단계의 작업이 가능한 서비스를 공개했다. 이야기의 분기점 만들기, 웹페이지에서 창작자가 독자에게 제공할 수 있는 분기점 생성은 물론 2D 이미지에 움직임 자동 삽입, 3D 스캔한 얼굴을 자동으로 2D 변환해 사용할 수 있도록 렌더링하는 기능, 실시간 클라우드 기반 협업 등 인공지능 기반의 기술이 다수 포함되어 보다 다양한 작업이 가능하게 될 것으로 보인다.
세이브더AI웹툰 : 본지에도 소개가 되었던 바가 있는 콘텐츠임팩트 프로젝트로 진행된 <세이브더AI웹툰>의 경우도 웹툰에 최적화 된 스크립트의 배치, 연출콘티 제안시스템 등으로 AI 서비스를 개발 중인데, 보다 국내 웹툰 기반으로 연구가 이루어지고 있는 만큼 어도비와의 차별화된 서비스로 기대되고 있다.1)
스토리워크2) : 스토리보드(콘티) 프로그램을 만들어 온라인 편집기 서비스를 시작하였는데, AI로 구현된 것은 아니지만 사용자가 바로 응용하여 사용할 수 있을 만큼 직관적이고 심플한 캐릭터와 포즈, 배경 선택, 말풍선과 대사 배치 등의 UI로 앞으로의 확장성에 기대를 하게끔 해주고 있다.
△ 출처 : 스토리워크
코믹스브이 : 2018년, 코믹스브이와 아주대학교에서 논문을 발표 한 바 있다. <가우스 전자(곽백수)>와 “데이터 활용 계약”을 맺고 아주대에 데이터를 재판매 하는 방식으로 연구를 진행했는데 웹툰작가의 노동환경을 혁신하여 더 좋은 창작물을 만드는 기반기술을 기대한다고 하였다.
네이버 웹툰 : 2021년, 정식으로 ‘웹툰 AI Painter3)’를 발표하였다. 딥러닝 기술을 활용한 스마트 툴로 누구나 쉽게 채색할 수 있도록 도와주는 채색 소프트웨어로 개발이 되었는데 이를 위해 약 30만 장의 데이터셋을 활용해, 인물의 얼굴이나 신체, 배경 등 이미지 속 각 영역에 대한 특징 및 다양한 채색 스타일을 학습시켰다고 했다. 특히, 웹툰 이미지 학습을 통해 웹툰 채색에 특화되도록 개발하여 개성이 뚜렷한 그림체도 깔끔하고 뚜렷하게 표현할 수 있다. 관련 기술 연구는 글로벌 컴퓨터 비전 학회인 ‘WACV 2022’에 채택되어 발표를 앞두고 있다고 한다.4) 이에 더해 콘티 단계에서 펜선 작화를 완성해 주는 단계까지 연구중이라니 그 결과가 기대된다.
△ '웹툰 AI 페인터' 기본 채색 GIF
△ 전경 마스킹 모드 GIF - 채색 이전에 외부로 색이 벗어나지 않도록 마스킹하는 과정을 자동으로 수행.
또한 일본의 셀시스도 클립스튜디오 등 제작프로그램에 채색 등, 인공지능을 활용한 창작 도구를 제공하는데 초점을 맞추고 있었는데 9월, 네이버 웹툰과 기술제휴를 하여 네이버 웹툰을 바탕으로 작품활동을 하는 작가들을 자연스럽게 클립스튜디오로 사용 전환을 할 수 있도록 하는 전략이다.
그 외에도 인공지능기반 펜선따기 기술을 도입하려 준비중인데 딥러닝 기술을 이용하여 스케치에서 펜선을 생성해 줄것이라고 한다. 김준구 네이버웹툰 대표는 “앞으로 아이디어만 있으면 누구나 이미지형의 스토리텔링 콘텐츠를 만들 수 있도록 AI기술을 기반으로 한 ‘오토드로잉 등 다양한 제작 도구를 준비하고 있다”고 말했다.
△ 텍스트를 입력하면 키워드를 추출하여 오브젝트를 자동으로 배치해준다. (출처 : 투닝)
투닝 : 삼성전자 인공지능부서 기획설계(UX) 디자인을 했던 경력을 가진 웹툰작가 지망생이었던 툰스퀘어 창업자가 2019년에 개발한 ‘잇셀프’는 인공지능 일상툰 서비스로 자신의 일상을 쉽게 만화로 제작하여 공유할 수 있는 SNS 애플리케이션을 만들었었고, 사용자의 글을 카드뉴스형의 4컷 만화로 만들어주는 서비스인 ‘포컷’을 만들었었다. 이를 바탕으로 글에서 감정을 읽어내어 웹툰으로 제작을 해 주는 ‘투닝5)’ 프로그램을 개발하여 서비스 중이다. 후속으로 ‘웹툰 콘텐츠 제작 서비스 프로그램’을 개발 중에 있다.
아튜브6) : 블록체인 기술을 기반으로 창작자에게 보상체계를 운영하는 플랫폼으로 베타 서비스 중이다. 유료웹툰 결제와 팬들의 직접후원으로 이루어지며 유료웹툰의 경우 계약조건에 따라 수익이 결정되고 직접후원은 최소 수수료 이외의 대부분의 수익이 창작자에게 돌아가는 구조이다. 블록체인이나 결제시스템을 이용해야 하기 때문에 대부분의 사용자가 성인이어서 그런지 성인 콘텐츠가 우선적으로 서비스가 되어지고 있는 모양새이다.
카카오페이지에서는 ‘카카오I’ 추천엔진을 탑재하여 인공지능 큐레이션을 서비스를 시작하였다. 추천엔진은 사용자 행동패턴을 분석하여 비슷한 관심을 가진 사용자가 찾은 유사 콘텐츠를 추천하는 공동필터링(CF), 콘텐츠 의미를 분석해 유사 콘텐츠를 추천하는 콘텐츠 기반 필터링(CB) 기술이 적용됐다고 한다. 이어서 레진 코믹스도사용자의 취향에 맞는 웹툰을 위주로 배치하는 방식의 AI 추천 서비스를 제공하였다. 이렇게 AI 큐레이션을 탑재한 이후 사용자 반응과 만족도가 50~70% 상향되었고 이로 인해 뒤 늦게 조명 받는 작품들도 생겨났다.
시도 되고 있는/되었던 것들 - 자동 웹툰 퍼블리싱 서비스
투닛 : 스프링캠프, 코오롱 이노베이스 등에서 투자에 참여하였다. 그림을 그릴 필요 없는 웹툰 자동화 솔루션과 웹툰 퍼플리싱 플랫폼을 지향하며 2022년 북미 런칭 예정이다.
네오코믹스 (Neocomix) : 2019년 인공지능(AI) 기술 기반 글로벌 SNS 자동 웹툰 퍼블리싱 서비스로 구축되었었다. 이는 웹툰, 애니메이션, 출판 만화 등의 작품을 인공지능 기술로 번역·편집하여 글로벌 SNS에 퍼블리싱하고 이후 창출되는 수익을 작가와 나누는 서비스로 작가들이 네오코믹스를 이용하면 대형 출판사나 대기업의 웹툰 플랫폼과 자본에 구속받지 않고 자신이 원하는 작품을 전 세계에 서비스를 할 수 있기 때문에 경제적 독립을 성취할 수 있다. 라고 소개하였으나 현재 네오코믹스에서는 AI 엔터테인먼트 회사로 버추얼 인플루언서 사업에 전념하고 있는 듯 하다. 이렇게 현재는 구현되고 있지 않은 서비스 형태이긴 하나, 시도가 되었던 만큼 현실적인 대안과 운영 방식을 가지고 서비스가 되길 기대해 본다.
캐릭터의 성격에 따른 표정까지 자동으로 구현할 수 있을까?
AI는 결국 데이터 싸움이다. 하고자 한다는 마음이 있고 실천할 수 있는 여건만 된다면 무엇이든 만들어 낼 수 있는 세상이라고 생각하면 되겠다. 이 질문에 관한 답은 “YES”이다. <데이터 기반의 성격별 캐릭터 표정 자동생성 연구>에서는 같은 감정의 표정이라도 성격마다 다른 Dlib 수치가 나오는 것에서 착안하여 성격별 표정 데이터를 수집하여 캐릭터에 적용하는 실험을 하여 유의미한 결과를 도출해낸 바 있다. 표정만으로도 어떤 특정 인물을 떠올릴 수 있다는 점을 이야기하며 이 논문에서는 캐릭터 개발 과정에서 캐릭터 설정에 큰 도움을 줄 수 있다고 하였다.
마무리하며
웹툰의 확장성을 어디까지 상상하고 있는가? 그것이 무엇이든 모든 것들이 AI로 구현이 가능하다. 웹툰은 사운드를 아우를 수 있으며 무빙툰으로 인해 애니메이션까지의 확장성을 가지고 있으며, 각 캐릭터들은 버추얼 인플루언서의 역할을 맡을 수도 있고 NFT와 메타버스에 최적화된 콘텐츠이기도 하다.
지금까지 나온 서비스들을 응용하여 확장하는 것도 적극적으로 연구해 보는 것도 좋을 듯 하다. NFT 결제시스템을 통한 웹툰 구독권이라든지, 웹툰에 특정코드를 심는 기술을 통한 웹툰식별코드 시스템을 구축한다든지 하는 것들을 말이다.
AI를 연구하는 종사자들이여, 이 시대의 최강 콘텐츠, 웹툰을 주목하라!
1) 작가님의 곁을 지키는 AI : '세이브 더 AI 웹툰' 팀 인터뷰 (출처 : 디지털만화규장각) http://dml.komacon.kr/webzine/interview/28586
2) https://www.storywork.co.kr/
3) https://ai.webtoons.com/painter
4) 네이버웹툰, 자동채색 서비스 ‘웹툰 AI 페인터’ 출시 … 기술 투자로 창작 지원 확대 (출처 : 네이버 2021.10.27.)
5) https://tooning.io/tooning-landing-main
6) https://www.artube.video/
7) http://www.sportsseoul.com/news/read/756619 스포츠서울, 신재유기자
8) 2020.02., 김한재, 상명대학교 감성공학과 박사논문
