웹툰 내 AI 기술의 적용과 미래 전망(2)
4. 웹툰 인공지능 학습용 데이터
△ (상) 완성된 웹툰 이미지에서 펜선 자동 추출 / (우) 컬러 및 펜선 레이어 분리
펜선을 자동으로 생성하는 딥러닝 모델을 개발하기 위해서는 훈련 데이터를 수집해야 한다. 웹툰 작가가 작업 중에 그린 데이터를 구하는 것이 가장 이상적이지만, 그럴 수 없는 상황이 대부분이다. 웹툰 작가의 작업데이터를 확보할 수 없는 경우에는 완성된 최종 이미지에서 펜선을 다시 자동으로 추출하는 방법도 딥러닝 기술로 개발되고 있다. 그러나 말풍선, 배경, 명암 등 아직 극복해야 하는 난관이 많다.
△ 인공지능 학습을 위한 스케치-밑색 페어 데이터
딥러닝 기반의 스케치 채색 기술을 개발하기 위해서는 스케치 이미지와 해당 스케치에 채색이 완료된 페어 데이터의 수집이 필요하다. 현재까지 소개된 대부분의 자동채색 기술은 컬러뿐만 아니라 명암까지도 채색에 포함하여 결과물을 자동 생성한다. 이러한 시도는 이미지 전체적으로 수채화풍으로 채색이 되거나 작가의 의도에 맞게 편집하기 어려운 결과를 얻게 된다. 따라서, 인공지능 기술로 단색조의 밑색만 자동으로 칠하고 명암은 현재의 공정대로 작업하는 방법이 시도되고 있다. 그에 따라 학습데이터도 작가가 직접 그린 스케치와 밑색까지만 칠한 이미지 페어 데이터의 수집이 필수적이다. 안타깝게도 1년 연재분에서 약 3천 쌍 안팎의 페어 컷 데이터를 얻을 수밖에 없어서, 다른 형태의 대규모 데이터를 학습 시킨 후 전이학습의 미세 조정 방식으로 페어 데이터를 활용하는 방법이 시도되고 있다.
5. 힌트 기반의 스케치 자동 채색 기술
스케치 이미지가 주어졌을 때 자동으로 채색하는 방법은 크게 레퍼런스 기반 방식과 힌트 기반 방식으로 나누어 볼 수 있다. 레퍼런스 기반의 방식은 말 그대로 레퍼런스가 되는 컬러 영상을 스케치 입력과 함께 주면 전체적인 분위기를 해당 컬러 영상의 색상으로 스케치에 색을 입혀 결과를 낸다. 결과가 마음에 들지 않으면 다른 레퍼런스 이미지를 다시 찾아야 하는데 딱 원하는 이미지를 찾기가 쉽지 않다. 반면에 힌트 기반 방식은 원하는 위치에 색을 지정하면 그 주변 영역을 해당 색상으로 다시 칠해 주는 방식이다. 힌트를 줄 때마다 변화를 보면서 작가가 원하는 결과를 점진적으로 얻을 수 있다는 장점이 있다.
△ 힌트 개수에 따른 자동 채색 결과 변화
레퍼런스 기반의 자동 채색 기술은 중간에 사용자가 개입할 여지가 없어서 사용자가 원하는 곳에 색상을 지정하기가 어렵다. 하지만 힌트 기반의 방식도 만약 사용자에게 수십에서 수백 개의 위치에서 색을 정해 주도록 한다면 그 피로감이 매우 심할 것이다. 따라서 힌트 개수가 적어도 전 영역에 그 변화가 널리 적용되어 지능적으로 채색될 수 있도록 Vision Transformer 기반의 접근방법이 시도되고 있다. 전통적으로 영상처리 분야에서는 CNN 방식을 택해야 한다는 고정관념이 있는데 이를 버리고, 자연어처리와 같은 다른 분야의 최신 딥러닝 기술을 응용하여 극복한 좋은 사례라 할 수 있다. 한국과학기술원에서는 작년 CVPR 학회에 발표한 iColoriT라는 흑백영상을 컬러영상으로 변환하는 기술을 바탕으로 웹툰 스케치 채색에 사용할 수 있도록 새로운 시도를 하고 있다.
6. 사진으로 웹툰 캐릭터 생성하는 기술
△ 인물 사진 기반의 다양한 카툰 변환 기술
자기 자신의 3차원 캐릭터를 만들어주는 3D 아바타 생성 기술과 더불어 수많은 SNS의 프로필 사진 제작 등을 위해 인물 사진 한 장으로 만화 캐릭터와 같은 이미지를 자동으로 생성해 주는 기술은 널리 알려져 있다. 이와 같은 카툰 자동 생성 기술로 만들어진 자신만의 캐릭터를 웹툰 제작에 활용하는 사례도 찾아 볼 수 있다.
△ 주어진 카툰 캐릭터 이미지에 대해 자동 표정 변경 기술 결과물
인물 사진기반 카툰 자동 생성 기술로 얻어진 캐릭터의 표정을 다양한 표정의 레퍼런스 사진 또는 직접 사용자가 짓는 표정을 따라 변경하는 기술도 개발되고 있다. 이 기술은 웹툰 캐릭터 얼굴 이미지와 다양한 표정의 일반 얼굴 사진이 주어졌을 때 해당 캐릭터 이미지를 주어진 사진처럼 자동으로 캐릭터 얼굴의 각도와 표정을 변환하는 것이다. 주어진 캐릭터 얼굴 이미지에서 랜드마크로 볼 수 있는 특징들의 대응관계를 이용해 이미지를 재추출(resampling)하여 기하학적 변형 결과를 얻는 방식이다. 입을 벌리면 입 속의 그림을 자동으로 채워 주고 보이지 않았던 옆얼굴을 자동으로 만들어 주는 기능을 인공지능은 학습을 통해 실현가능한 기술로 제공한다.
△ 사진의 자세를 자동으로 인식하여 해당 포즈의 3D마네킹 모델 자동생성
웹툰 캐릭터의 생동감 넘치는 자세를 그릴 때 작가의 상상만으로 구도를 잡기에는 어려운 점이 많다. 이때 활용할 수 있는 방법이 3차원의 마네킹 모델의 자세를 편집하고 바라보는 각도를 달리하며 작가가 원하는 구도에서 어떤 형태로 그려야 할지 참고하는 것이다. 웹툰 캐릭터 포즈 분석 및 자동 변형 기술은 역동적인 자세를 취하고 있는 웹툰 캐릭터를 그리기 위해 해당 자세의 사진을 찾아 입력으로 제공하면 인체 관절 구조를 자동으로 인식하여 해당 자세를 취하고 있는 3D 마네킹 모델을 만들어 주는 기술이다. 동일한 포즈를 다른 각도에서 바라볼 경우 아래 레이어에 대고 그릴 3D 마네킹 자세 이미지를 얻기 위해 카메라 각도를 자유롭게 조정할 수 있다는 것이 큰 장점이다.
7. 프리비즈 웹툰 콘텐츠
프리비즈 웹툰이란 인공지능 기술을 이용하여 단순 스케치만으로 간단하고 빠르게 작업하여 웹툰의 구성요소를 어느 정도 갖추도록 사전시각화한 것을 말한다. 이는 스토리 작가가 웹소설 등의 이야기를 쉽게 웹툰 초안으로 제작하여 작품 발굴이나 기획에 활용할 수 있음을 의미한다. 프리비즈 웹툰은 콘티 보다는 훨씬 더 완성된 웹툰에 가깝게 제작된 것이다.
△ 입력 스케치를 특정 작가의 펜선 스타일로 변환한 결과
AI 기술을 활용하면 웹툰 캐릭터의 펜선 이미지를 특정 스타일로 자동 변환하는 것이 가능하다. 특정 웹툰 작품의 펜선 스타일을 학습시키기 위해서 cycleGAN 기반의 딥러닝 모델을 활용할 수 있다. 콘티를 그릴 때 사용하는 단순 스케치를 특정 작가의 펜선 스타일로 변환할 수 있도록 학습데이터를 구축하면, 딥러닝 학습을 통해 임의의 스케치 입력을 해당 웹툰 작가의 스타일로 변환하는 기능을 얻을 수 있다.
웹툰 사전시각화를 위해서라면 캐릭터의 다양한 얼굴 모습을 간단한 스케치 입력만으로 인공지능이 만들어 낸 이미지 중에 고르는 방식을 사용할 수 있다. 자동생성되는 이미지 중에 추천되는 것을 골라 붙이고, 다른 부분은 실제 웹툰 작가가 그리는 펜선 스타일로 자동 변환하여 짧은 시간에 프리비즈 웹툰을 완성할 수 있다
△ 사진과 간단한 스케치만으로 프리비즈 웹툰을 제작하는 과정
배경, 소품, 패션 등은 실제 사진 샘플을 구하여 선화로 바꾸어 주는 도구를 활용하여 사전시각화 재료로 활용할 수도 있다. 이렇게 얻어진 선화는 특정 작가가 추구하는 펜선 스타일로 자동변형하고, 캐릭터의 얼굴 및 표정은 간단한 스케치 입력만으로 생성하여 작가의 이야기를 전달하는 선화 웹툰으로 완성할 수 있다
8. 맺음말
지금까지 웹툰 산업과 인공지능 기술이 만나서 어떤 일들이 벌어지고 있는지 살펴보았다. 웹툰 작가들이 처한 상황을 이해하고 이를 극복하기 위한 노력과 함께 주목받고 있는 인공지능 기술이 어떠한 방식으로 그 역할을 할 것인지 좀 더 자세히 들여다보고자 하였다. 웹툰 이미지 자동 생성기술 분야의 기술 동향들을 살펴보고 실제 웹툰 작가가 작업하는 공정 단계별로 적용할 수 있는 인공지능 기술을 한국전자통신연구원에서 실제로 구현해 본 사례들을 소개하였다. 이러한 기술들은 웹툰 제작 현장뿐만 아니라 웹소설가가 자기 작품을 웹툰으로 재탄생시킬 수 있도록 도와줄 수도 있고, 웹툰 창작 교육이나 홍보물 제작에도 활용될 수 있다.
인공지능 기술이 웹툰 제작 현장에 활용되기 시작하였으나, 아직 전문작가들이 사용하기에는 부족한 면이 많다. 캐릭터의 표정이나 자세를 쉽게 변경하고, 자동으로 채색하며 배경이나 효과의 삽입, 말풍선 배치와 같은 AI 기술이 더 지능적으로 발전한다면 전문 그림 작가의 생산성을 높여 웹툰 작가들이 처한 상황을 극복할 수 있게 하고 더 다양한 작품 활동을 할 수 있도록 도와줄 것으로 예상된다.
