1. 기획/스토리

AI는 새로운 아이디어나 개념을 제안하는 데도 사용될 수 있다. Chat GPT나 노벨AI에서 글쓰기를 해 보면 작가가 새로운 방향으로 이야기를 이끌거나 기존의 아이디어를 확장하는 데 도움이 될 수 있다는 것을 쉽게 느낄 수 있었다. 결국, AI의 활용은 창작 과정을 개선하고, 작가의 부담을 줄이며, 크리에이티브한 과정을 돕는 도구로서의 역할을 수행할 수 있다는 결론이다. Google의 Bard도 사용해 보았는데 아직은 순진(?)한 느낌이다. 우선은 Chat GPT가 가장 많은 사용자를 확보한 프로그램으로 현재 노션이나 기타 프로그램들과 콜라보로 많은 부분에서 사용되고 있다.  유료로 사용할 수 있는 GPT-4는 기본 설정인 GPT-3.5보다 훨씬 많은 양의 텍스트를 제공함으로 글을 쓰는 기획자나 작가들에게는 더욱 도움이 된다.

<Chat GPT로 만화/웹툰 제작하기>에서는 Chat GPT를 왜 활용해야 하는가에 대해 다음과 같이 정리를 하고 있다.

1) 캐릭터 및 대사 생성에 대한 자동화 : Chat GPT는 대화 기록과 유사한 입력을 받아 새로운 대화를 생성할 수 있는 능력을 가지고 있어서 작가들은 보다 쉽고 빠르게 캐릭터 대사를 만들어 낼 수 있다.

2) 창의성 증대 : Chat GPT를 활용하여 이야기를 생성할 때, 작가들은 기존에 없던 새로운 아이디어를 얻을 수 있다. 이는 새로운 플롯이나 캐릭터 개발에 있어서 큰 도움을 줄 수 있다. (예를 들어, 같은 설정에 장르만 살짝 바꿔서 명령을 해도 그럴 듯한 이야기를 만들어 내는 것도 볼 수 있었다.)

3) 시간과 비용 절감 : 작가들은 이야기 설정, 대사 작성에 필요한 비용을 줄일 수 있다.

4) 독자 맞춤형 서비스 제공 : Chat GPT를 활용하여 독자와의 상호작용을 높일 수 있다. 예를 들어, 독자들과의 대화 기록을 수집하고 분석하여, 새로운 스토리나 캐릭터 개발에 활용할 수 있다.

Chat GPT는 마치 옆에 조수 한 명을 데리고 대화를 통해 브레인스토밍을 하는 과정에 가장 최적화 되어있다는 느낌이다. 물론 작가가 의도없이 아무거나 생각해봐, 그러면 정말 아무거나 뱉어낸다. 아무리 똑똑한 조수를 데리고 있어도 뭘 시켜야 할지 막막하다면, 아무것도 일어나지 않을 것이다. 중요한 것은 작가의 ‘(잘 사용하겠다는) 의지’와 ‘(작품에 대한) 의도’가 반드시 필요하다는 것이다.

미국 기업 '아날라탄'에서는 인공지능(AI) 텍스트 생성 서비스 '노벨 AI'(Novel AI)(1) 프로그램을 내어놓았다. 노벨 AI는 입력한 문장의 문맥을 분석한 뒤, 이어지는 스토리와 대사를 즉석에서 '창작'해 내는 방식이다. 노벨AI는 이미지 생성기로도 유명하지만 글을 위한 버전만 무료로 제공하고 있다. <Chat GPT로 만화/웹툰 제작하기>라는 책에서 사용했던 스토리를 이어나가는 테스트를 진행해 보았는데 이 과정에서 노벨AI가 제공한 문장을 실시간으로 수정이 가능하여 이야기를 더욱 풍부하게 만들 수 있는 것을 확인할 수 있었다. 노벨 AI는 즉흥적인 이야기를 만들어 내는데 유용해보인다.

[ 그림1 노벨AI 작동화면 - 출처 https://blog.naver.com/lovingelly/223100585985 ]

"세이브더AI캣(2020)"과 "세이브더AI웹툰(2021)"은 한국콘텐츠진흥원에서 진행된 콘텐츠임팩트 프로젝트의 일환으로 김한재, 조지훈, 김종익, 이림경, 문태연 작가들에 의해 개발된 인공지능 기반의 글 작성 보조 프로그램이다. "세이브더AI캣"은 작가의 입력을 바탕으로 문맥을 파악하고 새로운 시나리오를 제안하며, 작가가 사용한 단어 중에서 유사한 의미의 단어나 관련된 힌트를 제공하여 창의적인 아이디어를 도출하고 완성도 높은 글 작성을 지원한다. 

[ 그림2  세이브더AI웹툰 시연장면, 엘프작가(조지훈) ]

또한 "세이브더AI웹툰"은 문장에 알맞는 그림 콘티를 자동으로 생성하는 프로그램을 개발하고 있으나, 저작권 문제와 데이터 수집의 어려움으로 인해 개발이 지연되고 있지만 엘프작가(조지훈)가 지속 연구중에 있다. 추후에 이러한 문제를 해결하면, 웹툰 작가들이 이용할 수 있는 새로운 창작 도구가 될 것이다. 국내에서 작가단위의 작은 연구 프로젝트에도 투자가 이루어진다면 더욱 빠른 연구가 진행되지 않을까싶다. 무엇이 필요한지를 가장 잘 아는 이들은 사용자일테니.

2. 작화

AI로 만화작품을 제작하는 연구는 이미 시도되고 있었다. ‘우주소년 아톰’으로 유명한 일본 만화가 故 데즈카 오사무(手塚治蟲ㆍ1928∼1989)의 신작이 사후 31년만에 인공지능(AI) 으로 탄생하게 되었는데 <파이돈(2020)>이 그 주인공이다. 데즈카 2020 프로젝트 팀은 데즈카 오사무의 만화 재창조를 위해 방대한 데이터를 수집하고 분류했는데 그러기 위해 65개 주요 장편 만화와 13개 단편 시나리오의 데이터를 추출하고, 이를 게이오대학의 '자동 시나리오 구축 시스템(2)'을 활용해 130개의 플롯을 생성했다. 이 결과물을 바탕으로 장남인 데즈카 마코토와 다른 시나리오 작가들이 참여해 최종 시나리오를 완성한 것이다. 인공지능 기술 '스타일GAN'을 사용하였는데 엔비디아의 실사얼굴 학습 모델을 기반으로, 수십만장의 인간 얼굴을 학습시킨 AI에 데즈카 작품 속 인물 300명의 표정을 분석한 캐릭터 이미지 수천장을 '전이학습' 방식으로 새로운 캐릭터 생성을 하는 것을 가능하게 했고 최종 캐릭터 디자인은 프로덕션의 만화가들이 참여해 완성하였다. AI는 전반적으로 플롯과 캐릭터 원안을 생성하는 역할을 하기는 했지만, 스토리 완성과 디테일 작업은 사람이 수행했다. 총체적으로 기술력으로 작품을 창조하는 프로젝트 였기 때문인지는 모르겠지만 일부 밑그림 작업은 로봇 팔이 그리기도 하였다. AI의 역할은 상대적으로 적긴했지만, 이런 방식의 작업이 지속된다면 AI의 역할이 점차 확대될 것으로 보인다.

[ 그림3 파이돈(2020), 데즈카 오사무 ]

이렇게 작가의 신작을 제작하기 위한 AI 연구는 국내에도 이현세 AI 프로젝트가 있다. 이 프로젝트는 웹툰제작사 재담미디어 소속 웹툰기술연구소와 세종대학교 융합콘텐츠연구소, 인공지능학과가 산학협력 연구팀을 구성하여 추진 중이다. 만화가 이현세의 기존 작품과 최근 작화 스타일에 대한 데이터를 획득한 후 이를 학습시켜 이른바 '이현세 스타일 이미지 생성 모델'을 만들고 있다. 현재는 연구팀을 중심으로 기존 작품의 리메이크 제작을 위한 개발 절차가 추진 중이다. 연구팀은 '리메이크 작품의 성과를 중심으로 만화가 이현세가 AI를 창작 도구로 사용한 첫번째 작품을 발표'하는 것까지를 1단계 목표로 두고 있다. 이와 관련 이현세 작가는 한 언론과의 인터뷰에서 '내가 세상에 없는데 나의 창작 세계가 인공지능을 기반으로 유지된다는 것은 끔찍하고 무서운 일'이지만 작가 입장에서 '준비해야 할 미래' 이고 '이겨내야 할 도전'이라고 했다. 재담미디어는 이현세 AI 프로젝트를 통해 '인공지능이 웹툰 창작의 도구로 활용'될 수 있는 사례를 도출할 것이라며 '기술과 노동의 관점에서 창작활동의 수월성과 효율성을 개선'한다는 계획이다. 

[ 그림4 주근깨 올컬러 웹툰화 ]

이런 종류의 프로젝트는 우리에게 원로 작가님들의 독특한 화풍과 스토리라인을 보존하면서 동시에 창작적인 새로운 작품을 만나볼 수 있는 획기적인 기회를 제공할 수 있다. 예를 들어, 故이상무 선생님의 외동딸인 박슬기 대표가 운영하는 독고탁컴퍼니는 아버님의 지식재산권(IP)을 존중하고 새로운 생명을 불어넣는데 전념하여 2022년에는 독고탁이 가장 처음 등장했던 작품 <주근깨>(3)를 올컬러 웹툰화를 하며 아이나무툰(4)에 서비스를 한 바 있는데, 이는 수작업으로 이루어낸 결과물이었다. 물론 웹툰 플랫폼에 복간을 선보였다는 점은 유의미한 성과였으나, 가장 시급한 것은 시대에 맞는 새로운 IP 스토리의 개발일 것이다. 이러한 프로젝트를 만날 수 있는 기회가 생긴다면 ‘독고탁’이 현대적인 요소를 반영한 새로운 IP로 변환되어 콘텐츠가 생산될 수 있겠다는 점에서 큰 기대가 쌓이고 있다. 결국, 이러한 AI 연구는 한국 만화산업이 새로운 방향으로 나아갈 수 있는 중요한 발판이 될 것으로 예상된다.

[ 그림5 스테이블 디퓨전으로 웹툰 제작 테스트 중인 옥토끼스튜디오 ]

옥토끼 스튜디오에서는 최진규 작가의 <기사 가문 망나니는 10클래스> 작품을 기반으로 Stable Diffusion의 컨트롤넷과 인페인트 기능에 펜터치를 학습시킨 파일을 적용하여 원고 적용을 위한 샘플 제작 연구에 한창이다. 상당히 자연스럽고 연출 또한 잘 된 샘플들을 볼 수 있었는데 다만 얼굴형이나 이목구비의 학습 데이터가 주인공 위주여서 그런지 대부분의 캐릭터 묘사가 비슷하게 이쁘다는 점이 단점이다. 하지만 조만간 캐릭터들의 학습데이터가 쌓일테니 다양한 캐릭터 구현도 가능할 때가 머지않았을 터이다. 

[ 그림6 미드저니의 고질적인 손가락오류 ]

최진규 작가는 AI 그림 도구에 대해 매우 긍정적으로 바라보고 있다. 그는 "과거 흑백 만화에서 스크린톤이 등장하면서, 또 펜과 잉크로 작업하던 배경맨에서 스케치업으로 작업이 넘어가며, 그림의 품질이 크게 향상된 것처럼, AI 그림 도구 역시 창작 과정에 혁신을 가져올 것"이라고 믿고 있다. 또한, 그는 혼자서 작업하는 만화가들에게 AI 그림 도구가 큰 도움이 될 것으로 예상하며, 직업 특성상 많은 작업량으로 인해 생기는 허리 디스크와 같은 건강 문제들에 대한 해결책으로 AI를 보고 있기도 하다. 그는 "이상적인 AI 그림 도구의 활용은 작가들의 건강을 지켜주는 방어막과 같은 역할을 할 것"이라며, 이 도구의 활용법은 작가의 개인 역량에 따라 달라질 것이라고 강조하였다.

[ 그림7  비디오 투 애니메이션 적용 예 ]

박은혁 작가의 <랜덤채팅의 그녀(258화)>는 2022년 10월에 AI를 사용한 작화에 대한 논란에 휩쓸렸다. 이에 따라 원래의 작화 스타일로 원고가 교체되었던 일이 있다. 당시에는 AI를 창작 도구로 활용하는 것에 대한 부정적인 인식이 많았고, 창작자들 사이에서 AI는 건드려서는 안 될 선악과와 같은 애매한 존재로 느껴지기도 했었다. 그러나 지금은 분위기가 다르다. 이제는 최고의 이야기를 만들기 위해서라면 어떤 도구라도 적극적으로 받아들이고, 자신의 창작 도구로 만들어 활용하는 것이 중요한 과제로 여겨지고 있다. 이는 창작 과정에서 AI의 역할과 가능성을 새롭게 인식하는 변화를 반영한 것일 것이다.

[ 그림8 랜덤채팅의 그녀 ]

학습된 그림체에 관한 저작권 이슈는 끊이지 않을 것으로 보이는데, 미국 작가 조합(WGA)(5)은 “AI는 창작 도구이지만 저작권을 가질 수 없으며 작가로 인정받을 수 없다. 그리고 AI가 생성한 결과물은 각색될 수 있으며 이때 작가는 각색 크레딧을 받을 수 있다.”고 AI에 관한 5대 원칙을 정리했는데 이 부분에 대해 다양한 해석들을 하며 창작에 매진하고 있는 스튜디오와 작가들이 있다.

현재 미드저니와 Stable Diffusion이 스튜디오와 작가들 사이에서 가장 많이 사용되고, 시도되고 있는 프로그램이다. 일본 만화체를 원한다면 니지저니를 사용하기도 한다. (지금도 실시간으로 기능이 업데이트되고 있는 중이다.) 미드저니는 콘셉아트에 탁월한 능력을 보이고 있고, Stable Diffusion은 세부조정을 통해 컷연출, 애니메이션화까지 가능성을 보이고 있다. 명령어를 프롬프트라고 하는데 이 프롬프트를 어떻게 입력하느냐에 따라 다양하고 완성도가 놓은 이미지를 얻을 수 있다. 향간에 AI를 사용하면 치트키일 것 같고 뚝딱하고 나오는 도깨비방망이 같은 존재라고 생각하기도 하는데 실제 써보면 원하는 이미지를 얻기 위해 부단한 연구가 필요하다는 것을 깨닫게 된다. 우선은 아직까지 컷과 컷을 연결해주는 지속성이 부족하며, 세심한 연출과 캐릭터의 연기 등은 작가의 의도대로 바로 나오지는 않기 때문이다. 물론 아직 원고 경험이 적고 작화가 자리잡지 않은 예비 작가들의 수준에서 보면 훌륭할 수도 있겠지만, 우리의 목표가 거기에 있는건 아니지 않은가?

<일반적인 작화 연구 진행순서>

1) 미드저니로 컨셉아트 뽑아보기

2) 스테이블 디퓨전 Stable Diffusion 이미지를 생성해보기 : 다양한 서비스 ver.

3) 콘트롤넷(controlNet) 적용해보기 : 오픈포즈, 캐니, 뎁스맵, 스크리블 등

4) 비디오 투 애니메이션 사용해보기

3. 배경 (스케치업, 리얼타임 게임 엔진 기술(6) 그리고 스냅툰)

웬만한 자동화 시스템은 AI로 일컫는다 치면 이들 프로그램도 여기에 속할 수 있겠다.

국내에서 웹툰 연구가로 AI에 관련하여 가장 활발한 연구를 하고 있는 엘프작가(조지훈)는 2023 웹툰포럼(23.03.24)에서 'AI의 영향과 웹툰 작가의 생존 전략'이라는 주제 중, DepthMap과 스케치업을 사용한 배경 활용법에 관해 발표하였는데, 스케치업으로 간단한 모델링을 하고 구도를 잡은 후 프롬프트의 입력에 따라 다른 결과를 가져올 수 있다고 하였다. 시대, 기후, 트렌드에 구애받지 않고 충분히 창의적이고 고증이 담긴 결과물을 도출 할 수 있다는 것을 확인 할 수 있었던 자리였다.

[ 그림9 엘프작가 시연 ]

일본에서도 이러한 배경을 활용하고 있는 작가가 있다. <Dead Dead Demon's Dededede Destruction(2020)>라는 작품을 발표한 아사노 작가는 실시간 기술을 배워갈수록 다양한 방법으로 그림을 표현할 수 있다고 하였다. “예전 같았으면 번거로워서 고려하지 않았을 기법들을 언리얼 엔진으로 시도해보기 시작했다. 신(scene)에 뭔가 없거나 허전해 보이면 에셋을 사서 화면에 추가한다. 그러면 환경을 더 빨리 원하는 방식대로 꾸밀 수 있는데 이는 새로운 창의적 지평을 열어준 실시간 기술이라고 볼 수 있다.”라며 긍정적인 평을 하였다. 게다가 한 번 그리면 끝인 수작업 삽화에 비해 3D 모델은 재사용할 수 있고 다른 각도에서도 그릴 수 있다는 장점을 크게 꼽았다.

[ 그림10 좌) Dead Dead Demon's Dededede Destruction, Inio Asano. 2020. 우) 광해의 연인 (스냅툰 사용) ]

국내 서비스로는 스냅툰을 꼽을 수 있겠는데, 게임을 하는 듯한 쉬운 조작법으로 스냅툰 자체 모델링 외에도 스케치업 파일 역시 사용이 가능하도록 개발이 되었다. 이동과 클로즈업, 화각과 조리개 등의 카메라 연출은 물론 조명, 선 변형이나 추출 등, 만화에 적합한 소스로 변환하여 별도의 보정과정 없이 배경으로 바로 사용하기 쉽게 서비스가 되고 있다. 졸업예정자 무료모델링 등의 서비스도 하고 있으니 관련학과 학생이라면 적극적으로 사용하기를 추천한다.

그 외에도 지속적인 장면 사용이 필요한 경우가 아닌 경우는, 미드저니, 스테이블 디퓨젼 등의 툴로 필요한 장면들만 추출하여 사용을 하는 방법도 있겠다.

4. 만화/웹툰 확장 콘텐츠

2021년 2월에는 중국 다롄이공대학과 홍콩시티대학의 연구팀이 비디오 영상을 만화로 자동 변환하는 시스템을 개발하여 발표한 바 있다. 이 시스템은 자막이 있는 입력 비디오를 분석하여 키 프레임을 추출하고, 이를 만화 스타일 이미지로 변환한다. 또한, 다중 페이지 레이아웃 프레임워크를 활용하여 여러 페이지에 걸쳐 이미지를 배치하며, 이미지 간의 관계를 반영하여 눈길을 끄는 레이아웃을 생성한다. 이 시스템의 특징은 등장인물의 감정에 따라 말풍선의 형태를 다르게 생성한다는 점인데 이를 위해 영상의 오디오 트랙과 자막을 분석하여 각 대화에서 전달되는 감정을 파악하며, 이를 바탕으로 말풍선의 모양과 단어의 크기를 조정한다. 이 시스템은 '타이타닉', '바람의 소리', '프렌즈', '업 인 디 에어' 등의 영화와 드라마에서 발췌한 16개의 비디오 클립을 기반으로 만화를 생성해 시스템의 성능을 증명하였다.

국내에서는 2000년대 초반에 <커피프린스>, <주몽>, <궁> 등의 드라마를 사진 만화로 재구성한 콘텐츠가 큰 인기를 끌었었다. 하지만 지금은 이러한 형태의 사진 만화책이 발행되지 않는 것을 보면, 배우들의 초상권을 고려한 개런티 문제 등으로 상당한 비용이 발생하였을 것으로 예상한다. 현재 주목받고 있는 AI 이미지 변환 기술이 이러한 문제를 해결하는데 도움이 될 수 있을지 관심이 집중되고 있다.

* 참고자료 및 관련 링크

(1) https://novelai.net/

(2) 본에서도 AI의 저작권에 관한 고민을 한다. AI를 도구로 활용해 인간이 창작한 경우엔 저작권을 인정하지만, 인간이 창작에 관여하지 않은 채 AI가 만들었을 경우에는 이를 인정하지 않는다.는 것이 일본 정부의 입장이다. 저작권을 인간의 창작물에 대한 권리로 해석한 것인데 일본 현행법도 저작권의 대상을 ‘인간의 사상이나 감정을 표현한 창작물’로 정의하고 있어 사상과 감정이 없는 AI는 저작권의 대상이 아니다.

(3) 강동대학교 만화애니메이션콘텐츠과와 협업으로 진행하였다.

(4) https://www.inamutoon.com/Toon/Cartoon/detail/372 전 회차를 무료로 감상할 수 있다.

(5) WAG 공식 홈페이지: https://www.wga.org/ 

(6) https://www.unrealengine.com/marketplace/ko/store

1부) 기술의 발전과 현재

2부) AI 기술을 활용한 웹툰 제작 활용 및 사례

3부) 잡아먹을 것인가, 잡아먹힐 것인가?