AI시대, 작가는 어떻게 준비해야 하는가?

2023년을 뜨겁게 달군 이미지 생성형 AI

  작년 이맘때쯤 본 웹진에 ‘인공지능에 대한 창작자들의 목소리들’이라는 주제로 기획기사를 작성했다. 이제 막 소문이 돌기 시작한 이미지 생성형 인공지능에 대한 다양한 괴담(?)과 실체를 확인해 보고 창작자들이 생각하는 바를 알아보는 글이었는데 그 후, 정확히 1년 하고 한 달이 지났다. 본 기획기사는 이제 본격적으로 다가온 AI 시대에 작가들은 어떤 준비를 해야 하는지에 대해 알아보는 글이 되겠다.

예비 창작자들은 AI를 얼마나 활용할까?

  대학에서 학생들을 가르치는 것과 연구하는 것을 주 업으로 삼고 있지만, 학교에서 인공지능을 활용한 작업물을 접할 기회는 많지 않다. 학생들은 생각보다 인공지능에 대한 관심도가 높지 않아 예비 창작자들이 생각하는 인공지능에 대한 인식과 이를 활용하는 사례를 접하기 어렵기 때문이다. 이는 우리 학교 학생들에게만 적용되는 이야기는 아닌듯하다. 타 대학에 2~3회 정도 인공지능 관련 특강을 할 기회가 있었고, 그때마다 이미지 생성형 인공지능에 대한 활용 여부를 조사해 봤는데 실제로 활용하는 학생들은 거의 없었다. 타 학교 교수들과 관련 사례를 공유해 보기도 했지만 대부분 마찬가지였다. 일부 인공지능에 대한 관심도가 높은 학교가 있어 비교과 커리큘럼 등에 AI를 도입하는 사례가 있는데, 현재까지는 실험적인 수준에 해당한다 볼 수 있겠다. 다만 작년부터 인공지능을 활용한 대학 교육에 대한 포럼 및 세미나가 꾸준히 진행되었기 때문에 점차 관심이 높아질 것으로 보인다. 인공지능 기술에 대한 관심도가 높은 교강사들을 중심으로 본격적인 인공지능 활용 수업을 진행하는 사례도 일부 보이고 있다.

  직업적으로 인공지능 기술을 활용한 작품을 가장 흔하게 접할 수 있는 기회는 공모전, 지원 사업 등의 심사를 통해서였다. 작년 초부터 현재까지 15~20회 정도의 웹툰 및 콘텐츠 관련 평가, 심사를 통해 현역에서 활동하고 있는 작가 및 기업, 예비 창작자들의 인공지능 활용 변화를 눈에 띄게 체감할 수 있었다. 대부분 기획 단계에서 이미지 생성형 인공지능 기술을 사용하여 캐릭터 및 배경 콘셉트 이미지를 만들어내는 정도로 활용하고 있었는데 결론부터 말하자면 대부분의 결과가 그리 좋지 않았다. 스테이블디퓨전, 미드저니 등 이미지 생성형 AI의 숙련도가 높지 않았고, 웹툰에 적합한 이미지를 만들어 내는 사례가 드물었다. 심사를 경험하며 느꼈던 점은 웹툰 작가, 기업들보다는 다른 전공자들이 이미지 생성형 AI 기술을 활용해 웹툰 관련 지원을 받기 위해 급조하여 만든 기획들이 많다는 것이다. AI에 대한 관심은 높아졌지만 예비 창작자들 사이에서는 아직까지 이를 적절한 수준으로 활용한 작품을 찾아보기는 어려웠다.

현직 웹툰 작가들의 AI에 대한 인식과 활용

  그렇다면 현직 작가들은 AI 기술을 어떻게 인식하고 있으며 어떤 방식으로 활용하고 있을까? 작가들의 AI 활용에 대한 인식을 일부 들여다볼 수 있는 한국콘텐츠진흥원의 ‘2023 웹툰 실태조사’를 살펴보면 긍정적 의견과 부정적 의견이 엇비슷함을 알 수 있다. 작가들의 AI 활용 의향은 ‘의향 있음’ 36.1%, ‘의향 없음’ 35.1%로 큰 차이가 없었다. 기업 역시 비슷한 결과를 보였는데 ‘의향 있음’ 41.2%, ‘아직 생각해 보지 않았다’ 49.7%, ‘의향 없음’ 9.1%로 나타났다. (이재현, AI 입은 웹툰...득 될까 독 될까, MoneyS, 2024) 의향이 없는 작가들 중에서는 기술에 대한 적응력 문제뿐만 아니라 AI 기술 활용 자체를 주저하는 경우도 많다. 이미 많은 매체에서 닳고 닳도록 말해왔던 것이긴 하지만, 이미지 생성형 AI 활용을 주저하는 대표적인 이유는 저작권 침해에 따른 독자들의 비난이라 볼 수 있다. AI와 저작권에 대한 이슈들은 아직까지도 명확하게 정리되지 않아 그 허용 범위에 대한 논란이 지속되고 있으며 작년 초 일부 작품의 AI 사용에 따른 독자들의 반발심까지 더해 적극적으로 AI 기술을 사용하는 것에 대해 조심스러운 상황이다. 때문에 AI 기술을 보유한 기업들이 자사의 AI 기술을 적극적으로 홍보하지 못하고 있으며 이러한 연유로 AI를 활용한 웹툰 작품에 대한 실태 파악이 쉽지 않은 상황이라 볼 수 있겠다.

  그럼에도 불구하고 AI 기술을 적극적으로 활용하여 제작한 작품들이 일부 있다. 카카오 페이지에서 연재한 ‘22세기’의 경우 거의 모든 공정을 이미지 생성형 AI를 활용해 제작한 작품이다. 정식 연재되진 않았지만 네이버 웹툰 공모전에 응모한 ‘팝콘예술고등학교’역시 비슷한 방식으로 제작되었다. 두 작품을 보면 이미지 생성형 AI를 활용해 제작한 작품의 한계를 체감할 수 있는데, 대다수가 단독 컷 위주이며 표정 묘사가 부자연스러워 작품을 감상하는 것이 힘들 정도로 몰입도가 떨어진다. 단편적인 이미지들은 완성도가 높지만 인물 간 통일성이 부족하거나 다양한 표정 묘사, 동적인 동작, 여러 인물들의 상호작용이 현저하게 부족하다. 특히 ‘22세기’의 경우 각각의 컷마다 인물의 모습이 바뀌어 몰입도를 떠나 스토리를 이해하는 것에도 어려움이 있을 정도다. ‘22세기’는 현재 모종의 이유로 초반 이미지와 완전히 다른 새로운 이미지로 교체되어 본 글에서 묘사한 내용을 확인할 수 없다. 두 작품의 경우 대사도 매우 어색한데 이는 전문적인 웹툰 작가가 제작하지 않았다는 느낌을 준다.

△ '팝콘예술고등학교', 네이버 도전만화 

  본격적으로 이미지 생성형 AI를 활용하여 제작을 보조하는 전문 서비스도 생겼다. 이를 서비스하는 플랫폼인 ‘젠버스’는 이미지 생성형 AI를 활용해 무료로 웹툰 3화를 제작해 주는 프로모션을 진행했고 많은 문의로 서비스를 조기 종료한다고 밝혔다. 공개된 포트폴리오 중 ‘폭군이 사과를 먹는 이유’는 전형적인 이미지 생성형 AI의 연출 한계를 보여주고 있는데, ‘연전연패’의 경우 인물 간 상호작용이나 표정 등이 꽤나 그럴싸하게 표현되어 있다. 젠버스에서는 선화, 명암, 후보정 등의 과정을 지원한다고 밝혔는데, 콘티 등의 제작 공정은 일반적인 방식으로 제작하기 때문에 이와 같은 자연스러운 연출이 가능한 것으로 보인다. 인터뷰에 따르면 이미지 생성형 AI 기술의 한계가 있어 콘티와 최종 보정 및 수정 작업은 사람이 하는 방식으로 제작한다고 한다. (임경엽, 라이언로켓 실리콘밸리 VC가 한국 웹툰 AI에 초기 투자한 이유는?, 조선일보, 2024.6.26.)

△ '연전연패', 젠버스

  그 외 공개적으로 AI 사용을 밝히지 않아 작품명을 공개하기 어렵지만 캐릭터를 3D 모델로 제작한 후 이를 스테이블디퓨전으로 보정하여 연재하고 있는 작품도 있다. 이 작품의 경우 AI가 갖는 연출적 한계를 극복할 수 있어 정보를 접하지 않고 감상할 경우 일반 웹툰과의 구분이 어려울 정도이다. 다만 3D 모델링의 특성상 웹툰에서 자주 등장하는 과장된 표정 등의 묘사가 어려운 점이 한계로 지적된다.

  현재까지의 상황을 정리해 보면, 대학생 등 예비 창작자들의 AI 사용은 희박하며, 각종 공모전, 지원 사업 등에 제출된 작품들의 AI 숙련도 역시 낮은 상황이다. 프로 작가들의 작품에서도 독자들의 반발심 때문에 적극적으로 사용이 어려운 상황이며, 일부 AI를 활용한 작품들이 연재되고 있지만 기존 일반적인 웹툰 작품들과는 경쟁이 불가능할 정도로 그 수준이 낮다 볼 수 있겠다. 현재까지의 상황은 이렇다. 그렇다면 작가들은 앞으로 어떤 것들을 준비해야 할 것인가?

  필자는 앞서 소개한 ‘인공지능에 대한 창작자들의 목소리들’ 이외에도 ‘AI 그림과 웹툰 플랫폼은 어떻게 진화하고 있을까?’, ‘인공지능을 활용한 웹툰 제작 기술은 어디까지 왔을까?’ 등 AI를 활용한 웹툰 제작 방법 및 플랫폼에 대한 글을 꾸준히 작성해왔다. 또한 학술대회를 통해 ‘이미지 생성형 AI를 활용한 웹툰 제작 특성과 연출 한계 분석’을 발표하기도 했다. 이 글들의 핵심을 요약하자면, AI를 활용한 이미지 제작은 단편적인 이미지를 만들어내는 것에는 효용성이 높지만 본격적인 웹툰 제작을 위한 연속적인 이미지를 만들어내는 것에는 한계가 있다는 점, 이미지 생성형 AI를 활용해 제작한 국내외 작품들을 다수 분석한 결과 대다수 작품의 단독 컷의 비중이 90%에 이를 정도로 인물 간 상호작용 컷이 적어 스토리를 이해하거나 몰입하는 것에 어려움이 있다는 점이다. 이러한 이유로 인공지능이 대체하기 힘든 영역은 연출 분야에 있다는 점을 일관적으로 이야기 해왔다. 본 글의 주제인 ‘AI 시대에 작가는 어떻게 준비해야 하는가?’에 대한 결론도 이와 맞닿아 있다.

웹툰 작가들이 AI를 활용해야 가장 논리적인 이미지를 만들 수 있다

  앞서 살펴봤던 다양한 사례에서 등장하는 인공지능 기술을 활용한 웹툰은 대다수가 웹툰 작가들이 제작한 작품이 아니다. AI에 관심이 많은 개발자, 경영자, 게임 등 비슷한 분야의 제작자 들이다. 어찌 보면 2000년대 초창기 웹툰 시장과 비슷한 느낌마저 든다. 출판만화 시장에서 활동하던 만화가들은 네이버, 다음 등 웹툰 플랫폼에 적응하지 못하거나 한 단계 낮은 시장이라 인식하고 웹툰 시장 진입을 한동안 부정적으로 생각했었다. 이와 비교하기에 완전히 맞아떨어지진 않겠지만 현재 AI를 바라보는 상황도 유사한 측면이 있다고 본다. 이런저런 이해관계가 얽혀있는 웹툰 작가들에 비해 타 분야의 전문가들, 아마추어들은 발 빠르게 AI를 웹툰에 적용하고 있다. 웹툰 전문가가 보기에 그 결과가 그리 만족스럽지 않은 결과물들을 자랑스럽게 보여주기도 한다. AI 커뮤니티, 유튜브 등에 공개된 AI 활용 강의들은 웹툰 작가들의 강의보다 타 분야 전문가들의 웹툰 제작 강의가 더 많다. 대다수의 강의들은 이미지 투 이미지 기술을 적용하거나 스테이블디퓨전의 컨트롤넷 모델인 오픈포즈, 인페인트 등의 기술을 활용하여 그럴싸한 웹툰 이미지를 만들어내는 정도이다. 이들은 ‘이러한 방식으로 손쉽게 웹툰을 만들 수 있다, 비전문가인 자신들도 이렇게 만들어낼 수 있으니 앞으로 웹툰은 이러한 방식으로 누구나 만들 수 있는 콘텐츠가 될 것이다’라고 말한다. 과연 누구나 손쉽게 웹툰을 만들 수 있을까? 그럭저럭 웹툰처럼 보이는 이미지는 만들 수 있다. 그러나 재미있고 몰입도 높은 웹툰을 만들 수는 없다. 한마디로 다른 프로 작가가 그린 웹툰들과 경쟁할 수 있는 작품을 만들 수는 없다는 것이다. 당연하게도 웹툰은 단편적인 이미지의 완성도로만 결정되는 것은 아니기 때문이다. 웹툰은 연속성에 기반을 두고 있기 때문에 만들어진 이야기가 연속된 컷의 나열을 통해 완성된다. 이를 이미지 생성형 AI로 일관성 높게 만들어내는 것이 어려운 지점이다. 반복적으로 이야기하고 있지만 결국 자연스럽고 논리적인 콘티를 AI가 만들어낼 수 없고, 이는 웹툰 전문가가 아닌 아마추어들이 쉽게 접근할 수 없는 진입장벽이 되며 이를 해결할 수 있는 것은 웹툰 작가들이 거의 유일하다는 점이다. 당연한 말이지만 웹툰 작가들은 이미지 생성형 AI가 가진 단점을 충분히 보완할 수 있는 역량을 갖추고 있으며, 이를 가장 효용성 높게 활용할 수 있는 집단이라는 것이다.

AI 시대, 작가는 어떻게 준비해야 하는가?

  그렇다면 이미 코앞으로 다가온 AI 시대에 작가들은 어떻게 준비해야 하는가? 많은 작가들은 이미 스테이블디퓨전 등의 이미지 생성형 AI를 적절하게 활용하고 있다. 또 다른 많은 작가들은 AI 기술에 대한 거부감, 어려움 등의 이유로 이를 전혀 활용하고 있지 않고 있는 양극화 현상이 벌어지고 있다.

  앞서 소개한 ‘젠버스’의 경우 20개 이상의 기업이 자사 AI 제작 시스템을 통해 웹툰을 제작하여 연재하고 있다고 밝혔다. 다만 젠버스는 B2B 한정으로 기업을 대상으로 서비스하고 있어 개인의 활용이 어렵다. 물론 개인이 활용할 수 있는 서비스도 많다. 스토리를 입력하면 웹툰을 제작해 주는 ‘로어 머신’, 기획 단계부터 콘티까지 제작 보조를 해주는 ‘투툰’, 투툰에 ChatGPT를 결합한 ‘투툰GPT’, 일찍이 AI 시장에 진입한 ‘딥툰’, 딥툰과 협업을 진행했던 툰스퀘어의 ‘투닝’ 등 많은 기업에서 인공지능을 활용한 웹툰 제작 툴을 개발하고 있는 상황이다. 이 많은 것들을 작가들이 모두 사용하기는 어렵다. 모든 툴에 관심을 갖고 활용해 볼 수도 있겠지만 대다수의 툴들은 프로 작가들의 연재 작품에 활용하기에 아쉬운 완성도를 갖고 있다. 때문에 AI를 업으로 삼고 있는 게 아니라면 이들을 모두 사용해야 한다는 강박을 가질 필요는 없다. 많은 관심을 받았던 자동 채색, 자동 펜터치 등의 작업 공정역시 계속해서 발전하고는 있지만 여러 명의 인물이 등장하거나 중첩된 인물 등을 명확하게 구분하는 것에는 여전히 어려움을 겪고 있어 적극적인 활용이 쉽지 않다.

  현재 상황에서 가장 관심을 가져야 할 도구는 ‘스테이블디퓨전’과‘챗GPT-4’ 정도가 되겠다. 이 긴 글의 결론이 누구나 다 알고 있는 두 가지 도구를 활용하라라는 것이라는 것에 다소 허탈할 수 있겠다. 그러나 이것이 가장 현실적이면서 심플한 활용 방법이라고 생각한다. 지난 1년간 미드저니, 달리, 노벨AI 등을 제치고 이미지 생성형 AI 생태계를 정리한 ‘스테이블디퓨전’과 누구나 보편적으로 활용하는 ‘챗GPT-4’를 적극적으로 공부하고 활용하는 것이 일반적인 웹툰 작가들이 할 수 있는 현실적인 방법이라고 본다. 그 외의 수많은 도구들은 챗GPT와 스테이블디퓨전이 그랬듯, 혹은 그전에 클립스튜디오와 스케치업이 그랬듯 보편적인 도구로 보급되고 발전되었을 때 사용해도 늦지 않을 것이다. 스테이블디퓨전을 적극적으로 활용할 수 있는 공정은 스토리, 콘티 단계가 아닌 일부 배경, 엑스트라, 소품 등이다. 이미지 생성형 AI를 활용해 비전문가도 웹툰을 만들 수 있는 시대가 왔다고 홍보하고 있지만, 상술했듯 실상은 연출에 대한 이해와 적절한 활용이 없다면 어색한 이미지의 나열로 끝나게 된다. 챗GPT는 보다 더 폭넓은 방식으로 활용이 가능하다. 챗GPT-4 모델은 자료 학습이 가능하며 이를 활용해 여러 카테고리로 분류하여 필요에 따라 꺼내 쓸 수 있다. 추가로 DALL·E-3, Comicai 등 다양한 이미지 생성형 모델들을 연계할 수 있어 접근성과 그 활용도가 높아졌다.

  정리하자면, 가장 보편적이면서 많이 활용하는 도구들을 중심으로 공부하며 준비하되 AI가 학습하고 접근하기 어려운 연출 역량을 키우고, 적절한 공정과 장면에 AI를 사용할 수 있어야 한다. 이러한 방법을 통해 웹툰 제작 효용성을 보다 높일 수 있을 것이다. 앞서 소개한 ‘젠버스’역시 AI의 한계를 인식하고 콘티와 후반 작업은 사람의 손을 거쳐 진행하고 있다고 밝혔으며, 작가 개개인이 AI 시스템을 온전히 이해하고 툴을 개발하여 활용하는 것이 어렵기 때문에 B2B 서비스를 통해 제작 스튜디오를 중심으로 비즈니스 모델을 구축했다고 인터뷰했다. 아직은 AI가 웹툰 제작 공정을 드라마틱 하게 줄여준다고 말하기는 어렵다. 전수조사를 하진 않았지만 학생 및 예비 작가들, 웹툰 관련 심사 및 지원 사업에 지원한 작품들, 주변 웹툰 작가들과의 사담을 통해 알 수 있는 점은 아직까지도 AI 기술을 적극적으로 활용하는 작가 및 예비 작가들은 소수이며 막연한 불안감을 갖고 있는 작가들이 다수라는 점이다. 필자의 다른 글을 통해 AI를 활용한 툴이나 플랫폼을 다수 소개했었고, 본 웹진에도 AI 관련 다양한 도구들이 소개되어 있어 본 글에서는 현실적인 사례들을 중심으로 소개했다. 이를 통해 막연한 불안감을 떨쳐내고 타 분야 전문가들보다 먼저 적절한 방식으로 AI 기술을 적용할 수 있기를 기대해 본다. 최근엔 문화체육관광부와 한국저작권위원회에서 발행한 ‘생성형 AI 저작권 안내서’가 발행되었으니 최소한의 가이드가 마련되었다. 이를 참고하여 저작권을 침해하지 않는 선에서 AI 기술을 웹툰에 적용할 수 있도록 꾸준한 관심을 갖고 활용해 보도록 하자.

<참고문헌>

이재현, AI 입은 웹툰...득 될까 독 될까, MoneyS, 2024, https://www.moneys.co.kr/article/2024022310504296486

임경엽, 라이언로켓 실리콘밸리 VC가 한국 웹툰 AI에 초기 투자한 이유는?, 조선일보, 2024.6.26., https://www.chosun.com/economy/smb-venture/2024/06/24/PQW5RRYVQBHCVCXI54ABQIDMUM/

백종성, AI 그림과 웹툰 플랫폼은 어떻게 진화하고 있을까?, 만화규장각, 2023, https://www.kmas.or.kr/webzine/ContemporaryComicsJournal/2024020033

백종성, 인공지능을 활용한 웹툰 제작 기술은 어디까지 왔을까?, 만화규장각, 2023, https://www.kmas.or.kr/webzine/ContemporaryComicsJournal/2023040069

백종성, 이미지 생성형 AI를 활용한 웹툰 제작 특성과 연출 한계 분석, 2024 봄 (사)한국만화웹툰학회 국제학술대회, 2024.