※ 위 '뷰어로보기'를 클릭하시면 도서 형식으로 보실 수 있습니다.

AI 그림과 웹툰 플랫폼은 어떻게 진화하고 있는가?

들어가며

2022년 후반부터 급격하게 관심도가 높아진 AI 분야는 현재에 이르러 보편적인 일상이 되었다. 대화형 인공지능인 챗GPT(ChatGPT)는 누구나 일상적으로 사용 하고 있고 노블AI(NovleAI)로 충격을 줬던 AI 일러스트는 미드저니(Midjourney), 스테이블 디퓨전(Stable Diffusion), 달리(DALL-E) 등 발전된 생성형 AI 플랫폼을 통해 반실사, 실사 형태의 이미지를 자연스럽게 만들어 내고 있다. 또한 유튜브 쇼츠, 인스타그램 릴스 등의 미디어 플랫폼에서 사용자들이 촬영한 영상이나 아이돌 영상 등을 AI 기술로 보정한 애니메이션을 흔히 볼 수 있다.

하루가 다르게 새로운 기술이 등장하자 이를 발 빠르게 접목한 결과물들에 대한 기대감과 우려가 동시다발적으로 나오고 있다. 웹툰 시장 역시 AI 기술에 대한 관심을 보이고 있지만 동종 관련 분야에 비해 발 빠른 적용을 하지 않고 있다. 단일 일러스트와 달리 통일감을 갖는 연속적인 이미지를 표현해야 하며 많은 인물이 등장하고, 인물 간의 상호작용, 표정의 묘사, 다양한 연출이 중요한 웹툰에 적용할 수 있는 AI 기술의 한계가 있었기 때문이다. 또한 네이버웹툰 〈랜덤 채팅의 그녀!〉에서 일부 장면을 AI를 활용한 이미지를 사용했다가 독자들의 항의로 교체한 것과 인공지능 보정 기술을 사용하여 독자들에게 생성형 AI 기술로 만든 작품이라는 오해를 받아 지속적으로 비난을 받고 있는 〈신과함께 돌아온 기사왕님〉의 사례에서 볼 수 있듯 AI 기술을 활용한 창작에 대한 독자들의 반발심이 상당하다는 것도 한몫할 것이다.

그럼에도 불구하고 AI 기술을 통해 웹툰을 제작하려는 시도는 꾸준히 이뤄지고 있으며 이미지 생성형 AI 기술은 날로 발전하고 있다. 본 글에서는 AI 기술을 활용한 그림 플랫폼, 그중에서도 웹툰을 포함하고 있는 플랫폼들을 살펴보고 이미지 생성형 AI의 발전과 적용 현황을 소개하고자 한다.

AI 이미지 생성 모델 및 플랫폼

스테이블 디퓨전(Stable Diffusion)

  웹툰 형식의 AI 이미지 생성은 미드저니, 스테이블 디퓨전, 달리 등을 활용하여 만들어 낼 수 있다. 최근에는 스테이블 디퓨전을 활용해 제작하는 경향이 두드러진다. AI 이미지 생성의 대중화를 불러온 모델인 데다, 타 유로 모델들에 비해 오픈소스로 공개되어 있어 다양한 사람들이 기술을 개선하고 발전시키는데 빠르게 기여하며 지속적으로 새로운 어플리케이션을 만들어 내기 때문이다. 또한 포토샵에 스테이블 디퓨전 플러그인을 설치해 사용하는 것처럼 다양한 프로그램과 연계하여 추가로 작업할 수 있는 장점이 있다. 대표적인 새로운 확장 모델인 컨트롤넷(ControlNet)은 스테이블 디퓨전의 오픈소스를 활용한 좋은 사례로서 색 보정, 선 추출, 뎁스 조정, 오픈포즈 기능 등을 통해 생성된 이 미지를 조금 더 정교하게 만들어 주는 역할을 한다.

▲ 오픈포즈를 활용한 이미지 생성. (사진 출처- Adding Conditional Control to Text-to-Image Diffusion Models)

  가장 유용한 기술은 오픈포즈인데 3D 모델, 사진 등으로 포즈를 만들거나 찾은 후 구현하려는 레퍼런스 이미지를 적용하면 미리 지정해 둔 포즈와 유사한 이미지가 생성된다. 춤추는 아이돌 사진을 찾아 웹툰 캐릭터 이미지에 적용하면 춤추는 웹툰 캐릭터 이미지를 만들어 내는 식으로 일정 부분 포즈 변경도 가능하다.

  이를 통해 기존 프롬프트만으로 해결하기 어려웠던 동작 문제를 많은 부분 해결할 수 있다. 또 웹툰, 일러스트 형식에 어울리는 그림체로 계속해서 발전하고 있기 때문에 웹툰 제작에 스테이블 디퓨전을 많이 사용하고 있다.

시비타이(Civitai)

  시비타이(Civitai)는 다양한 창작자들이 올린 AI 이미지 학습 모델과 프롬프트 정보들을 모아 놓은 곳으로 AI 이미지 생성을 위해 찾는 큰 규모의 플랫폼이다. 스테이블 디퓨전과 연계하여 활용할 수 있으며 ‘체크포인트’, ‘로라’ 등의 모델을 주로 활용한다.

  시비타이 플랫폼 상단 메뉴에는 ‘캐릭터’, ‘스타일’, ‘베이스 모델’, ‘포즈’, ‘오브젝트’ 등의 다양한 메뉴를 통해 원하는 이미지를 손쉽게 검색할 수 있다. 또 해당 이미지를 클릭하면 프롬프트 정보가 표기되어 있다. 스테이블 디퓨전만을 활용하여 원하는 포즈와 표정, 완성도 높은 이미지를 만들어 내기가 어렵기 때문에 시비타이 등의 플랫폼을 통해 정보와 자료를 얻어 적용하는 것이다.

▲ 시비타이에 업로드된 애니메이션, 웹툰 스타일 일러스트와 정보 표시창

  여타 플랫폼과 마찬가지로 시비타이에서도 완성된 이미지들을 확인해 볼 수 있는데 단편적인 이미지들은 그 완성도가 놀랍다. 애니메이션, 웹툰 형식의 이미지도 잘 생성하는 것을 확인할 수 있으며 AI와 인간의 그림을 구분하기 힘들 정도로 진화했다는 것을 알 수 있다. 특히 AI를 통해 구현하기 어려운 다양한 동작이나 자연스러운 표정 등이 잘 묘사되어 있다.

AI 만화·웹툰 서비스 플랫폼

AI 코믹 북스(AI Comic Books)

  AI 코믹 북스는 AI를 활용해 만든 최초의 만화책인 〈베스티어리 연대기(The Bestiary Chronicles)〉 시리즈, 저작권 분쟁 논란이 있었던 〈여명의 자리야(Zarya of the Dawn)〉 등의 유명 AI 코믹북을 서비스하는 해외 플랫폼이다. AI를 활용한 가장 유명한 작품들을 볼 수 있는 곳으로 모든 작품을 무료로 다운받을 수 있다.

  초창기 작품들은 대부분 미드저니를 이용하여 제작했으며 완성도 높은 이 미지와 적절한 소재 선택으로 AI 기술의 가능성을 널리 알리는 데 기여했다. 작품은 수십, 수백 장의 이미지를 생성한 후 적절한 이미지를 고르거나 콜라주 작업을 하듯 중간 공백을 메우는 식으로 만화를 만든 후 포토샵 등의 프로그램을 통해 보정, 편집 작업을 했지만 대부분 이미지 생성형 AI 어플리케이션을 통해 만들었다고 밝혔다. 다양한 작품들이 지속적으로 업로드되고 있는데 대부분 괴수, 전쟁, SF, 꿈 등을 소재로 하고 있다. 추상적인 이미지들이 주로 등장하는 경향이 있으며 대다수가 배경 설정 컷, 등장인물 단독 컷으로 구성됐다. 후술하겠지만 AI 기술로 구현할 수 있는 이미지의 한계로 등장인물들이 포옹하거나 눈을 마주치고 대화하거나 하는 등의 상호작용 표현에 제한이 있기 때문이다.

  초창기 작품들은 연출적으로 어색한 장면이 많았지만 최근 작품들은 이러한 문제를 다양한 컷 구성을 통해 보완하고 있는 경향이 보인다. AI 기술을 코믹스에 적용하기 위한 다양한 시도가 지속적으로 이뤄지고 있음을 확인할 수 있다.

▲ 〈Absxcess Vol 1〉

▲ 〈Eldridge Part One v2〉 AI 코믹 북스

AI 코믹스(AI comics)

  2023년 이후 국내에도 AI를 통해 생성한 이미지를 전문적으로 업로드하는 플랫폼들이 생겨나고 있다. AI 코믹스는 국내 최초 AI 만화 창작자 커뮤니티라고 소개하고 있는 AI 이미지 커뮤니티 플랫폼이다.

  ‘작품뽐내기’, ‘정보공유’, ‘커뮤니티’, ‘대회’, ‘구인구직’ 등의 메뉴에서 확인할 수 있듯 전문 작품을 선보이는 곳이 아닌 예비 창작자들의 창작 커뮤니티라 볼 수 있다. AI 이미지 생성 관련 최신 소식과 다양한 정보들을 한눈에 확인할 수 있고 아마추어들의 다양한 작품을 감상할 수 있다.

  예비 창작자들의 작품이지만 만 화·웹툰에 어울리는 이미지를 잘 구현한 작품들을 많이 찾아볼 수 있다. 다만 플랫폼이 생긴 지 약 7개월 정도 지났지만 AI 만화 창작자 커뮤니티라는 소개글과 달리 만화·웹툰 작품이 업로드되지 않았다. ‘작품뽐내기’ 하위 메뉴에 ‘AI툰(연재)’, ‘AI툰(단편)’ 메뉴가 있지만 작품이 업로드되어 있지 않다.

  재밌는 점은 ‘성인’ 하위 메뉴에 있는 19툰(연재), 19툰(단편) 메뉴에서 단편 작품이 하나 업로드됐는데 약 13컷의 적나라한 성교 장면이 묘사되어 있다.

▲ AI 코믹스에 업로드된 그림, 닉네임 ‘곽봉효’ 제작

  AI를 통해 구현하기 어려운 장면이 포옹, 어깨동무 등 여러 인물이 중첩되어 상호작용하는 점이라는 것을 생각해 볼 때 두 인물의 성교 장면이 상당히 자연스러워서 흥미롭다. 상대적으로 표현하기 어려운 의복이나 액세서리 등이 없는 알몸 상태의 묘사와 비슷한 레퍼런스가 많다는 점 등의 차이가 있다고는 하지만 인물들의 상호작용 묘사 중 가장 자연스러운 형태로 표현된 장면이라는 점을 주지할 만하다.

룰(LOOOL)

  룰(LOOOL)은 한국어와 영어를 지원하는 ㈜빌리버의 미국법인 LOOOL INC의 AI 웹툰 플랫폼이다. ㈜빌리버의 전신이었던 VR 웹툰 플랫폼 코믹스브이를 통해 VR 웹툰을 서비스하던 양병석 대표가 스테이블 디퓨전을 접한 후 AI의 가능성을 보고 2023년 AI웹툰 플랫폼으로 방향을 전환해 만든 것이다.

▲ 〈Drink this. You'll go int o space〉, LOOOL

  현재는 총 3개의 목록만 확인할 수 있는데 〈Drink this. You’ll go into space〉이라는 제목의 작품 에피소드 1화와 VR 일러스트 2개로 구성되어 있다. 2023년 6월 1일에 업로드된 에피소드 1화는 반실사 형태로 제작되었는데 양병석 대표에 따르면 웹툰이 실사 드라마로 확장되고 있는 현 상황에서 반실사 AI 웹툰이 독자를 확대할 수 있지 않을까라는 가설을 세우고 실험적으로 업로드했다고 한다. 빌리버 내부에서도 독자들이 실사 그림체에 대한 거부감을 우려했지만 진행하였다고 밝혔다.

  그러나 현재 반실사 그림체에 대한 한계를 느끼고 웹툰식으로 그림을 수정하고 있다고 말했다. 게재된 이미지는 100% 가까이 스테이블 디퓨전을 활용한 이미지 생성 방식으로 제작했고 일부 장면 등은 클립스튜디오를 활용해 보정, 수정한다고 밝혔다. 다만 해당 작품 역시 〈베스티어리 연대기(The Bestiary Chronicles)〉 시리즈 등에서 보이는 등장인물 단독 컷 위주의 장면으로 구성되어 있고 어색한 배경과 인물 간 상호작용, 딱딱한 표정과 어긋난 시선 등의 문제점이 드러난다. AI 코믹북스의 작품들에 비해 인물들을 한 컷에 배치하려 노력했지만 해당 장면들에서 상술했던 문제점들이 지속적으로 나타난다.

  빌리버 역시 이러한 문제점을 인식하고 있어 판타지, 무협 등의 장르보다 상대적으로 인물 간 상호작용이나 액션이 덜 묘사되는 로맨스 장르를 선택했다고 밝혔다. 또한 현재 상황에서 표현될 수 있는 한계가 있지만 현재 AI의 발전 속도가 특이점을 지나가고 있는 것이라 했다. 그래서 향후 매우 빠른 속도로 발전될 것이란 긍정적 전망을 갖고 있어 표현의 한계를 넘어설 것을 기대한다고 밝혔다.

AI 웹툰의 현황과 진단

  2023년 들어 AI 웹툰 플랫폼이 다수 생성되고 있으며 AI를 통한 웹툰 제작에 대한 작가와 기업의 관심이 점점 고조되고 있다. 다만 〈신과함께 돌아온 기사왕님〉의 사례처럼 AI로 인한 저작권 침해와 독자들에 대한 기만이라는 인식이 확산되며 기술발전과는 별개로 논란이 일고 있다. 본 글에서는 저작권이나 독자들의 인식을 일단 접어두고 AI 모델과 플랫폼의 변화에 대해 살펴봤다. 필자는 2022년부터 약 1년간 AI 기술을 활용한 웹툰 제작 기술 자문을 진행했었고 관련 칼럼, 기사 등을 통해 지속적인 관심을 갖고 AI 웹툰 제작을 유의 깊 게 살펴보고 있었다.

  예전 글을 통해 자주 언급했지만 AI기술을 통해 이미지 생성 중심의 웹툰 제작을 할 경우, 한 장면에 1~2명의 적은 인물이 등장한다는 점, 구체적인 동작 지시가 쉽지 않다는 점, 미묘한 변화와 범위를 인식하고 구별하기 힘들다는 점 등의 단점이 있다. 이러한 특징은 이미지가 연속성을 갖기 어렵게 한다. 특히 한 화면 안에 여러 인물이 등장하여 서로 악수하거나 포옹하거나 붙잡는 등의 모습을 자연스럽게 묘사하는 것에 한계를 보인다. 복잡한 구조를 가진 손가락, 총, 바이크 등 기계 역시 표현하기 어렵다. 자전거를 타는 다양한 장면을 연속적으로 표현하거나 총 등의 무기를 들고 움직이는 모습을 묘사하는 것 도 마찬가지이다.

  또한 다양한 표정 묘사나 시선을 맞추는 것 역시 어렵다. 단일 이미지의 완성도 자체는 AI 생성 이미지가 높지만 웹툰에서 중요시하는 다양한 표정묘사와 인물 간 상호작용 등이 한계로 지적된다. 상술했던 다양한 플랫폼에서 서비스되고 있는 만화·웹툰 작품 역시 거의 모든 작품이 이러한 문제를 해결하지 못하고 있다. 물론 현 상황에서 구현하기 힘든 장면들은 직접 그리는 방식으로 진행할 수도 있다. 또 하루가 다르게 기술이 발전하고 있기 때문에 상술했던 문제점들이 해결될 수도 있을 것이다. 스테이블 디퓨전의 오픈포즈 등을 통해 단독 인물의 움직임 문제를 개선했고 웹툰 스타일의 이미지 완성도가 굉장히 빠른 속도로 올라가고 있다는 점은 긍정적으로 보인다. 또 시비타이나 AI 코믹스 등의 완성 이미지들을 보면 아주 자연스러운 포즈나 표정을 묘사한 작품들이 보인다.

  그렇지만 AI 생성 이미지에서 볼 수 있는 어색한 시선 처리, 딱딱하고 부자연스러운 표정 등 인간이 본능적으로 느끼는 위화감을 극복할 수 있을 것인가에 대한 의문은 여전히 남는다. AI 웹툰을 주도적으로 제작하고 있는 기업이 대부분 개발자 중심이기에 웹툰 문법을 소홀히 하는 경향도 있을 것이라 생각한다. 이야기에 몰입하기 위해서는 완성도 높은 이미지만이 전부가 아님을 주지해야 할 것이다.

  AI 웹툰 제작을 통해 적은 예산으로 생산성 높게 작품을 만들어 낸다 하더라도 현재 연재하고 있는 많은 작품들과 경쟁할 수 있을 것인가에 대한 고찰도 필요하다. AI를 활용한 웹툰 제작 기술은 굉장히 빠른 속도로 발전하고 있으며 하루가 다르게 그 완성도가 높아지고 있다. 본 글에서는 거의 대부분의 장면을 AI를 통해 만든다는 것을 전제로 현재 서비스되고 있는 만화·웹툰 플랫폼을 살펴보고 현 상황을 진단해 봤다. 현시점에서 모든 장면을 제작하는 것은 무리가 있으나 일부 장면들에 보조적으로 활용하는 것은 충분히 가능할 것이라 보인다. 향후 AI 기술의 발전이 어떤 방식으로 웹툰 시장을 변화시킬지 기대와 우려의 시선을 갖고 지켜보도록 하자.