만화가 김태의 하루 : 희망편

※편집자 주 : 본 칼럼에서 다루고 있는 기술은 기사 업로드 시점인 2023년 4월을 기준으로는 곧 다가올 가까운 미래의 기술을 다루고 있습니다. 읽으실 때 참고 부탁드립니다.

만화가 김태는 천성이 게으른 사람이다. 인공지능에 거는 기대가 크다. 만화 그릴 때 드는 품을 줄이고 싶어서다. 

김태는 오래된 만화가다. 옛날에는 밤새 그림을 그리는 일이 많았다. 오전에 잠을 자고 다시 일이 밀려 또 밤을 새는 악순환에 빠지곤 했다. 요즘은 오전에 작업하고 옛날보다 일찍 잠든다. 오후에 다른 일도 한다. 챗GPT가 없다면 불가능했을 변화다.  

만화가 김태는 오전에 집안일을 하고 간단한 운동을 한다. 휴대전화를 곁에 두고 목소리로 챗GPT를 이용한다. 

김태가 그리는 만화는 지식 만화다. 만화 자료를 수집하고 정리하는 일에 인공지능을 쓴다. 

우선 외국어 자료를 볼 때. 김태는 챗GPT나 DeepL로 바로바로 번역하며 도움을 받는다. 

예를 들어, 만화가 김태는 다음 만화 작업을 위해 요즘 중국 고전 자료를 읽는다. 20년 전에는 도서관에 가서 겨우겨우 찾아내 복사를 한 다음 두꺼운 사전을 한 글자 한 글자 찾아가며 읽었다. 한나절 내내 진땀 흘리며 읽어도 몇 단락 못 읽었다. 공부한 내용을 노트에 옮겨 적으면 하루가 다 갔다. 아이고, 만화는 언제 그리란 말인가? 밤을 새는 것도 당연했다. 

그런데 지금은 편하다. 위키문헌(https://zh.wikisource.org/)에 들어가면 엄청난 자료를 만날 수 있다. 중국 역사서도 고전 문학도, 한국어 번역이 없는 책들도 올라와 있다. 한문을 어떻게 읽냐고? 막히는 부분이 나오면 그대로 선택•복사해서 챗GPT에 넣고 돌린다. 영어 번역이 근사하게 나온다. 깜짝 놀랄 정도의 퀄리티다. 영어도 읽기 귀찮다고? 그러면 다시 한번 한국어로 번역해주면 된다. 원전 읽는 품이 엄청나게 줄어든 것이다. 물론 엉뚱한 번역도 있으니 원문 대조하며 확인은 해줘야 한다.

자료를 요약하고 정리할 때도 챗GPT는 유용하다. 

다른 칼럼 쓸 때도 인용한 적 있는 이야기지만, 움베르토 에코가 <논문작성법>에서 이런 말을 했다. 복사기가 발명된 이후 사람들이 자료나 논문을 복사만 떠놓은 채 다 읽었다고 착각한다는 것이다. 인터넷 시대가 되어 이 현상은 더 심해졌다. 게으른 만화가 김태의 이야기다. 인터넷 덕분에 자료 구하기가 쉬워졌다면서 논문 PDF를 다운만 받아놓거나 외신 자료를 북마크만 달아놓는다. 읽지는 않았지만 왠지 읽은 것 같아 뿌듯하다. 그러다가 만화 그릴 때가 되면 '내가 이걸 읽지 않았단 말인가' 짐짓 놀라고 자책한다.

읽을 자료가 밀렸을 때 챗 GPT가 쓸모 있다. 긁어서 붙인 다음 요약해 달라고 할 수도 있지만, 더 편한 도구를 써도 좋다. 만화가 김태는 ReaderGPT라는 구글 익스텐션을 자주 이용한다. 블로그나 외신 등 웹 페이지를 요약해주는 것이다. 영어 요약이 나오면 챗GPT로 번역하면 된다. 

논문PDF는 어떻게 처리할까? PDF를 인공지능한테 대신 읽히고 챗GPT로 요약하는 서비스가 있다. 만화가 김태는 챗PDF 사이트를 쓴다(https://www.chatpdf.com/). 논문 내용을 세 가지 질문으로 요약한 다음, 이 세 가지 질문에 대한 답을 확인할 수 있는 친절한 사이트다. 괜히 어려워 보이는 이 논문이 내가 읽어야 할 논문인지 아닌지, 읽는다면 어떤 부분에 집중하면 좋을지, 일 분 안에 뚝딱 알 수 있다.

만약에 필요한 자료가 옛날 책이라면? 온라인에 없고 전산화되어 있지도 않다면? 인공지능 스캐너가 요긴하다(만화가 김태는 vFlat이라는 앱을 쓴다). 휴대폰으로 깔끔하게 스캔해줄 뿐아니라, OCR로 문자 인식도 해준다. 옛날 같으면 한 글자 한 글자 타자를 쳐야 할 자료들이었다. 그림 파일로라도 남기겠다며 귀퉁이를 잡고 손가락 나오지 않게 촬영하는 일도 꽤나 품이 들었다. 지금은 간단한 작업이다.

이렇게 모은 지식을 어떻게 하면 잘 읽히게 정리할 수 있을까? 챗GPT를 이용한 AIPRM이라는 도구가 있다. 구글 익스텐션으로도 아이폰 앱으로도 서비스된다. 검색에 잘 걸리게 재구성시키는 따위 작업에 요긴한 프롬프트를 만들어 준다. 검색에 잘 걸리는 주제로 만화를 만들고 싶다면 이용해봄직하다.

주의할 점이 있다. 챗GPT를 이용할 때는 팩트체크가 필요하다. 챗GPT가 이 말 저 말 주워 섬기며 아무말 대잔치를 벌일 때는 아무도 못말린다. 이것을 할루시네이션이라고 한다. 만화가 김태도 할루시네이션에 속아 지식만화 작가의 체면을 구길 뻔한 일이 있다. 팩트체크에 습관이 붙어야 하는 시대다. 

그렇다면 어떻게 팩트체크를 할까? 이때도 인공지능을 쓴다. 질문을 요리조리 비틀어가며 챗GPT를 취조하듯 캐물을 수도 있지만, 더 믿음직한 방법이 있다. 검색엔진 빙(Bing) 또는 웹챗GPT라는 익스텐션을 써도 좋다. 믿을 만한 사이트들을 검색해서 그 사이트 내용만 요약한 다음, 주석처럼 사이트 내용을 링크 걸어주는 서비스다. 주석에 나와 있는 믿을 만한 사이트들을 찾아들어가 리더GPT로 다시 한번 요약해주면 더욱 든든하다. 

만화가 김태의 하루로 돌아가자. 오전에 수집한 정보를 줄거리로 쓰고 대사로 만들고 콘티를 짜야 한다. 김태는 옛날 사람이다. 그래서 스토리를 쓰고 콘티를 짜는 일은 자기 손으로 하는 쪽이 편하다. 그런데 앞으로는 이 작업도 AI가 맡을 것이다(만화가 김태는 김한재 선생님의 책 <Chat GPT로 만화/웹툰 제작하기>를 읽으며 공부 중이다). 

만화가 김태가 줄거리를 쓸 때 현재 인공지능의 도움을 받지 않는 것이 아니다. 네이버에서 제공하는 클로바노트 서비스를 이용한다. 만화가 김태는 한 손에 아이폰을 들고 중얼중얼 줄거리와 대사를 떠든다. 그 말을 클로바노트가 받아적어 텍스트로 만들어준다. 인공지능으로 요약도 해준다. 클로바노트가 없다면 오전시간 내내 컴퓨터 앞에 달라 붙어 타자를 쳐야 했을 터이다. 아랫배 쑥쑥 나올 이야기다. 낮 시간에 산책이나 실내 사이클로 운동하며 일을 할 수 있다니 얼마나 다행인가.

다만 클로바노트는 녹취한 내용을 노션이나 에버노트로 옮길 때 약간 불편하다. 그래서 만화가 김태권은 직접 자바스크립트로 간단한 코딩을 했다. 클로바노트로 녹취한 내용을 붙여넣으면 참석자 이름과 시간과 서식 등을 지우고 텍스트 정제를 해줄 페이지를 만들었다(https://kimtaenim.github.io/clova2notion.html). 원고 마감할 때 편하라고 글자 수 세어주는 기능도 덧붙였다. 독자님도 함께 이용해주신다면 코드 짠 사람으로서 설렐 일이다.

요즘 만화가 김태가 가장 설레는 것은 그림을 그려주는 인공지능이다. 

만화가 김태는 신문 칼럼에 들어갈 일러스트를 그리며 그림 그려주는 인공지능을 이용하고 있다. 옛날에는 아이디어를 쥐어 짜고 밑그림을 그리고 그 밑그림을 보고 신문에 나갈 일러스트를 그리는 일에 시간이 많이 들었다. 지금은 클릭 클릭만 해주면 된다. 칼럼의 주제를 인공지능 프롬프트에 넣고, 이거다 싶은 그림이 나올 때까지 돌려보는 것이다. 미드저니도 달E도 인기다(전혜정 선생님을 미드저니 스승님으로 모시기로, 만화가 김태는 자기 마음대로 결심했다.)

휴대전화로 돌릴 수 있는 앱도 여럿이다. 인공지능이 만든 밑그림을 '받아오는' 동안 걷기 운동을 할 수 있다니, 인공지능이 건강에 도움이 되는 세상이다. 

만화가 김태가 가장 기대하는 인공지능은 스테이블디퓨전이다. 스테이블디퓨전을 써보기 위해 중고 그래픽 카드도 사고 컴퓨터도 교체했다. 

스테이블디퓨전에는 몇 가지 눈에 띄는 기능이 있다.

이미지 투 이미지 기능은 그림을 입력하고 비슷한 그림을 만들어달라고 주문하는 것이다. '이 그림과 비슷한 그림을 만들되 어찌어찌 해달라'고 프롬프트에 적으면 된다. 구도나 인물의 자세나 분위기 등이 비슷한 새로운 그림을 스테이블디퓨전이 뽑아준다. 만화 밑그림 그리기에 요긴하다. 

또 인페인트 기능이 있다. 그림의 특정 부위만 마음에 들고 다른 부분이 마음에 들지 않는다면, 일부만 마스킹 해놓고 다른 부분을 다시 생성시킬 수 있다. 칠하기 툴로 칠한 부분만 선택할 수도 있고, 칠하지 않은 부분을 선택할 수도 있다. 그런 다음 '선택한 부분을 어찌어찌 바꿔달라'고 프롬프트를 넣으면 된다. 걱실걱실 일 잘하는 인공지능은 부분 수정한 그림을 지치지도 않고 몇 초에 하나씩 토해낸다.

인페인트 기능을 이용하면 첫째로 인물은 놔두고 배경만 바꿀 수도 있다. 둘째로 마음에 들 때까지 인물의 옷을 바꿀 수 있다. 셋째로 인물의 자세나 신체 부분을 바꿀 수 있다. 담배 피는 인물이 마음에 안든다면 담배와 손 부분을 지운 후 다른 물건을 들고 있으라고 바꾸면 된다. 넷째로 인물 얼굴만 놔두고 나머지 그림을 다 바꿀 수 있다. 이 '얼굴만 놔두기' 기능을 이용하면 원하는 얼굴을 이용해 그림을 생성할 수 있다는 이야기다. 

일정한 얼굴로 인물 그리기, 다른 말로는 캐릭터 고정하기. 그림 그리는 인공지능을 만화에 쓰기 위해 필요하지만, 한편으로는 위험한 기술이기도 하다. 아무려나 이것이 스테이블디퓨전과 관련해 요즘 가장 활발한 토론 주제다. 캐릭터 고정에 대해 사람들이 제안하는 몇 가지 방법이 있다. 

첫째는 인페인트 기능을 이용해 얼굴은 남겨놓고 나머지 부분을 생성한다는 방법이다. 앞서 살펴보았다. 

둘째는 유명한 사람의 이름을 프롬프트에 넣어 돌리는 것이다. 유명한 사람의 얼굴을 캐릭터로 사용하는 방법이다. 그런데 유명한 사람이 내 만화 주인공이 되는 상황은 이상하다. 또 남의 진짜 얼굴을 가져다가 내 그림에 쓸 때 생기는 문제도 있다. 윤리적으로는 가짜뉴스 문제가 걸리고, 법적으로도 문제가 생길지 모른다. 그래서 '유명한 사람 이름을 쓰되, 성별이나 인종을 바꿔서 써보는 방법'도 제안되었다. 그렇게 하면 만화 독자들이 이 사람이 누구인지 바로 알아보기는 힘들지만, 얼굴은 어느 정도 고정되어 나오니 말이다. 

셋째로 스테이블디퓨전의 '학습'이 있다. 만화가 김태가 그래픽 카드를 산 것도 여기에 기대를 걸어서다. 자기 얼굴이나 좋아하는 캐릭터 얼굴을 수십 장 구해다가 LoRA나 드림부스(Dreambooth) 등으로 학습시킨다. 그러면 이 얼굴을 써서 그림을 생성해달라고 인공지능한테 시킬 수가 있다. 

이때 두 가지 문제가 생긴다. 둘 다 해결하기 어려운 문제인데 한 문제 때문에 다른 문제까지 해결되는 묘한 상황이기도 하다.  

결론부터 얘기하면 인공지능으로 그린 그림은 밑그림으로 쓰고 최종 결과물은 만화가가 한번 더 그려주는 것이 좋다는 이야기다.  

첫 번째 문제는 초상권과 인격권에 관한 윤리적 문제다.  남의 얼굴을 가져다 내 만화에서 마음껏 쓴다면,  그 사람 또는 그 사람을 아는 사람이 기분 좋을까? 초상권과 인격권을 침해당했다고 생각하지 않을까? 처지를 바꿔 생각해보자. 내 얼굴 또는 내가 그린 캐릭터 얼굴이 남의 만화에 나와 엉뚱한 짓을 하고 있다면 내가 즐겁지는 않을 것이다. 

두 번째 문제는 저작권에 관한 것이다. 인공지능으로 만든 만화가 저작권을 인정받을 수 있나? 미국에서 판례가 나왔다. 구성과 스토리는 작가의 것이지만 그림은 프롬프트만 넣을 경우 작가 것으로 인정하기 어렵다는 애매한 이야기라고, 많은 사람이 판결을 해석한다. 

만화가 김태는 이 두 가지 문제를 어떻게 해결할까. 두번째 문제를 피해가기 위해 만화가 김태는 인공지능으로 생성한 그림을 손으로 다시 한번 그린다. 이때 얼굴 부분을 다르게 그리면 첫번째 문제도 생기지 않는다. 두번째 문제를 피해가다가 첫번째 문제까지 해결하게 되는 묘한 상황인 것이다. 물론 그림을 직접 그리게 되는 상황이긴 한데, 직업이 만화가라는 사람이 그림을 아예 안 그릴 수는 없지 않나, 만화가 김태는 생각한다. 

궁금한 점이 있다. 인공지능으로 그린 그림을 보고 그리는 경우는 문제가 없다. 인공지능으로 그린 밑그림 위에다 레이어를 대고 새로 그리는 경우를 생각해보자. 이 그림도 괜찮다. 자기가 프롬프트로 생성한 그림이니 트레이싱을 해도 표절의 문제가 생기지는 않는다. 그런데 인공지능으로 그린 그림에 대고 만화가가 리터치만 하는 경우는 어떻게 될까? 어느 정도 리터치를 하면 자기 그림이 될까? '리터치 몇%까지는 작가의 저작권을 인정 못하지만 몇%부터는 저작권이 작가 것'이라는 기준을 정할 수 있을까? 지금은 모르겠다. 다음 단계의 이야깃거리 같다. 

아무려나 이렇게 하여 만화가 김태의 하루는 일하는 시간이 크게 줄어들었다. 오전에 스토리를 짜고 오후에 틈틈이 그림을 그리고 밤에는 잘 수 있다. 앞으로도 이렇게 살 수 있다는 희망이 뿜뿜 솟아난다.

희망 이야기를 했으니 이제 걱정 한가지만 덧붙여보자. 초상권, 저작권, 가짜 뉴스, 딥페이크 같은 문제는 많은 분들이 이야기를 해주실 테니 다른 걱정을 이야기하련다.  만화가 김태는 품을 줄이려고 인공지능을 쓴다. 그래서 오후에 시간이 남게 되었다. 그런데 그 남는 시간에 무엇을 하게 될까? 

인공지능 덕분에 생산성이 높아지고 진입 장벽은 낮아졌다. 새로 만화가가 될 사람이 많다. 그리고 이들은 엄청나게 많은 양을 생산할 것이다. 만화 원고의 단가는 낮아질 터이다. 그렇다면 만화가 김태 같은 원고 자영업자는 더 많은 작업을 생산하지 않으면 수입을 유지할 수 없다. 원고 한 장에 들어가는 품은 엄청 줄었는데, 전체 일하는 시간도 줄어들 것인가? 아무래도 만화가 김태는 오후 시간에 다시 일을 해야 할 것 같다. 언젠가는 다시 밤을 새게 될지도 모를 일이다. 

* 미래의 웹툰작가 김웹툰 씨의 하루 : 희망편 (2021년 6월 기준)