※ 위 '뷰어로보기'를 클릭하시면 도서 형식으로 보실 수 있습니다.

만화 생태계의 관점에서 AI

  내가 생각하는 이미지를 명령어 몇 개로 만들어준다. 문장으로 무언가를 시키면 역시 문장으로 대답해 준다. 찬사가 이어지고 연이어 갈등이 폭발한다. 생성형 AI가 이미지와 문장을 만들어 준다면 그동안 그 일을 하는 사람은 어떻게 될 것인가? 실존적 공포가 주변을 떠돌았다.

기술의 놀라운 발전

  건물 크기만한 컴퓨터가 있을 때부터 인공지능에 대한 연구가 시작되었다. 1956년 다트머스 대학에서 ‘인공지능(Artificial Intelligence)’ 컨퍼런스가 개최된 이후 AI 연구는 1970년대까지 크게 붐을 이루었다. 1966년 MIT 인공지능 연구 소의 조지프 와이젠바움(Joseph Weisenbaum)은 대화가 가능한 프로그램 엘리자 (ELIZA)를 개발하기도 했다. 획기적인 미래가 열릴 것 같았지만 쉽지 않았다. 희망과 절망이 반복되었다. AI의 봄과 겨울이 반복되었다. 그러다 컴퓨터 프로세스의 처리 능력이 획기적으로 개선되고, 인터넷 발전으로 대량의 데이터에 접근할 수 있게 되면서 AI의 신기원이 열렸다. ‘이미지’의 구현은 2016년 구글 딥마인드가 이미지 인식 기술을 발표하며 우리 옆으로 성큼 다가왔다.

  사람은 특정 대상을 이해하는데 수천 장의 사진이 필요 없지만 컴퓨터는 다르다. 사람은 경험을 통해 대상을 인식하지만 AI는 대상을 인식하기 위해서 수많은 개 사진에서 특징을 추출하여 유사도를 측정하고 분류하는 알고리즘이 필요하다. 이 과정에서 사용되는 기술이 신경망 아키텍처다. 구글 딥마인드의 이미지 인식 기술은 컨볼루션 신경망(Convolutional Neural Network)을 사용했다. 이후 더 적은 수의 데이터로도 학습이 가능하도록 신경망 아키텍처가 발전하고, 데이터 증강 모델이 등장했다. 사람처럼 생각하고 판단하는 것, 즉 사고하는 것이 아니라 ‘사람이 생각하는 방식’을 시스템화한 것이다.

▲ 네이버웹툰 웹툰 AI 페인터

  2021년 10월 네이버웹툰은 AI 채색 프로그램인 ‘웹툰 AI 페인터’를 발표했다. 30만 장의 데이터를 학습해 인물의 얼굴, 신체, 배경 등 특징을 인식하고 다양한 웹툰 채색 스타일을 학습시켰다. 그 결과 선화를 넣으면 AI가 채색한 결과물을 보여준다. 밑색과 완성본의 중간단계 정도로 평가를 받는다. 웹툰 AI페인터가 채색한 이미지를 PSD로 내려받아 수정할 수 있다. 네이버웹툰 발표에 따르면 2022년 기준 AI 페인터로 채색한 누적 작품 수는 720,000장이고, 이후 작업 시간 감소 효과를 30~50% 단축될 것으로 기대했다.(2002 Webtoon with annual infographic (출처 : https://webtoonscorp.com/static/webtoonwith_infographic.pdf)) 2021년 10월에 베타버전이 출시되었는데 여전히 정식 버전은 출시되지 않고 있다. 기술의 문제일까? 냉정하게 비용의 문제이다. 이 문제는 다시 살펴보겠다.

도우미 vs 도둑

  인공지능의 혁신은 컴퓨터가 데이터를 학습하고 데이터에서 찾은 패턴을 기반으로 결과를 만들 수 있는 머신러닝에서 시작되었다. 머신러닝은 신경망 아키텍처를 기반으로 데이터를 계층적으로 학습한 딥러닝 기술로 나아갔다. 딥러닝 기술에 대량의 텍스트 데이터를 학습하여 언어 이해, 생성, 번역 등의 작업을 수행하는 대규모 언어모델(LLM, Large Language Model), 생산자(generator)와 판별자(discriminator)의 경쟁과 적대적 관계 속에서 모델을 훈련시키는 생산적 적대 신경망(GAN, Generative Adversarial Network), 주어진 데이터의 잠재 표현을 학습하고 이를 사용하여 새로운 데이터를 생성하는 변이형 오토인코더(VAE, Variational AutoEncoder) 등을 활용해 단어나 문장을 인식, 번역, 생성하고 이미지를 생성한다. 이미지 생성에는 VAE와 GANs 기반 모델들이 주로 사용된다.(조영임(2023.05) 초거대 AI와 생성형 인공지능, TTA 저널 207호, 한국정보통신기술협회, p.38-42.) 2022년 4월 달리(DALL-E) 2를 시작으로 미드저니(Midjourney), 스테이블 디퓨전(Stable Diffusion), 딥 드림 제너레이터와 같은 미국발 이미지 생성형 AI 프로그램이 속속 등장했다. 생성형 AI 프로그램이 공개되며 사용자가 늘어나고 자연스럽게 생성된 이미지의 질도 높아졌다. 그야말로 마법처럼 “시각적 표현의 한계를 뛰어넘는 창의적인 이미지를 생성”하는 시대가 되었다.(박찬(2023.07.06) 마법 같은 이미지 생성하는 ‘미드저니 5.2’, 《AI타임스》(출처 : https://www.aitimes.com/news/articleView.html?idxno=152269))

  하지만 생성형 AI가 웹툰에 적용되었을 때 반응은 싸늘했다. 2023년 5월 24일 네이버웹툰에 신작 〈신과 함께 돌아온 기사왕님〉 1화가 공개된 후 생성형 AI로 제작되었다는 의혹에 휩싸였다. 5월 24일 기준 1화 별점은 10점 만점에 1.94점을 기록했고, 반대 댓글이 계속 이어졌다. 핵심 이슈는 학습단계와 최종단계의 저작권이다. 제작사인 블루라인 스튜디오는 AI를 이용한 보정작업을 했다고 밝히며 1~6화를 다시 업로드했지만 좀처럼 논란이 사그라지지 않았다. 생성형 AI 활용에 대한 입장은 찬성과 반대로 크게 양분되었다. 찬성은 도구로서 AI를 받아들여야 한다는 입장이고, 반대는 AI가 저작자의 동의도 없이 저작물 무단으로 학습했다는 입장이다. 생성형 AI의 경이적인 발전과 함께 무단 학습 이슈는 동시다발적으로 터져 나왔다. 코딩을 도와주는 ‘깃허브 코파일럿(GitHub Copilot)’은 공개소스를 학습한 AI다. 공개소스를 개발한 개발자들은 공정사용에 해당하지 않는다며 집단소송이 제기되었다.(https://www.ciokorea.com/news/264136) 사진 데이터베이스 서비스 업체인 게티이미지는 스태빌리티 AI가 자사의 이미지 데이터 1,200만 개를 허락도 없이 학습했다고 소송을 제기했다.(장한지·남가언·백소희(2023.02.20) 초대형 AI의 그늘… ‘저작권 소송’ 빗발친다, 《아주경제》(출처 : https://www. ajunews.com/view/20230220082452765)) 제3자의 권리침해 여부가 두 부분에서 지적된다. 첫 번째 학습단계에서 저작자의 동의 없이 저작물을 무단으로 사용했을 경우, 두 번째, AI로 생성된 저작물이 특정 저작물과 유사성을 보이는 경우. AI의 급격한 발전과 함께 AI기술을 통제하기 위한 ‘인공지능기본법’에 대한 논의가 미국, 영 국, EU에서 구체화되고 있다. 특히 EU에서는 지난 7월 14일 EU 의회에서 AI를 규제하기 위한 법안 협상안을 가결하기도 했다. 생성형 AI를 운영하는 기업들은 AI가 불법 콘텐츠를 생성하지 않도록 관리해야 되며, AI가 만든 창작물에는 AI 가 만들었다는 출처를 표기해야 한다는 내용이다. EU 집행위원회, 이사회에서 3자 협상이 타결된다면, 2026년부터 실제 규제가 적용될 예정이다.(홍윤지(2023.06.22) EU 의회, ‘AI 법’ 최종 협상 돌입… ‘한국형 AI법’은 국회 심사 중, 《법률신문》(출처 : https://www. lawtimes.co.kr/news/188516)) 우리나라에서도 2023년 9월 15일 시행될 예정인 개인정보보호법에서 AI에 의한 개인정보 처리에 대한 적용거부권과 설명 요구권을 명문화했고(임형주(2023.05) 인공지능 관련 법 제도의 주요 논의 현황, TTA 저널 207호, 한국정보통신기술협회, p.76-77.) ‘인공지능 산업육성 및 신뢰 기반 조성에 관한 법률’이 논의되고 있다.

시끄럽게 윙윙 거리는 걸까?

  생성형 AI 기술은 웹툰 창작 전반에 걸쳐 적용이 가능하다. 오노마AI의 ‘투툰 GPT’는 ‘챗GPT’와 연동해 스토리를 만들고 이를 기반으로 자사의 ‘투툰’ 기술을 통해 밑그림을 그리는 구조다.(이현수(2023.04.04) AI한테 ‘퇴사고민’ 입력 했더니 그려준 그림, 《채널 A》, (출처 : https://www.ichannela.com/news/ main/news_detailPage.do?publishId=000000341638)) 6월 1일 빌리버는 자사의 AI 웹툰 제작 솔루션을 공개했다. 스테이블 디퓨전을 활용해 캐릭터 컨셉을 제작하고, 구글의 드림부스로 모델을 생성하고, 이후 콘티에 기반하여 사진 및 3D모델을 이용하여 컨트롤넷을 이용한 캐릭터 및 배경 제작하고 이후 컷과 말풍선을 배치하는 편집 과정을 거친다.(https://blog.naver.com/fstory97/223119545834) 모두 도우미의 역할에 가깝다. 투툰GPT를 소개한 채널A 기사는 “그림에 재능이 없는 이에게도 전문 웹툰 작가가 될 수 있는 길은 열렸습니다.”라고 마무리된다. 가능한 이야기일까? 이 호들갑은 블록체인, 메타버스, NFT가 여기저기에 등장하던 불과 얼마 전과 크게 달라 보이지 않는다. 생성형 AI는 버즈워드(Buzzword)(주 벌이 날아다닐 때 내는 소리인 버즈(Buzz)와 단어(word)가 결합된 버즈워드는 하버드 비즈니스 스쿨에서 사용하기 시작한 신조어다. 혁신적인 기술이나 특정 개념을 한 단어로 설명하는 단어를 주로 버즈워드라고 부른다.)로 사람들의 귓가에서 ‘윙윙’ 거리고만 있는 것일까?

▲ 오노마AI의 ‘투툰GPT’로 작업한 스토리와 밑그림

  문제는 창작의 본질이다. 우리는 ‘지능’이라는 단어로 인해 생성형 AI 프로그램이 ‘사고’하는 존재라고 생각한다. AI는 방대한 데이터를 읽고, 고속으로 정보를 처리해 통계적인 규칙을 추출하고 단어나 문장, 이미지를 생성한다. 생성형 AI는 질문의 의도를 파악할 수도 없다. 수많은 데이터를 통해 사람이 기대하는 결과를 예측하여 제시할 뿐이다. 그 과정에서 파라미터 개수를 늘리니 더 빠르고, 정확하게 예측하게 된 것이다. 이미지, 문장, 소리 모두 마찬가지 원리다.

  생성형 AI는 데이터, 인프라, 기본 모델, 어플리케이션으로 구조화된다. 첫 번째 데이터는 원재료다. 대부분 공개 데이터를 수집하지만 데이터 수집에 저작자의 동의가 전제되지 않는 한 ‘공정이용’으로 넘어갈 수 없는 저작권 문제를 남긴다. 한발 더 나아가 수집된 데이터의 ‘사실증명(proof of fact)’도 넘어야 될 산이다. 두 번째 데이터수집과 처리 모두 인프라의 중요성이 커진다. 클라우드 스토리지, 보안, 하드웨어 성능 등이 집약된다. 세 번째가 AI 기본 모델(Foundation Model)이다. 앞서 살펴본 AI 기술이 기본 모델 단계에 해당한다. 네 번째 우리가 사용하는 AI 프로그램은 세 번째 어플리케이션(Apps)에 해당한다.(https://web-strategist.com/blog/2023/06/12/ai-technology-stack-2023-v1-1/)

  좋은 결과값을 예측하기 위해서는 좋은 데이터와 이를 처리할 거대한 인프라가 필요하다. 아무리 기반 모델이 훌륭해도 AI는 혼자 사고하지 못한다. 데이터를 학습할 때도 컴퓨팅 능력이 필요하고, 이렇게 학습한 데이터를 기반으로 응답을 생성하기 위해서도 컴퓨팅 능력이 필요하다. 앞서 네이버웹툰 AI 페인터를 언급하며 ‘비용의 문제’라고 이야기했다. 생성형 AI를 운영하기 위해서는 거대한 컴퓨팅 인프라가 필요하다. 그래서 주목받는 생성형 AI는 천문학적인 자금을 동원할 수 있는 마이크로소프트, 구글, 아마존, 엔비디아 같은 미국 빅테크 기업에서 운영한다. 자본과 기술을 베이스로 생성형 AI를 장악하고, 락인(Lock-in) 전략을 통해 생태계를 확장할 것이다. 구글이 그랬고, 아마존이 그랬으며, 메타가 그랬다. 생성형 AI가 버즈워드로 윙윙거리고, 붐을 이뤄 여러 비즈니스가 출현하고 난 뒤 빅테크 기업들은 락인 전략을 구사할 것이다.

AI가 구원자가 아니지만

  2017년 7월 21일 부천국제만화축제의 ‘제4차 산업혁명과 웹툰의 전략’ 컨퍼런스에서 발표자로 ‘딥러닝 기반 인공지능(AI) 웹툰 저작도구의 현황 및 전망’에서 “만화작업의 상당부분 AI에 의해 대치될 수 있고, 그렇게 될 것이다. 이 AI기술은 작가들의 편리성을 확대할 보조적 수단이다.(스크린톤, 코믹스튜디오, 스케치업 등의 기술처럼)”라고 발표했다. 자동으로 웹툰을 만들어주지 않는다. 그러니 AI로 작가되기는 불가능하고, 가능하더라도 경쟁력에서 뒤떨어진다. 일본의 AI 연구자이자 프로그래머인 시미즈 료(清水亮)는 ‘인공지능은 거짓말을 한다’는 《중앙공론》 연재기사에서 “AI는 표면만 추적한다.”라고 밝혔다. 창작의 과정에 개입하지 않고 완성품을 학습한다. 창작의 과정에서 벌어지는 인간의 사고를 적어도 현재 등장한 생성형 AI가 재현할 수 없다.

▲ 영화 <파벨만스> 포스터

  시미즈 료는 스필버그의 영화 〈파벨만스(The Fabelmans)〉를 언급하며 “수많은 명작을 분석해 보면, 결국 명작이라 불리는 영화는 제 작자의 트라우마에서 탄생한다.”라고 지적한다. 창작의 원동력이 될 인간의 여러 경험과 감정이 AI에는 없다 “따라서 AI는 미야자키 하야오가 될 수 없다.”라 고 단언한다.(清水亮(2023.07.20) AIはこの先も宮崎駿になれない。AIの書く脚本が人のものを上回ることができない「原理的」な理由とは, 《 中央公論 》(출처 : https://chuokoron.jp/series/123436.html)) 하지만 AI를 활용한 작가가 미야자키 하야오가 되거나 뛰어넘을 수 있다. 미야자키 하야오는 지브리 스튜디오가 있어 야만 작품을 발표할 수 있지만, 미래의 미야자키 하야오는 여러 AI 기술을 활용해 지브리를 뛰어넘는 생산성을 만들어 낼 수 있다. 우리는 기술의 혁신을 통해 비용을 절감하고, 생산성을 높이고, 새로운 가치를 창출하기 때문이다.

  김장현 성균관대 교수는 “기술도 진화하고 사회도 진화한다는 점을 이해하고 겸손한 태도를 갖는 것이다. 뭐가 반드시 뜰 것이라고 호언장담하는 사람보다는 한 분야에서 차분히 내공을 쌓아가는 사람을 따르는 게 필요한 시기다.”(김장현(2023.05.24) ‘김장현의 테크와 사람’〈28〉버즈워드의 시대, 《전자신문》, 30면) 라고 말했다.