웹툰과 AI와의 만남이라는 다소 낯선 조합을 지난 10여 년 동안 꾸준히 연구한 IT 개발 그룹이 있어 화제다. 국내 유일의 웹툰 전문 AI 기술 조직인 네이버웹툰의 ‘웹툰 AI’가 바로 그곳이다. 웹툰 작가의 창작을 위한 특정 기술의 상용화 뿐만 아니라 일반 사용자도 손쉽게 다룰 수 있는 서비스 기술 개발에 이르기까지의 이야기를 ‘웹툰 AI’의 김대식 리더에게 들을 수 있었다. 또한 웹툰 콘텐츠와 테크놀로지가 만났을 때 우리가 경험할 수 있는 재미있고 놀라운 일들을 엿볼수 있었다.

먼저 바쁘신 와중에도 시간 내주셔서 정말 감사합니다. 본인과 지금 하시는 일에 대해 간단한 소개 부탁드립니다.

안녕하세요. 저는 네이버웹툰 AI의 리더, 김대식입니다. 직함으로 따지면 이사직에 해당하 지만 실제로 네이버웹툰에 필요한 AI 기술을 개발·연구하는 조직을 총괄하고 연구 방향을 디렉팅하는 리더라고 보시면 됩니다.

네이버웹툰으로 옮기시기 전에 ‘비닷두(V.DO)’라는 인공지능 스타트업의 대표를 하셨는데 인공 지능 기술은 언제, 어떻게 관심을 갖게 되셨고 창업까지 하셨나요?

2016년에 알파고가 유명해지면서 국내에 AI에 대한 관심이 높아졌습니다. 전 2014년부터 박사과정에 있었는데 함께 공부하던 연구실 동료들과 함께 이 기술로 실제 세상에 적용 해보고 싶었습니다. 그래서 AI로 인간의 시각 능력을 재현하는 연구인 ‘컴퓨터비전 AI’ 분 야로 2017년에 창업을 했습니다.

그렇게 창업한 비닷두가 네이버웹툰과 어떻게 합치게 됐나요?

네이버와는 창업할 당시, D2SF(NAVER D2 Startup Factory)라고 스타트업 투자지원 조직에서 첫 투자를 받아서 인연이 있었습니다. 그때, 약 2년 반 정도 AI 기술을 적용한 영상 혹은 이미지를 가지고 다양한 어프로치를 했었습니다. 그렇지만 지금도 AI 기술로 돈을 번다는 게 쉽지 않은데, 2017년에는 초창기여서 AI 기술로 수익을 얻고 기술 상용화에서 사업화 과정까지 이르는 데 한계가 있었습니다. 그때, 네이버웹툰에서 저희와 같은 AI 기술을 가진 역량 있는 회사를 찾고 있었고 기술을 적용하고 실현할 수 있겠다 싶어서 함께하게 됐습니다. 최근에 컴퓨터비전 AI 분야의 대표적인 학회이자 컴퓨터 공학에서 가장 영향력 있는 학회로 꼽히는 ‘2022 컴퓨터비전 및 패턴 인식 컨퍼런스 학술대회(Conference on Computer Vision and Pattern Recognition, 이하 CVPR)’에서 특정 피사체의 외곽을 쉽게 선택할 수 있는 ‘자동배경분리’ 기술과 장면을 웹툰처럼 바꿔주는 ‘웹툰미(WebtoonME)’ 기술에 관한 논문을 발표했습니다. 네이버웹툰이 독자적으로 개발한 웹툰 관련 AI 기술이 CVPR에서 소개 되어 기술 우수성을 입증한 사례로 처음 인정받은 셈이지요.

네이버웹툰 AI의 조직운영과 구성을 간단히 소개해 주시겠어요?

저희 공식명칭은 ‘웹툰 AI’이고 컴퓨터비전, NLP, 데이터 사이언스, MLOps 등 AI 모든 영 역에서 60명 이상 되는 연구자와 개발자로 이뤄졌습니다. AI 기술과 관련된 석박사, 프로그래머와 연구자 등 전문 기술 조직이지요. 아직 신생조직이다 보니까 각 담당자들이 적극적으로 문제를 해결하고 주도적으로 연구하고 있습니다. 그래서 꾸준히 창작자 그룹과 소 통하고 있습니다. 대부분 웹툰과 웹소설을 좋아해서 근무환경에 만족도도 높은 편이고요. 일반적인 AI 기술연구도 잘하면서 콘텐츠에도 흥미가 있는 사람들이 일하는 곳이라고 볼 수 있습니다. 3년 이내에 100명 이상의 규모로 확장해서 글로벌 수준의 AI 그룹으로 도약 하는 것이 목표입니다.

이전에 하신 인터뷰에서 지금 AI 조직을 ‘스토리테크 플랫폼’이라고 말씀하셨는데 어떤 의미인가요?

그 이름은 김준구 대표님이 지으신 건데 말 그대로 스토리와 테크가 합쳐진 겁니다. 네이버웹툰이 콘텐츠 회사이기도 하지만 테크 기업이기도 하다는 의미이지요. 저희 웹툰 AI는 약 10여 년 동안 콘텐츠 도메인의 AI를 집중적으로 연구하는 국내 유일의 조직입니다. 그래서 웹툰으로 국내 콘텐츠 시장과 글로벌 시장에도 기술적 혁신을 가져오도록 노력하고 있습니다.

해외에서 웹툰이라면 한국 웹툰을 떠올릴 정도로 자리를 잡고 있는데 이런 해외 진출 측면에서 웹툰 AI라는 조직은 어떤 역할을 하고 있나요?

저희가 보유한 컴퓨터비전 분야의 이미지 관련 기술뿐만 아니라 기초적인 일반 AI 기술은 외국어의 진입장벽이 낮아서 충분히 해외에서도 쓰일 수 있다고 봅니다. 그래서 해외 진출에도 바로 적용할 수 있을 거라고 보고요. 현재 마케팅 분야에서도 재미있게 적용해서 쓰고 있습니다.

창작자의 의도 반영한 AI 기술에서 일반 상용화까지 아우르는 자동화 서비스까지

네이버웹툰 AI 조직에서 AI와 웹툰을 접목할 때 어떤 부분에 중점을 두고 연구하시나요?

네이버와는 인수되기 전에도 꾸준히 회의했었고 그 당시 웹툰에서 저희의 컴퓨터비전의 이미지 연구 기술을 쓸 수 있지 않을까 생각은 했었습니다. 그리고 정식으로 네이버에 들어와서는 본격적인 정식 업무로 웹툰과 접목할 요소를 찾다가 자동화 기술에 집중했습니다. 그래서 작년 10월에 ‘웹툰 AI 페인터’와 같은 서비스를 발표했고 앞으로 새로운 서비스 기술을 오픈할 예정입니다.

실제로 웹툰 AI 페인터의 자동 채색 기술을 써 봤는데 무척 신기했습니다. 어떤 방식으로 작동하는 것인지 간단히 설명해 주시겠어요?

간단하게 말씀드리면 웹툰 AI 페인터의 핵심 기술은 기본적으로 학습을 한다는 점입니다. ‘딥러닝’ 기술을 활용해서 창작자 의도에 맞는 스케치 맥락에 따라서 자연스럽고 웹툰스러운 채색을 도와주는 서비스 기술이지요. 창작자가 색을 선택하고 원하는 곳에 터치하면 AI가 필요한 영역을 구분해서 자동으로 색을 입히는 것입니다. 그러면 일일이 수작업으로 했던 기존 작업 패턴과는 달리 몇 번의 터치만으로 채색 작업을 완성해서 효율성을 높일 수 있습니다.

초창기와 지금의 웹툰을 비교하면 독자들의 그림과 컬러에 대한 취향도 변하고, 창작자들이 주로 쓰는 작업 패턴도 달라졌는데 이런 점들을 모아서 카테고리화 하는 것도 가능한가요?

저희도 그런 수요를 인식하고 그에 맞춰서 디벨롭하는 중입니다. 웹툰 AI 페인터의 경우, 3년 동안 개발·연구한 기술을 모은 결과물이지요. 네이버웹툰에서 연재한 1,500여 작품의 약 12만 회차분의 30만 장의 이미지 데이터를 추출해서 딥러닝으로 학습시킨 결과, 웹툰 채색에 특화되도록 개발하여 개성이 강한 그림체도 깔끔하고 뚜렷하게 웹툰스럽게 표현할 수 있게 됐습니다. 이런 방식으로 자동 채색을 쓰고자 하는 일반 사용자분들 각각의 의도에 맞춰서 특정 작가의 스타일로 하고 싶다든지, 아니면 원하는 컬러나 스타일을 창작 의도에 따라서 쓸 수 있도록 준비하고 있습니다.

이런 솔루션을 개발하실 때 어려웠었던 점과 보람을 느끼거나 인상 깊었던 사건이 있다면 무엇이었나요?

창작 작업과 연결하다 보니까 마땅한 기준과 명확한 근거가 없다는 점이 어려웠습니다. 마치 AI를 사람이라고 했을 때, 그 사람이 무언가를 배울 때마다 잘한 점과 부족한 점을 알려줘야 발전을 하겠지요. 하지만 웹툰이란 창작 작업에서는 정답이 없고 잘하고 못하고의 기준 또한 기계적으로 파악하기가 어렵습니다. 만화비평을 하시니까 잘 아시겠지요?(웃음) 대부분 명확한 답과 기준을 바탕으로 개발하는 AI 기술에서는 그런 점이 어렵다고 할 수 있어요.

보람을 느낄 때는 당연히 오픈날입니다. 그렇게 힘든 과정을 거쳐서 데모 버전, 베타버전을 오픈하면 결과가 어떨지, 반응은 좋을지 아무것도 알 수 없어요. 다행히 바이럴 홍보가 잘 돼서 굉장히 많은 분들이 찾아주셨을 때 보람을 느꼈습니다.

최근 웹툰 제작 시스템이 스튜디오 체제 중심으로 운영되니까 이런 기술력을 환영하는 분위기이지만 여전히 개인 창작자들은 일을 빼앗길지 모른다는 불안감을 가지고 있는데 어떻게 생각하시나요?

저희도 매우 조심스러운 부분이고 창작자의 영역을 대신한다는 것은 저희의 목표가 절대 아닙니다. 창작자의 의도가 없는데 뿅 하고 새로운 기술을 만들어 낼 수는 없거든요.(웃음) 오랫동안 연구한 경험에 따르면 창작자의 의도를 가장 빠르게 구현할 수 있도록 돕는 자동화 기술에 집중하는 게 창작자와 연구 개발자 모두 윈윈하는 길인 것 같습니다.

AI 페인터 기술을 사용한 네이버웹툰 중에 민송아 작가의 〈이두나〉가 알려졌는데 이외의 다른 작품은 없는지, 어떤 기술이 쓰였는지 소개해 주시겠어요?

현재 웹툰으로는 〈이두나〉를 제외하고는 없습니다. 다만 저희가 연구한 기술들은 창작자들의 특정한 의도를 반영하기보다는 일반 유저들이 공통적으로 쓰기에 좀 더 편리한 자동화 솔루션에 가깝습니다. 그래서 작가님들이 주로 쓰시는 데 도움이 될 밑색 채색이나 실사 사진을 웹툰화시켜 배경 작업 시간을 줄일 수 있는 ‘배경 자동 생성 기술’과 사진을 올리면 웹툰 캐릭터로 바뀌는 ‘얼굴 변환 기술’ 등이 있고 올 하반기에 업그레이드할 예정입니다. 이런 부분들을 작가님들과 꾸준히 대화하면서 개발하면 좀 더 많은 분들이 쓰기 편하게 상용화가 되지 않을까 생각합니다. 그러다 보면 창작자가 원하고 필요한 기술을 정밀하게 포착해서 개발할 수 있다고 보고 있습니다.

웹툰 AI에서는 창작 솔루션뿐만 아니라 불법 공유 방지 솔루션도 개발하셨다고 들었는데 구체적으로 어떤 기술인지 소개해 주시겠어요?

‘툰레이더(Toon Radar)’ 기술을 말씀하시는 듯한데, 이 기술은 2017년부터 국내외 불법 복 제물 추적에 활용하고 있습니다. 툰레이더는 웹툰에 심어진 사용자 식별 정보를 읽고 불법 이용자를 탐지하는 인공지능 기술로 꾸준히 고도화되고 있습니다. 그 결과, 이미지 추적을 위한 보는 능력(컴퓨터 비전)을 갖춘 인공지능을 적용, ‘툰레이더 AI’로 업그레이드해 효율성을 높일 수 있게 됐습니다. 불법 웹툰 사이트를 모니터링하고 업로드된 불법 웹툰 이미지에서 유출자를 찾아내는 과정에서 모니터링 자동화와 툰레이더 AI를 활용하는 방식으로 보 다 빠르고 효율적으로 유출자를 찾아낼 수 있게 됐지요.

그래서 2018년에 ‘밤토끼’와 ‘먹투맨’, 2019년 ‘어른아이닷컴’, ‘호두코믹스’ 등 웹툰 불 법유포사이트를 검거하는 과정에서 불법 유출자를 특정하는데 큰 역할을 했습니다.

2017년 7월부터 툰레이더를 적용하기 시작해서 올해 상반기까지 국내 1차 불법사이트

31개 중 29개, 해외 불법사이트의 65개 중 34개는 업로드가 중지되거나 2차 불법 사이트로 변경되어 서버운영이 멈춘 상태로 만들 수 있었습니다. 또한 정식 플랫폼에 올라온 최신 유료 회차가 불법 공유사이트에 올라오는 시간을 획기적으로 줄이고 신규 불법 사이트를 탐지하는 시스템을 구축해서 신속하게 판별할 수 있습니다. 그 결과, 2021년 평균 25개에 달했던 불법 공유 작품 수를 2022년에는 약 80%로 줄였습니다. 2020년부터는 COA(사단법인 저작권해외진흥협회)에 가입해서 국내외 글로벌 웹툰불법유통 침해 대응 사업에 참여하고 있습니다. 그리고 콘텐츠 불법 유통 사례 모니터링에 특화된 국내외 전문업체들과 파트너십을 맺어서 저작권 침해에 빠르게 대응하고 있습니다.

앞서 말씀해 주신 글로벌 학회에서의 발표로 국내에서 업계 화제가 됐는데 자세히 설명해 주시겠어요?

지난 6월 19일부터 24일까지 미국에서 ‘2022 CVPR’이라는 학회가 있는데 1983년에 시작돼서 세계 최대 기술 전문 단체인 전기전자공학자협회(IEEE)와 컴퓨터비전협회(CVF) 가 공동 주최하는 컴퓨터비전 AI 분야의 대표적인 학회이자 컴퓨터 공학에서 가장 영향 력 있는 학회입니다. 여기서 웹툰 AI가 독자적으로 연구한 웹툰 관련 AI 기술이 처음으로 소개됐고 우수성도 인정받았지요. 저희가 발표한 기술 은 앞서 말씀드린 ‘자동배경분리’ 기술과 장면을 웹툰처럼 바꿔주는 ‘웹툰미(WebtoonME)’ 기술에 관한 논문 입니다. ‘나를 웹툰으로 바꿔줘’라는 뜻의 웹툰미는 최근 라이브커머스 분야에서 쓰였는데요.

지난 6월에 진행한 네이버웹툰 인기 작품 〈유미의 세포들〉 관련 상품을 판매하는 네이버쇼핑 라이브에서 진행자의 얼굴이 약 30초간 웹툰처럼 바뀌었어요. 그러자 그 방송을 보던 시청자들이 무척 재미있어했습니다. 이렇게 AI 기술 이 실제 우리 생활에서 도움이 되고 수익창출이 가능하도록 만들고 있습니다.

▲<그림>네이버 쇼핑라이브에서 진행자의 얼굴이 웹툰미 기술을 통해 웹툰처럼 변환된 모습

네이버웹툰의 작품 큐레이션에도 웹툰 AI 조직의 솔루션과 매칭될 수 있는 부분이 있다면 무엇이 있나요?

웹툰 플랫폼에서 큐레이션은 매우 중요한 부분이기 때문에 저희 웹툰 AI뿐만 아니라 기획, 디자인 조직 모두 다 같이 참여해서 연구하는 중입니다.

개인적으로 AI 솔루션과 접목하면 좋을 웹툰 작품이 있다면 무엇인가요?

제작 기술을 기반으로 하는 측면에서 제작과 매칭이 된다면, 영상 구도, 연출적인 모습, 캐릭터의 다이내믹함을 강조해서 독자들에게 재미를 줄 것 같습니다. 〈칼부림〉의 고일권 작가님이 자동 채색기술에 관심이 매우 많으시다고 들었습니다. 실제로 본인 블로그에 자동 채색기술로 작업한 작업물들을 올리고 계시고요. 고 작가님는 아직까지도 직접 펜으로 스케치와 펜터치까지 하시고 스캔 후, 포토샵으로 작업하십니다. 그런데도 팬들의 컬러원고 에 대한 니즈를 인식하고 계셔서 이 기술이 활성화가 되고 완벽하게 구현되면 그동안 흑백 만화가 주는 재미에서 컬러가 더해져 이전보다 더 영상미를 살릴 수 있다고 기대를 많이 하세요. 이렇게 AI 기술에 대해 여러 의견을 얻으면 개발할 때 많은 도움이 됩니다.

개인적으로 어떤 웹툰 작가와 작품을 좋아하시나요?

제가 육아를 하고 있어서 닥터베르 작가님의 〈닥터앤닥터 육아일기〉를 재미있게 읽고 있습니다. 작가분이 공학 박사셔서 그런지 저희랑 사고방식이 좀 비슷하세요. 그런 점에서 공감이 많이 돼서 굉장히 열심히 봤습니다.

웹툰 AI의 리더로서, 개인으로서 만화계에 하고 싶으신 말씀이 있다면 무엇인가요? 

창작자분들을 더 많이 만나고 싶습니다. 저희가 AI 기술을 연구할 때 창작자들을 더 많이 만나서 많은 이야기를 들으면 큰 도움이 되거든요. 다양한 아이디어를 많이 보여주시면 창작자의 의도를 더욱더 정확하게 구현해서 상용화 기술로 이어질 수 있습니다. 그래서 창작자 와 개발자 모두 윈윈할 수 있는 혁신적인 모델로 자리 잡았으면 합니다.