1. 누가 이미지 생성 AI를 원하는가.

이어서 이미지 생성 AI를 적극적으로 활용하려 하는 쪽에 대해 살펴보려 한다. 누가 이용하려 하는지, 또 그들이 현재 쟁점이 되는 사안들에 대해 어떤 입장을 갖고 있는지에 대한 검토가 주요하게 다뤄질 것이다.

현재 이미지 생성 AI를 활용을 긍정적으로 바라보고 있는 행위자 유형과 이유(혹은 욕망)를 표로 간단히 정리하면 다음과 같다. 당연하지만 AI 활용의 이유는 단일하지 않으며, 행위자 유형에 해당하더라도 AI 활용을 고려하지 않거나 경계하는 이들은 많다.

[ 표 1 이미지 생성 AI를 활용하려는 행위자와 이유 혹은 욕망 ]

이 행위자들은 때로 명확히 나눠지지 않으며, 자리를 바꾸기도 한다. 유저2인 창작자1도 있을 수 있고, 유저2의 자리에서 유저1로 이동하는 이들도 있다. 유저1이다가 창작자2가 되는 경우도 가능하다. 표는 어디까지나 여러 상황을 뭉뚱그린 불완전한 단순화이니 참고만 해 주기 바란다. 그래도 현재 드러나 있는 실례를 참고로 한 표인 만큼 실례와 함께 더 접근해 보자.

현재 기업1에 해당하는 회사는 상당히 많지만 대부분은 게임 회사다. 주로 일러스트와 배경, 그리고 게임에 삽입되는 애니메이션 등에 생성 AI가 활용된다. “2023년 6월 기준, 국내외 주요 게임사 다수는 AI 게임 개발을 상용화하는 단계에 접어들었다”는 전망도 나온다(1). AI로 이미지를 생성하면서 아트워크 인력들을 해고한 게임사에 대한 루머가 회자되기도 했다. 사실이 아니라는 해명이 있었지만 우려는 끊이지 않는다. 직접적인 해고는 아니라도 외주 작업 의뢰가 줄어드는 일은 웹소설 일러스트레이터들에게 이미 일어나고 있다. 관련한 문제 제기와 분쟁들도 현재 진행형이다. 창작자2에 해당하는 웹소설 작가가 저작권 침해 가해자로 지목된 사건이 대표적이다(2). 웹소설 출판사의 해명에 따르면 “AI 표지를 전문적으로 다루는 개발자”에 의뢰해 일러스트를 생성했고, 이는 출판사 측에서 많은 비용이 소요되는 외주 일러스트를 선택지에서 제외한 탓이었다. 즉, 해당 사건은 출판사(기업1)에서 웹소설 작가(창작자2)가 일러스트레이터에게 의뢰하는 선택지를 배제하였기에, 개발자 출신 ‘AI 크리에이터’(유저1)에게 훨씬 저렴한 비용으로 일감이 돌아갔던 건으로 정리할 수 있다.

이렇듯 외주 일감도 줄었는데 그림체까지 도둑맞은 일러스트레이터는, 이미지 생성 AI를 활용하려는 사람들로 인해 직간접적인 피해를 입었다. 그림체 등의 스타일은 현행법상 저작권 보호의 대상으로 인정받기 어렵다는 점도 전통적인 이미지 창작자를 곤란하게 한다. 새로운 현상을 담아내지 못하는 제도의 공백 속에서도 ‘도의적’ 문제를 지적하는 분위기에 따라 출판사가 AI 표지를 철회했지만, 제도가 뒷받침되지 않는다면 상황은 반복될 것이다. 게다가 타인의 저작물을 무단으로 학습해 일러스트를 생성한 AI 크리에이터(유저1)은 익명으로 남아 별다른 손해를 입지 않았다. 이 사례처럼 양지에서 활동하는 콘텐츠 업계에서 스타일을 뻔뻔하게 훔치기는 어렵다 해도, 이미 무분별하게 AI를 활용해 수익을 거두는 음지의 유저1들이 상당수 존재한다. 그들이 재능기부 플랫폼에서 기존에 비해 훨씬 저렴한 가격에 일러스트를 제공할 때, 그들이 흡수한 일감은 기존 창작자의 손해와 피해로 돌아간다.

이러한 상황을 지켜볼 때, 이미지 생성 AI를 활용하려는 행위자들에게는 몇 가지 공통점이 포착된다. 전부는 아니더라도, 대부분 세 가지 공통점이 연결되어 그들의 행위를 긍정한다. 도덕적 판단을 배제하고 건조하게 기술해 둔다. 첫째, AI 기술을 통해 그것 덕븐에 가능해진 욕망을 추구하고 구현하려 한다. 둘째, 욕망의 추구 과정에서 생성 AI 등장 이전의 창작자들이 누리던 몫이 줄어드는 일은 기술 진보에 따라 일어날 수밖에 없는 일이라 생각한다. 마지막, 생성 AI의 학습과 생성을 인간의 그것과 별반 다르지 않은 과정으로 이해한다. 셋 모두를 다루기는 어려우니, 기술적으로 명확히 따져볼 수 있는 마지막 공통점을 중심으로 살펴보자.

2. “AI 학습이 인간 학습과 뭐가 다른데?”

‘AI 학습이 인간 학습과 뭐가 다르길래 이렇게 난리냐.’ 생성 AI 활용에 긍정적인 사람들이 자주 제기하는 반문이다. ‘사람도 작품을 보고 학습하는데 그때마다 승인을 구하지 않는다.’ ‘인간도 베껴서 발표하는 표절이 문제지, 연습으로 베껴 그리는 학습은 문제가 아니다.’ 이것은 인간의 학습이 저작권 침해가 아니라면 AI의 학습도 저작권 침해일 수 없다는 주장이다. 승인 없는 다운로드, 저장, 배포 등을 학습과 연관해 ‘공정 이용’이라 주장하기도 한다.

사실 ‘공정 이용’은 법적 사안이라 기존법에 기반한 해석 및 판결과 새로운 상황에 따른 법의 재·개정 추이를 기다리며 의견을 표명하는 정도밖에는 논할 것이 없다. 하지만 인간의 학습과 AI의 학습이 어떻게 다른지 따져보는 일은 기술적으로 가능하다. 가령 인간이 고흐의 그림 <밤의 카페 테라스>를 감상했다고 한다면, 이에 대한 인간의 학습은 1) 눈으로 보기(입력), 2) 손으로 따라 그려보기(연습 출력) 정도로 나뉜다. 그리고 학습 활동 끝에 눈앞에서 물리적으로 사라진 이후의 그림은, 학습자의 신체에 기억의 형태로만 남는다. 게다가 인간은 살아가며 수많은 그림을 본다. 따라서 개별 그림은 더욱 불완전한 형태로 기억되고, 따라 그리기도 무척 어렵다.

[ 그림 1, 참고용으로 생성해 본 이미지. 프롬프트 1: Café Terrace at Night by Vincent van Goch, 프롬프트 2: Cafe Terrace at Night by Van Gogh - 1000 pc. jigsaw puzzle.(데이터셋 레이블) 8개 이미지 중 하나는 고흐의 <밤의 카페 테라스> ]

그런데 우리가 알다시피 AI는 엄청나게 비슷한 그림을 내놓을 수 있다. (그림1 참고) 인간의 학습과 무엇이 다른 걸까? AI의 훈련 과정에서 감상할 그림이 있는 공간을 학습 데이터셋이라 부른다. <밤의 카페 테라스>도 데이터셋 속에 몇십억 점의 이미지들과 함께 저장되어 있다. AI는 훈련 과정에서 모델 고유의 알고리즘을 바탕으로 데이터셋에 액세스하는 과정을 반복한다. 학습 완료 후, AI 모델은 학습 데이터, 즉 데이터셋과 분리된다. 그래서 AI 모델 파일의 크기는 학습 데이터셋보다 훨씬 작다. 스테이블 디퓨전의 데이터셋 LAION 5B는 240TB(=24만 GB)인데 분리 후의 스테이블 디퓨전 모델은 버전에 따라 다르지만 대부분 5GB 안팎이다. 그러니 용량만으로 추론한다면 두 가지 가능성이 있다. 1) 학습 데이터는 모델에 전혀 저장되지 않는다. 2) 학습 데이터 중 극히 일부만 모델에 저장된다. 그렇다면 스테이블 디퓨전 모델(=신체) 안에 그림은 어떤 방식으로 남아 있을까? ‘저장’되어 있는 것일까? 아니면 인간처럼 불완전한 형태로 ‘기억’되어 있을까?

몇몇 학자들은 스테이블 디퓨전 모델이 학습 이미지 일부를 저장하고 있다고 의심한다. 그 가능성을 밝힌 두 편의 arxiv(3) 논문 중 첫 논문(그림2 참조)은 생성에 학습 데이터의 복사(copying)가 일어나는지 확인하는 실험을 한 후 일부 그런 것으로 관측된다는 결론을 내렸다(4). 이어진 두 번째 논문도 비슷한 방향이지만 더 강력하다(5). 초록과 핵심 이미지를 보자.

[ 그림 2 <확산 예술인가 디지털 절도인가? 디퓨전 모델의 데이터 복제에 대한 조사>. 상단 이미지는 생성된 이미지, 하단 이미지는 학습 데이터셋에서 생성 이미지와 가장 비슷한 이미지 ]

“DALL-E 2, Imagen, 스테이블 디퓨전과 같은 이미지 확산(diffusion) 모델은 고품질 합성 이미지를 생성할 수 있는 능력으로 인해 큰 주목을 받고 있다. 이 연구에서는 확산 모델이 훈련 데이터에서 개별 이미지를 암기(memorize)하고 생성 시점에 이를 방출(emit)하는 것을 보여준다. 우리는 최신 디퓨전 모델의 생성 및 필터 파이프라인에서 개인 사진부터 상표가 등록된 회사 로고까지 천 개가 넘는 훈련 샘플을 추출할 수 있었다. 또한 수백 개의 확산 모델을 다양한 설정값으로 훈련하여 다양한 모델링 및 데이터 결정이 개인정보 보호에 미치는 영향을 분석했다. 그 결과, 확산 모델은 GAN과 같은 이전의 생성 모델보다 프라이버시가 훨씬 덜 보호되며, 이러한 취약점을 완화하기 위해서는 프라이버시 보호 훈련에 새로운 발전이 필요할 수 있음을 드러냈다.”

[ 그림 3. 논문 제목은 <디퓨전 모델에서 훈련 데이터 추출하기>. 상단 이미지는 학습 데이터 셋의 이미지, 하단 이미지는 추출한 이미지. ]

원본과 생성본이 많이 유사하다. 아니, 같아 보인다. 확대해서 보면 약간 차이는 있지만 대략 95% 이상 같아 보인다. 요약하면, 이 논문은 일종의 해킹을 통해 모델로부터 훈련 데이터를 적발해 냈다. 이를 근거로 모델이 훈련 데이터의 일부를 ‘암기’하고 있다는 것이 이 논문의 주장이다. 숫자로 보면 적발해 낸 일부는 35만 개의 암기 가능성이 높은 이미지(데이터세트의 중복 이미지) 가운데 94개의 직접 일치와 109개의 근접 일치로 극소수이다. (‘암기율’ 약 0.03%) 하지만 이렇게 적은 숫자라고 해도 암기를 한다는 것은 그 자체로 여러 저작권 이슈로 이어질 수 있다. AI 챗봇 이루다가 학습 데이터의 대화를 그대로 내보내서 문제가 되었던 사례처럼 개인정보 유출 가능성도 있다. 또한 무엇보다 학습에서, 그리고 학습 기억의 출력에서 인간과 AI가 갖는 차이를 도드라지게 보여주는 증거가 된다.

3. civitAI X ‘AI 크리에이터’

다시 생성 AI 활용 행위자들로 돌아가자. 이들 중 상당수는 기본 제공 모델을 바탕으로 추가적인 학습을 통해 파인튜닝된 모델을 만들어 활용한다. 혹은 무단 학습된 파인튜닝 모델을 civitAI와 같은 공유 플랫폼에서 다운받아 이미지를 생성한다. 이것이 그대로 문제는 아니다. 가령 창작자1은 본인들이 직접 그린 그림을 생성 AI에 학습시켜 자신들의 그림체와 닮은 이미지를 생성해 활용하려 하는 대표적 행위자다. 데즈카 오사무 프로덕션이 현재 추진하고 있는 TEZUKA 2023 프로젝트가 유사한 예로, 스테이블 디퓨전을 베이스로 데즈카의 <블랙잭>을 학습시켜 파인튜닝한 TEZUKA 2023판 <블랙잭>을 준비 중이다(6). 이현세 작가의 작품을 학습시켜 준비 중인 이현세 AI도 베이스 모델은 다르지만 유사한 사례다. 정당한 저작권자의 승인 후에 학습되고 활용되는 것인 만큼 법적인 문제는 거의 없다. 물론 만화 생태계에 미치는 영향은 생각해 볼 여지가 있다. 가령 이런 식으로 많은 작품을 발표한 선배 만화가들의 작품이 AI의 힘을 빌어 지속적으로 등장한다면, 신진 만화가들의 설 자리가 좁아지지는 않을까 하는 우려다.

하지만 학습과 관련하여 훨씬 더 문제가 되는 것은 행위자가 타인의 그림을 학습시켜 파인튜닝된 모델로 작품을 발표하는 일이다. 우선 학습 이미지 일부를 모델이 암기하거나 저장한다는 앞선 논문의 주장이 사실이라면, 생성 결과물 가운데 학습 이미지가 포함될 가능성을 배제하기 어렵다. 또한 파인튜닝에서 일반적으로 많이 쓰이는 LoRA 모델은 새로운 학습 이미지에 가중치를 부여해 그것과 무척 흡사한 이미지를 생성하기 때문에, 생성물이 법정에서 표절로 인정될만한 유사성을 띠게 될 가능성 또한 높다. 법적 처벌을 피한다 하더라도, 무단 학습을 통해 한 작가의 스타일을 베끼거나 둘 이상의 작화가의 스타일을 손쉽게 혼합한 것은 도의적 문제가 있다고 비판받을 여지가 많다. 다른 문제도 있다. 유저1 가운데 상당수는 자신들이 파인튜닝한 모델을 판매하거나 공개하기도 한다. (게중에는 아이돌의 사진을 학습하여 실사 이미지를 생성하는 파인튜닝 모델도 있는데, 이것은 명백한 초상권 침해다.) 이런 행위는 우선 자신의 저작물이 아닌 것을 활용해 수익을 거둔다는 점에서 문제이며, 그러한 판매 행위를 통해 다른 사람들의 추가적인 저작권 침해를 촉발한다는 점에서 더 큰 문제가 된다.

유저2에 해당하는 라이트 유저들도 일부 위험할 수 있다. 무분별한 19금 이미지를 생성하고 공유하는 경우, 실존하는 아이돌의 사진을 학습해 소위 딥페이크 사진이나 영상을 생성하는 경우는 엄연한 범죄다. 취미와 덕질 차원에서 AI 이미지 생성을 시도해 본 유저들 가운데 일부는 수익화 및 다른 욕망을 향해 유저1로 자리를 바꾸려 시도한다. ‘AI 크리에이터’ 전체가 비도덕적일 리는 없지만, 직접 그린 그림을 활용하는 것이 아닌 이상 그들이 수익을 거두거나 그외 수익으로 이어지는 행위를 하는 것은 위험 소지가 있다.

하지만 무엇보다 가장 큰 문제로 지적해야 할 것은 이 모든 것을 가능하게 하고 부추기는 기술적 도구와 공간을 제공하는 기업2 중에서 찾아볼 수 있다. 대표적인 사례인 플랫폼 civitAI는 온갖 저작권·초상권 침해 자료와 19금 자료가 넘쳐나던 운영 초기에 비해 다소 정돈되기는 했으나, 기존 창작자의 입장에서는 여전히 위험하고 꺼려지는 공간이다. ‘AI 크리에이터’들이 특정 작가나 작품의 그림체와 스타일을 구현하도록 파인튜닝한 여러 모델을 이 공간을 통해 공유한다. 그것을 바탕으로 팔로워와 후원을 모으거나 판매대금을 수취한다. civitAI와 같은 플랫폼은 이런 행위들을 유도하여 덩치를 키우고 광고 등으로 수익을 모은다. 그리고 충분한 데이터와 유저가 모이면 매각 등의 방식으로 수익을 현금화 하거나, 혹은 제도의 정비에 맞추어 합법적인 플랫폼으로 거듭날 수도 있다. 제도적 공백이 있는 초기에 확장 과정에서의 불법성과 윤리적 문제를 뒤로 한 채로 시장의 지배적 사업자가 되는 IT 기업을 우리는 적잖이 보아왔다. 하지만 그 성공의 기반이 다년간 자신만의 스타일을 찾고 구사하기 위해 노력한 창작자들의 성과를 약탈한 것이라면, 정도가 지나치지 않은가? 이들은 제도적 공백 속에서 성장하고 있지만, 현재 거의 사라진 ‘소*바다’나 ‘밤*끼’와 다를 바 없고, 아직 완전히 근절되지 않은 P2P 웹하드 사이트와도 유사하다. 저작권을 존중하는 AI 크리에이션이라는 것이 가능하다면, 그것은 이러한 공간의 ‘보이콧’ 혹은 정상화로부터 시작될 것이다.

‘AI 크리에이터’가 생겨나는 공간과 환경을 비판적으로 다루었지만, ‘AI 크리에이터’들 스스로 자신이 발을 들이려는 생태계를 망치는 행위를 하고 있는 것은 아닌지 성찰하는 것의 중요성도 강조하고 싶다. 기술적으로 기회가 열렸을 때 그 기회를 잡는 것도 실력이겠지만, 그것이 다른 이들의 노력을 절취하는 방식으로 이루어져서는 곤란하다. 누군가 10년 동안의 노력으로 도달한 어떤 스타일을, 지금도 여전히 몇 시간 공들여 그 스타일로 그려낸 그림을, 비교도 되지 않을 만큼 짧은 시간 안에 훔쳐서 구현하는 것은 정당한 창작이 아니며 예술이기도 어렵다. 카메라로 찍은 사진이 저작물성을 인정받게 된 데에는 사진예술만의 고유한 철학을 향한 애씀과 사진가들의 노력이 있었던 것을 우리는 역사를 통해 안다. 마찬가지로 현재의 ‘AI 크리에이션’도 그것에 어울리는 윤리성과 예술성, 그리고 AI 툴을 다루는 인간의 주관성 및 AI와의 상호주관성 등을 바탕으로 재정의될 필요가 있다. ‘AI 크리에이터’ 역시 그 기반 위에서 정당한 모습을 확보해 나가려 노력해 감과 동시에 동일 행위자들의 저작권 침해를 서로 경계할 필요가 있다.

하지만 이는 제도적으로 형성되는 인식 없이는 무척 어려운 일이다. 앞선 글에서 살핀 EU나 미국의 사례들이 저작권 침해를 경계하는 방향을 향하고 있는 것은 그래서다. 한국의 제도화 과정에도 같은 고민이 필요하다.

4. AI 뒤에 숨은 사람

‘AI 웹툰 보이콧’으로 첫 글을 시작했던 만큼, 다시 돌아가 보자. ‘AI 웹툰 보이콧’은 주장이 과하고 근거가 불충분하지만 상당한 파급력을 보여준 운동이었다. 만약 ‘인간’ 작가와 그들의 작품을 지키고픈 마음이 여전하다면 더 명확하고 근거 있는 주장으로 운동을 이어갈 수 있기를 바란다. 분명 현재의 이미지 생성 AI 씬은 청정지대가 아니며, 다소 혼란스럽기까지 하다. 또한 하루가 다르게 새로운 기술이 등장하며, 그로 인한 긍정적이고 부정적인 새로운 현상들이 지금도 새롭게 출현하고 있다. 의견과 논쟁으로 창작자와 향유자가 모두 즐거운 세계를 향할 수 있기를 바란다.

노파심에 덧붙여 두지만, 이 글은 ‘AI 웹툰’을 ‘보이콧’해야 한다고 주장하는 글은 전혀 아니다. 나는 오히려 웹툰 제작 과정에 적절한 AI 활용은 필요하다고 보는 입장에 가깝다. 작품 전체의 제작은 시기상조이겠으나, 3D 배경이나 AI 채색과 같이 작가가 ‘할 수 있는 번거로운 일’의 하중을 줄여주는 기술적 도움은 저작권 침해 우려만 없다면 얼마든지 받을 수 있을 것이다(7).

AI의 저작권 침해 가능성에 대한 우려를 표했지만, 사실 핵심은 AI를 내세우고 뒤에 숨은 행위자, 인간이다. 본문에서 행위자로 지적하지는 않았지만 AI 모델을 만들고 출시하는 기업, 즉 법인 속의 인간도 모든 일의 첫 자리에 숨어 있다. AI를 활용해 무언가 해 보려는 이들도 인간이다. 저작권 침해의 주체는 AI가 될 수 없다. AI로 인해 창작 기술, 저작권 침해 등에 과거와 다른 새로움이 발생한 상황일 뿐이다.

생성 AI를 통해 저작권 침해를 저지르면서까지 AI를 학습시키고 준비시키고 있는 평범한 행위자로서의 인간과 그들의 욕망이 있다. 평범하고 순수한, 하지만 누군가의 권리를 침범할지도 모르는 욕망과 그것을 추구하는 인간. 이 광경 속에서 묻게 된다. 인간은 AI를 내세워 어떤 새로운 형태의 저작권 침해를 만들어 내는가? 그것은 어떻게 경계될 수 있으며, 제도와 문화는 어떻게 개선될 수 있을까? 이런 질문을, 책임 있고 창의성이 존중되는 세계에서 만들어진 예술을 감상하고 싶은 사람으로서, 예술을 사랑하는 이들과 꼭 나누고 싶었다. 제도가 아직 만들어지지 않은 지금이 그것을 논의할 적기다.

* 이미지 생성 AI와 저작권, 1부 저작권 관련 법적 이슈와 침해에 대한 대응

* 이미지 생성 AI와 저작권, 2부 AI 학습과 활용의 위험

(1) 김미희, <이미지 생성 넘어 게임 개발 전방위로 퍼지는 AI>, 게임메카, 2023.6.16. https://www.gamemeca.com/view.php?gid=1738101

(2) 박혜원, <“내 그림 학습시킨 웹소설 AI 표지, 해명하세요”…웹툰·웹소설계 진통>, 헤럴드경제, 2023.06.30. http://news.heraldcorp.com/view.php?ud=20230630000168

(3) https://arxiv.org 이 사이트의 논문들은 대부분 정식 학술지에 게재되기 전에 논제와 논점을 선점하기 위해 올라온다. 그래서 질적으로 검증되지 않은 논문도 많지만, 소개할 논문들은 전문적이고 공신력 있는 기관에 몸 담고 있는 저자들에 의해 작성되었고 언론 보도도 되었다.

(4) https://arxiv.org/abs/2212.03860 2022, 12, 7. 최초 게재. 12. 12. 수정본 게재. 저자들은 너무 작은 데이터셋으로 학습한 모델을 다뤘기에 더 큰 데이터셋으로 학습한 모델에서도 동일한 결과가 나올지는 모른다고 부연한다.

(5) https://arxiv.org/abs/2301.13188 2023. 1. 30. 게재. 저자들의 면면도 더 무게감 있고 연구 방법과 함의도 더 잘 설명되어 있다.

(6) TEZUKA 2020의 <파이돈>에서보다 생성 AI의 최종 작화 비율이 늘어나기는 해도 TEZUKA 2023 프로젝트에서 생성 AI 활용은 스토리텔링 측면에서의 비중이 크다는 점을 부연해 둔다. 관련 내용은 조익상, <데즈카 오사무의 것이 아닌 <파이돈>>, 만화비평 10: 웁‘스 WHOOPs, 2023.9. 참조.

(7) 이러한 작업에는 어도비의 파이어플라이가 가장 대표적인 적절한 AI 기술이라 생각한다. 학습 금지 태그, AI 툴로 생성된 콘텐츠 표시, 학습 데이터에 대한 투명성과 보상 체계 도입 등 저작권 침해 방지를 위한 노력 등 어도비의 AI 윤리 원칙은 꽤 돋보이기까지 한다.