2023.01.30 (월)

  • 맑음동두천 3.5℃
  • 맑음강릉 6.8℃
  • 맑음서울 3.8℃
  • 맑음대전 5.2℃
  • 맑음대구 5.6℃
  • 맑음울산 5.2℃
  • 맑음광주 4.9℃
  • 맑음부산 6.7℃
  • 맑음고창 4.0℃
  • 맑음제주 9.1℃
  • 맑음강화 2.7℃
  • 맑음보은 3.1℃
  • 맑음금산 3.7℃
  • 맑음강진군 6.1℃
  • 맑음경주시 5.7℃
  • 맑음거제 5.7℃
기상청 제공

학술기획

그림 AI로 보는 AI 시대

“AI(인공지능)는 인간의 일을 모두 대신할 수 있을까요?”라는 질문에 십수 년 전쯤 학생들은 대부분 “아니오”라고 답했다. “AI는 감정도 없고, 혼자서 소설을 쓰거나 그림을 그릴 수도 없잖아요.” 이 당시만 해도 이런 답변은 사회의 보편적 인식으로 자리 잡고 있었다. AI가 인간의 많은 일을 대체하겠지만, 인간만의 고유한 영역은 침범할 수 없다고.
그러나 최근 AI 기술의 동향을 살펴보면, 오히려 AI로부터 제일 안전할 것 같았던 ‘창작’의 영역이 위협받고 있는 모양새다. 최근 화제가 되는 그림 AI인 ‘NovelAI’의 사례가 그 예시다. NovelAI를 통해 그림 AI의 알고리즘과 이를 둘러싼 논란에 대해 알아봤다●


NovelAI, 소란스러운 등장

NovelAI는 미국의 인공지능 스타트업 Anlatan에서 개발한 AI 텍스트게임이다. 사용자가 문장을 입력하면 NovelAI의 스토리텔링 알고리즘은 이를 소설로 만들어준다. 예를 들어 사용자가 ‘그는 어제 병원에 갔다.’라는 문장을 입력하면, NovelAI는 ‘그는 3주 동안 입원해 있었고, 의사는 그가 6개월 안에 건강을 회복할 것이라고 말했다. 그는 집에 오는 길에 내 사무실에 들렀다.’라는 문장으로 이어준다.
지난 10월 3일, NovelAI에 이미지 제너레이터 기능이 추가됐다. 스토리텔링 기능과 마찬가지로, 사용자가 태그를 입력하면 알고리즘이 이를 만화나 일러스트 형식의 그림으로 만들어주는 기능이다. 사용자의 이미지를 태그에 따라 재생산해주기도 한다. 문제는 이렇게 생성된 그림이 실력 있는 일러스트레이터의 그림만큼 우수하다는 점이다. NovelAI의 이미지 제너레이터가 공개되자마자 인터넷 커뮤니티에는 AI 그림들이 우후죽순 등장했고, 곧이어 그림 AI는 큰 화제로 급부상했다.


확산과 복원: AI의 손기술

NovelAI의 이미지 제너레이터는 ‘Stable Diffusion(이하 확산 모델)’이라는, 텍스트를 이미지로 바꾸는 딥러닝 인공지능 모델로 작동한다. 확산 모델은 지난 8월 22일 AI 기업 ‘Stability AI’에서 출시했으며, 대중에게 코드가 공개된 오픈소스이다.
확산 모델의 학습 방법은 다음과 같다. 확산 모델이 입력받는 원본 그림 데이터에는 텍스트 형식의 간단한 설명이 포함돼 있다. 확산 모델은 설명 텍스트에서 특성을 찾고, 이를 그림과 연결한다. 이어 특정 그림이 주어질 때 그에 맞는 특성을 찾고, 반대로 특정 텍스트가 주어질 때 그에 맞는 그림을 찾도록 그림-텍스트 데이터를 학습한다. 예를 들어 ‘경주시에 있는 신라 시대 천문대’라는 설명이 들어간 첨성대 사진이 있다면, 확산 모델은 여기서 ‘경주시’, ‘신라’, ‘천문대’라는 특성을 찾는다. 확산 모델이 첨성대 사진과 해당 특성을 학습하면 ‘신라’를 입력할 때 첨성대 사진이 출력될 것이다.
그렇다면 확산 모델은 어떻게 이미지를 생성할까? 먼저 원본 그림에 ‘노이즈’라는 점을 여러 차례 넣는다. 원본 그림은 노이즈가 많이 들어갈수록 점점 깨지고, 마지막에는 아예 알아볼 수 없는 그림이 된다. 그림에다 톱밥을 뿌린다고 생각해 보자. 처음에는 톱밥이 적어 그림을 보는 데 크게 문제가 없지만, 톱밥이 점점 많아지면 그림이 점점 흐릿해지다가 아예 톱밥에 가려 보이지 않게 될 것이다. 이렇게 원본 그림에 노이즈를 확산시키는 과정이 Diffusion(확산) 단계이다.
원본 그림을 다시 보고 싶다면, 그림 위의 톱밥을 다시 치워야 한다. 마찬가지로 확산 모델은 깨진 그림에서 노이즈를 없애며 다시 원본 그림으로 바꾸는 작업을 진행하는데, 이것이 Denoising(복원) 단계이다. 복원 단계가 진행될수록 깨진 그림은 다시 선명한 원본 그림으로 바뀐다.
확산 모델은 많은 그림에 대해 확산-복원 작업을 무수히 반복한다. 이를 통해 확산 모델은 많은 그림에 대한 확산-복원 작업을 학습한다. 이 과정에서 확산 모델은 노이즈가 있는 그림을 가장 빠르고 정확하게 복원하는 법을 찾는다. 이것이 많이 반복되면 확산 모델은 노이즈만 있는 그림이 입력돼도 이를 퍼즐 조각 맞추듯 원본으로 복원할 수 있을 것이다.
노이즈만 있는 그림은 확산 모델의 학습에 따라 어떤 형태의 이미지로든 복원될 수 있다. 그러나 사용자가 원하는 것은 특정 텍스트(태그)에 맞는 그림이다. 이를 위해 확산 모델은 복원 단계에서 이전에 학습했던 텍스트를 활용한다. 즉 특성을 포함한 텍스트만 있다면, 원본 그림이 없어도 원본과 가까운 그림으로 복원할 수 있다.
따라서 원본 그림이 없는 단순 텍스트만 입력해도, 확산 모델은 이를 이미지로 복원시켜 준다. 물론 원본이라는 정답이 없으므로, 확산 모델이 알고리즘에 따라 복원한 그림은 모두 오답이다. 그러나 역설적으로 이 오답들은 세상에 없던, 완전히 새로운 그림이다. 이것이 확산 모델의 기본적인 작동 과정이며, 확산 모델을 사용하는 그림 AI 프로그램들은 이 과정을 응용하거나 변형시켜 그림을 만들어낸다.
한편 그림 AI를 실제로 사용해 보면, 아직 한계를 많이 느낄 수 있다. NovelAI가 만든 인물 그림을 살펴보면 이목구비의 위치가 어색한 경우가 많다. 특히 손이나 팔다리가 기괴하게 그려지거나, 손으로 무언가를 잡는 구도가 잘 표현되지 않는 점이 아쉽다. 이는 AI가 ‘손가락이 5개’, ‘다리가 2개’ 등의 정보를 제대로 학습하지 못했기 때문이다.
그래서 NovelAI 사용자들은 태그를 입력 후 한 번에 여러 그림을 뽑거나, 태그를 약간씩 변경해 가장 이상적인 그림을 선정한다. 이후 NovelAI 내부 기능이나 포토샵 등을 활용해 후처리한 후 그림을 완성하는 것이 일반적이다.


그림 AI를 향한 눈초리

그림 AI를 처음 접한 사람들 사이에서는 재미있다는 반응이 많다. 값비싼 작가들에 크게 뒤지지 않는 그림을 원하는 방향으로 빠르게 얻을 수 있기 때문이다. NovelAI 기준 10달러 정기구독료로 200장의 그림을 만들 수 있으므로, 가격 부담도 크게 줄었다. 이들은 그림 AI를 이용해 만든 저마다의 그림을 공유하며 장난감처럼 활용하고 있다.
그러나 게임 일러스트, 소설 표지, 커미션*, 기타 아마추어 그림 작가들은 그림 AI에 대해 거부감을 드러내고 있다. 짧게는 몇 시간에서 길게는 수일이 걸리는 그림 작업을 AI는 몇 초 남짓한 시간 안에 여러 장의 그림을 만들어낸다. 수만~수십만 원의 일러스트도 AI는 한 장당 70원 정도의 가격으로 비슷한 수준의 그림을 뽑아낸다. 데뷔한 지 얼마 되지 않은 초보 작가와 그림 AI의 실력 차이도 선명하다. 개성 있는 그림체를 가진 작가의 그림도, AI는 이를 데이터화 한 후 금방 따라 그린다. 사실상 모든 면에서 그림 AI가 인간 작가를 압도하고 있다.
애석하게도, 그림 AI로 자리가 위협받자 AI의 약점인 손 그림만 따로 그려주는 작가도 나타나고 있다. 사실상 커뮤니티 등지에서 활동하는 아마추어 작가들부터 게임이나 웹 소설 등 분야의 전문 일러스트레이터까지 설 자리가 크게 줄었다는 것이 중론이다.
특히 논란이 되는 부분은 저작권 문제다. 그림 AI는 기존 그림을 데이터로 만들어 학습하고, 알고리즘을 거쳐 새로운 그림을 만들어낸다. 따라서 AI가 특정 작가의 그림 데이터를 배운다면, 새로운 그림 중 특정 조건을 충족하는 그림은 그 작가의 화풍이 적용될 수 있다. NovelAI의 경우 신카이 마코토 감독이나 디즈니 영화 등의 스타일을 적용하는 옵션이 있다.
이렇게 기존 작품의 스타일과 비슷한 그림들이 그림 커뮤니티에 등장하자 많은 그림 작가들이 크게 반발했다. 자신의 작품이 본인도 모르는 사이 AI 학습에 이용되고, 또 어딘가로 다시 재생산되는 것이 불쾌하기 때문이다. 자신의 그림이 AI 학습에 사용됐는지 판별하거나 특정 그림에 AI가 적용되는지 판별하는 웹사이트도 생겼다. 게티 이미지(gettyimage), 아트머그(artmug) 등의 일러스트 사이트에서는 AI가 생성한 그림의 공유·판매를 금지하고 있다.
이 때문에 그림 AI를 규제해야 한다는 목소리도 나오고 있다. 그러나 AI가 그린 그림에 다른 작가의 저작권을 따지기는 쉽지 않다. 확산 모델에서 볼 수 있듯 그림 AI는 완전히 노이즈로만 덮인 캔버스에서 그림을 그리기 시작한다. 이 과정에서 누구의 그림이 얼마나 학습되어 작품에 반영됐는지 판단하는 것은 사실상 불가능하다. 심지어 같은 태그에서도 항상 다른 그림이 출력되니, 특정 그림의 저작권을 침해했다고 보기 어렵다.
*커미션(commission): 수수료를 받고 의뢰자가 원하는 그림을 그려주는 서비스 혹은 문화.


결국은 알고리즘의 집합

그림 AI와 관련된 논란은 NovelAI뿐만이 아니다. 지난 8월 26일 미국 ‘콜로라도 주립박람회 미술대회’ 디지털 아트 부문에서 1위를 차지한 작품 ‘스페이스 오페라 극장’이 대표적이다. 이 작품은 콜로라도의 보드게임 회사 사장 제이슨 앨런이 ‘미드저니(Midjourney)’라는 그림 AI로 만들었다. 그는 출품할 때 AI를 사용했다는 사실을 이미 밝혔다고 주장해 예술계에 파장을 일으켰다. “그림 AI가 만든 작품도 예술로 볼 수 있을 것인가?” 저작권 문제만큼이나 화두가 되는 주제다.
잠깐 다른 이야기를 해 보자. 2016년 3월, ‘이세돌 vs 알파고’라는 구호로 모두의 관심을 집중시킨 ‘구글 딥마인드 챌린지 매치’가 진행됐다. 이세돌 9단의 승리를 점친 사전예측과 달리, 알파고가 4승 1패로 이기며 알파고의 압승이라는 결과가 나왔다. 이 대결로 이세돌 9단은 은퇴를 결심한다. 일인자가 돼도 이길 수 없는 존재가 있음을 깨달았기 때문이다.
이 대결이 화제가 된 이유는 알파고가 AI이기 때문이다. AI는 당시 생각보다 훨씬 정교하게 발전돼 있었다. 사람들은 머지않아 AI 시대가 온다는 사실을 직감했다.
그래서 알파고의 등장으로 바둑이 절멸했나? 그렇지 않다. 알파고는 은퇴했고, 인간들의 바둑대회는 여전히 열리고 있다. 지난달 4일 국제 바둑대회 ‘2022 삼성화재배 월드바둑마스터스’에서 최정 9단이 프로 여성기사 최초로 결승에 진출해 이목을 집중시키기도 했다.
그림 AI와 예술에 대한 논란도 이와 크게 다르지 않다. 진중권 전 동양대학교 교수는 중앙일보 칼럼(“인공지능, 시대의 흐름인가 예술의 종언인가”, 9월 8일)에서 “대회의 우승자는 엄연히 인간, 즉 미드저니를 통한 제이슨 앨런”이라며 “그 이미지를 작품으로 만든 것은 미드저니가 만든 여러 그림 중 하나를 고르는 인간의 ’미적 선택‘이다”라고 주장했다. 아직 그림 AI는 도구의 역할이며, 인간의 판단으로 예술이 완성된다는 이야기다.
AI는 알고리즘의 집합이다. 그림 AI도 결국 학습된 데이터의 수치를 계산해 어떤 그림을 그릴지 판단할 뿐, 그 이상의 관념적 선택으로 그림을 그리지는 않는다. AI가 인간의 창의력까지 뛰어넘을 수 있을 것인가. 


유동현(공대 기계공학 17)


포토뉴스