생성형 AI의 발전이 다방면에 미칠 파급력에 대한 우려는 영화도 예외는 아닙니다. AI 기술이 배우와 엑스트라, 기타 영화 산업 관련 종사자들의 일자리를 위협할지도 모른다는 미래에 대한 전망이 할리우드 배우 노조 파업의 중요한 이슈이기도 했고, 딥페이크(deepfake)라 불리는, 기존의 영상에 다른 이미지를 합성하는 기술은 어느 정도 보편화되어서, 유튜브를 통해서 원래 영화와는 다른 배우의 얼굴과 목소리를 장난삼아 접붙여놓은 영상이나 미드저니(Midjourney)에 임의의 값을 입력해 만들어낸 이미지를 심심찮게 찾아볼 수 있기도 합니다.
<로그 원: 스타워즈 스토리>(2016)에서 고인이 된지 오래인 타킨 총독 역의 배우 피터 커싱과 레아 공주를 맡은 캐리 피셔의 젊은 시절 얼굴을 다시 3D 모델링화해 다른 배우의 연기를 페이셜 캡처한 데에 덧씌우는 VFX는 당시 첨단을 달리는 기술(여담으로 이 특수효과의 담당자는 <어비스>(1989)의 전설적인 물기둥 시퀀스를 한 프레임씩 일일이 그려내 구현한 이 분야의 손꼽히는 장인인 존 놀(John Knoll, 1962~)입니다. 이때 영화를 위해 개발한 그래픽 툴을 다듬어서 출시한 것이 바로 ‘포토샵 1.0’)이었는데, 그로부터 시간이 얼마 지나지 않았음에도 자세히 관찰하지 않으면 진위를 분간하기 어려운 수준의 합성이 AI 툴의 발전으로 인해 보편화되는 걸 보면서 급격한 기술 발전의 속도를 실감케 됩니다.
그러나 이러한 AI의 발전이 영상 기술에 있어 순전히 긍정적인 효과만을 갖는 것은 아닙니다. 시대의 첨단이라지만 아직은 초기 단계인 AI의 맹점, 아직 성숙한 단계에 올라오지 않은 기술을 섣부르게 적용하면서 일어나는 부작용도 적잖이 볼 수 있습니다. 특히 AI를 활용한 업스케일링(Upscaling) 결과물에서 그러한 사례가 여럿 드러납니다. 업스케일링이란 본래의 영상을 더 높은 해상도로 옮기는 걸 일컫는 말인데, 이 기술은 이미 우리 일상에서도 널리 접할 수 있습니다. 4K TV가 보급되었지만 정작 4K 방송은 미진한 한국의 방송 프로그램들은 대부분 HD 해상도로 송출된 걸 디스플레이 기기에서 4K로 자체 업스케일링 해주는 것이기 때문.
디지털 시네마의 시대로 접어들면서 영화업계에서도 2K DI로 완성한 영화를 4K 해상도로 리마스터링하는 사례가 많아졌습니다. 레드와 알렉사, 소니 시네알타와 같은 영화용 디지털카메라의 촬영 해상도는 분명 4K 이상이지만, CG 합성을 비롯해 후반작업에서는 일정 단축과 비용의 절감이라는 현실과의 타협이 있다 보니 2K DI로 진행하는 경우가 대부분인데, 정작 DCP를 트는 극장용 프로젝터에서 일반 가정용 디스플레이에 이르기까지 4K 재생 환경이 보편화되다보니 그에 맞추기 위해선 어쩔 수 없이 2K DI→4K 업스케일링 공정이 필요하게 되었다는 것. 이와 같은 경우는 영화를 제작한 스튜디오의 관련 부문 기술진들이 나름 공을 들여서 영화가 보여주는 상황에 따라 세세히 이미지를 조정하기 때문에 흔히 디스플레이 기기 자체의 업스케일링에서 보이는 이중윤곽선과 화면 떨림, 블록노이즈의 노출과 계조 붕괴 같은 고질적인 문제점은 상대적으로 꽤 억제된 편입니다.
다만 이러한 해상도 ‘뻥튀기‘는 없던 픽셀을 아주 새로 뽑아내는 마법은 아니어서 4K UHD 블루레이 매체 초창기의 발매작이었던 <마션>(2015), <엑소더스: 신들과 왕들>(2014), <킹스맨: 시크릿 에이전트>(2015)의 UHD는 대체로 일반 블루레이(+ 디스플레이 업스케일링 기능)와 무엇이 다른지 모르겠다거나, 어느 정도 해상력의 향상이 없는 건 아니지만 인상적이다 할 수준은 아니라는 시큰둥한 반응을 얻었습니다. 그럼에도 업계의 현실은 2K DI로 완성된 영화가 태반이기 때문에 4K 해상도 재생시 관객의 눈에 어필할 수 있는 변별력을 어떤 식으로든 보여주어야 한다는 고충을 안고 있으니, 따라서 업스케일링 테크닉에 대한 연구가 활발히 이루어져왔습니다. <원더우먼>(2017)이나 <아쿠아맨>(2018)의 경우처럼 알렉사 카메라 3.4K 촬영 → 2K DI이거나 <엣지 오브 투모로우>(2014)처럼 35mm 필름 촬영 → 2K DI를 거친 영화의 UHD 같은 경우는 최종 마스터의 한계 안에서 장면별로 섬세하게 업스케일링 조정을 가하면서 그중에서 영상의 선명도를 체감하기 쉬운 클로즈업 분량에 공을 들여 피부 질감과 의복의 결 같은 디테일에 힘을 주는 식으로 4K화의 변별력을 강조한 바 있습니다.
물론 이런 경우도 상당수는 명암 대비와 컬러감을 강화하는 HDR과 광색역화 그레이딩에 힘입어 체감상 영상의 어필력이 크게 느껴지는 것이지, 최종 단계까지 4K DI한 네이티브 4K 마스터의 그것에 비교하자면, 순전한 해상력의 향상이 있는가를 따졌을 때 애매한 감이 있습니다. ‘원판 불변의 법칙’은 일정 부분 유효한 것이고요. 그런데 이러한 업스케일링 노하우가 어느 정도 유의미한 성과를 보이며 정립되어 정착되는 와중에 AI라는 변수가 나타났습니다.
AI를 이용한 영상 업스케일링이 기존에 없었던 것은 아닙니다. 그러나 얼핏 들으면 편리한 도구이자 만능해결사처럼 여겨지는 AI를 공식적인 업스케일링 작업에 쓰는 건 업계에서 사실상 금기(禁忌)시되어 오다시피 했는데 AI의 학습 능력과 데이터가 충분하지 않은 상태에서 자동 업스케일링 값을 과도하게 걸어놓을 시 임의로 이미지를 변조시켜 망쳐놓기 십상인데다가, 딥러닝이든 초해상화(Super-Resolution) 모델을 적용하든 간에 근본적으로 AI가 이미지 속의 피사체를 이해하고 인식하는 것이 아니라서, 복잡도가 높은 이미지일수록 원래 영상의 의도를 손상시키지 않고 순전히 해상력만 향상시키는 결과물을 내기가 쉽지 않기 때문입니다. 다시 말해 AI의 발전상은 무엇이 영상의 디테일이고 무엇이 불필요한 노이즈인지를 자기 스스로 판단하는 단계에까진 오지 못했다는 겁니다.
예를 들어 35mm 필름 특유의 그레인을 두고 필름 영상 본유의 질감이 아닌 노이즈로 인식한 AI가 영상의 그레인을 말끔히 지워버리는 바람에 평면적이고 밋밋한 데다 세부 디테일의 표현을 까먹는 현상(이걸 두고 디지털처럼 깔끔해져서 좋다는 분들도 있지만 이건 엄연한 원본 영상의 변조입니다)은 현용의 보급형 TV 자체 업스케일링에서도 심심찮게 발견되는 부작용이라, 필자의 경우 블루레이 내지 UHD의 화질 테스트에 있어 디스플레이 장치의 옵션에서 (24프레임을 60프레임으로 늘여버리는) 프레임 보간과 더불어 노이즈 감소 기능을 반드시 꺼놓는 편입니다.
스티븐 스필버그 감독의 득의의 데뷔작 <듀얼>(1971) UHD에는 극장판과 별개로 TV 버전이 서플먼트로 수록되어 있습니다. 원래 이 영화는 TV용 영화로 먼저 공개되었다가 호응을 얻어 추가 촬영과 확장 재편집을 거쳐 극장판이 만들어졌기에 이쪽이 원본이라 할 수 있죠. 좀처럼 보기 어려운 <듀얼>의 TV 버전을 고화질로 다시 볼 수 있다는 기대감에 플레이어에 디스크를 넣고 틀었는데, 결과는 매우 실망스러웠습니다. 이 디스크에 수록된 TV 버전이 지닌 문제점은 (1) 새로 35mm 필름을 스캔한 것이 아니라 과거 DVD에 사용된 낮은 해상도의 구형 텔레시네를 업스케일링한 것으로 본래 원본 소스의 품위 자체가 지나치게 낮은 데다가 (2) 성의 없게도 영상전문가의 감수를 거친 게 아닌 AI 자동 업스케일링을 일률적으로 적용했기 때문에 수록 컨테이너만 4K 해상도일 뿐, 이중으로 겹치는 윤곽선과 떨림, 블록노이즈와 계조의 무너짐뿐 아니라 사물의 형상을 밋밋하게, 마치 수채화 그림처럼 뭉개져 영상이 망가지는 현상이 곳곳에서 빈발하게 나타난다는 것입니다.
특히 전화박스 안에서 주인공이 급하게 연락을 취하는 장면의 경우는 먼지 낀 유리창 뒤에 인물이 서 있어서 복잡성이 있는 장면인데, 인물의 입안 치아의 치열 같은 디테일을 뭉개고 있는 데다가 코의 길이를 늘여놓고 화면 우측 인물의 머리카락과 내부 벽의 경계가 더 흐려져 있는 등, 적절한 감수와 조정을 거치지 않은 AI 업스케일링의 부작용을 다수 노출하고 있습니다. (다행히도 서플먼트가 아니라 본편으로 수록된 <듀얼>의 극장판만큼은 제대로 된 원본 필름의 4K 스캐닝을 거쳐 정상입니다만) 이 경우는 현재 AI 업스케일링을 쓰려는 일각의 움직임이 무슨 의도를 갖고 있는지를 보여주는 사례입니다. 애써 고해상도 디지털 리마스터링을 하느니, 기존의 저화질 소스를 갖고 AI로 ‘뻥튀기’하는 편이 싸게 먹히면서 손쉽게 상품화할 수 있다는 꽤나 불순한(?) 계산이랄까? 필름 원본의 재스캔 작업에 공들일 여력이 충분한 메이저 스튜디오에서 AI 업스케일링에 손을 댄다는 것 자체가 비용 절감이 우선이고 영화의 질은 뒷전인 오늘날 영화산업 일각의 씁쓸한 이면을 보여주는 게 아닌가 싶어지기까지 합니다.
그려진 만큼만의 정보량을 담기에 이미지의 복잡도가 낮은 애니메이션의 경우는 실사영화에 비해 AI 업스케일링 적용이 상대적으로 수월한 경우입니다. 그럼에도 AI 업스케일링을 무분별하게 썼다간 얼마나 엉망진창인 그림이 펼쳐지는지를 보여주는 사례가 종종 있는데, 데즈카 오사무가 설립한 무시 프로덕션에서 제작한 TV 애니메이션 <쿠니마츠님 나가신다>(1971~1972 : 후지 TV 공동제작 및 방영)의 경우는 아마존 프라임에 공개하기 위한 HD화 작업의 일환으로 저화질 텔레시네에 AI 업스케일링을 건 결과(‘Topaz Video AI‘로 추정) 인터레이스의 줄무늬를 제대로 제거하지도 못하면서, 그림의 선이 군데군데 끊겨 있거나 뭉개지는 참사로 나타났습니다. 반면 미국의 디스코텍(Discotek)에서 출시한 북미판 <메모리즈>(1995) 블루레이(‘AstroRes’ AI 업스케일링 적용)는 비판받을 지점이 아주 없는 건 아니지만, 그럼에도 한결 깔끔하게 개선된 윤곽선과 색조로 적절한 수준의 감수와 괜찮은 원본 마스터가 뒷받침되면 AI 업스케일링도 좋은 결과물을 낼 수 있음을 입증한 정반대의 사례.
북미의 배급사 겸 물리매체 제작사 Well Go USA에서 출시된 한국영화 <곡성>(2016) UHD도 영화를 4K 해상도로 옮기면서 AI 업스케일링을 적용한 케이스입니다.(2.8K 디지털 촬영→2K DI) 지적되는 문제점도 먼저 언급되는 바와 대체로 유형이 비슷합니다. 인물의 클로즈업에서 뭉쳐진 머리카락이나 배경에 내리는 빗줄기 같은 디테일이 밋밋하게 뭉개져있으면서 윤곽선 선예도는 필터를 적용한 것처럼 강조되어 있어, 언뜻 선명해보이지만 확대해 살펴보면 영상의 세부가 망가진 면면들이 여럿 관찰된다는 것. 윤곽선 표면이 불안정하게 떨리는 링잉(ringing) 현상이나 과도하게 매끈한 질감으로 다듬어진 흔적들은 전형적인 AI 업스케일링 부작용입니다. 일일이 시간과 비용을 들여가며 프레임을 다듬는 공을 들일 시간과 비용의 여유가 없는 중소규모 업체가 2K DI의 4K 마스터화에 있어 AI 업스케일링의 편의를 빌리는 건 현실적인 여건 상 어쩔 수 없는 대세이긴 합니다만, 그럼에도 스튜디오 자체 업스케일링에 비해 부자연스러운 결과물을 내는 걸 고운 시선으로 봐주긴 어렵습니다.
문제는 이처럼 기술적으로 미성숙한 상태로 부작용이 적지 않아, 주의를 기울여 활용해야 할 AI 영상기술이 점점 메이저 스튜디오의 고해상도화 작업에 쓰이는 빈도가 눈에 띄게 늘어나고 있다는 점입니다. 심지어 그것이 영화계 한정 자타공인 ‘세상의 왕’ 제임스 카메론의 작품에마저 적용되고 있다는 현실은 사태의 심각성(?)을 진지하게 생각케 합니다. <타이타닉>(1997)과 <에이리언 2>(1986), <어비스>(1989)와 <트루 라이즈>(1994)의 새로운 4K 판본이 바로 AI 기술을 적용해 만들어졌기 때문입니다. 이 작품들의 경우는 업스케일링이 아니라 35mm 필름 원본으로부터 뜬 멀쩡한 고해상도 스캐닝 데이터를 가지고 AI로 가공한 경우인데, 그 결과들이 (긍정적인 의미에서건 부정적인 의미에서건) 제각각이라 AI를 이용한 영상 기술의 방향성에 대해 여러 가지를 시사합니다. 영상기술의 최첨단을 달리는 선구자 제임스 카메론이지만 과거 자신의 작품을 매만지는 터치에 대해선 고개를 갸웃거리게 됩니다. 이에 관해선 추후의 글에서 이어서 상세히 다루도록 하겠습니다.
