이번 글에서는 얼마 전 뜨거운 이슈였던 NVIDIA의 AI 비디오 실시간 업스케일 기술 RTX VSR (Video Super Resolution)은 무엇이며, 사용을 위해서는 어떤 사양이 필요한지 그리고 적용하기 위해서는 어떻게 해야 하는지 정리해보겠습니다.
목차
NVIDIA RTX VSR (Video Super Resolution)
RTX VSR은 AI와 RTX 텐서 코어(Tensor Core)를 사용해 영상(비디오)의 품질을 높여주는 새로운 비디오 업스케일링 기술입니다. 게임에서 활용되는 DLSS와는 완전히 다른 기술로 새로운 알고리즘을 사용하며, 영상에서만 동작하고 입력된 영상의 프레임을 기반으로 고해상도 프레임을 만들어냅니다.
영상이 업스케일될 때 각 프레임은 다양한 컨텐츠로 훈련된 딥 러닝 네트워크로 분석됩니다. 이를 통해 테두리와 특징이 향상되고 심지어 복구되기도 합니다. 또한 압축된 아티팩트들이 감지, 제거되어 원본 영상보다 더 깨끗하고 선명한 이미지를 생성할 수 있습니다.
VSR을 사용하면 구글 크롬(Chrome) 또는 마이크로소프트 엣지(Edge)와 같은 크롬 계열 브라우저에서 영상을 재생할 때, 압축 손실로 인한 블록 아티팩트(일종의 사각형 노이즈)를 제거해주며 영상의 해상도를 업스케일링해줍니다.
최대 4K까지의 고해상도 디스플레이에서 트위치(Twitch), 유튜브(YouTube), 넷플릭스(Netflix), 훌루(Hulu)와 같은 온라인 영상 콘텐츠를 이용할 때 보다 선명하게 시청할 수 있습니다.
NVIDIA RTX VSR 시스템 요구 사양
1. NVIDIA GeForce RTX 20/30/40 시리즈 또는 그 이상의 GPU
2. NVIDIA GeForce Game Ready 또는 Studio 드라이버 최신 버전
3. 64비트 버전 Microsoft Windows 10 또는 11 운영체제
4. 최신 버전의 크롬(110.0.5481.105 이상) 또는 엣지(110.0.1587.56 이상) 브라우저
NVIDIA RTX VSR을 사용하기 위해서는 NVIDIA 지포스(GeForce) RTX 30 (Ampere 암페어 아키텍처) 및 40 (Ada Lovelace 에이다 러브레이스 아키텍처) 시리즈 GPU가 탑재된 그래픽 카드와 64비트 윈도우 10/11 운영체제가 설치된 시스템이 필요합니다.
아쉽게도 현재 지포스 RTX 20 시리즈는 RTX 30, RTX 40 시리즈와 아키텍처상 차이로 수정이 필요한 부분이 많아 지원되지 않습니다. 다만 정확한 일정은 밝힐 수 없지만 작업이 끝나는대로 RTX 20 시리즈의 지원도 추가될 예정입니다.
RTX VSR은 최신 버전의 드라이버, 마이크로소프트 윈도우(Windows) 10, 윈도우 11 64비트 버전 운영체제에서 지원되며, 최신 크롬 및 엣지 등 크롬 기반의 브라우저에서 재생되는 대부분의 영상에 적용됩니다. 다만 다른 크롬 기반의 브라우저에서 정상적으로 동작되는지는 공식적으로 검증되지 않았습니다.
RTX VSR은 크롬, 엣지에서 재생되는 대부분의 비디오에 적용이 가능하며, 360p에서 1440p까지의 원본 영상을 지원합니다. 다만 일부 DRM 보호 콘텐츠나 YouTube 쇼츠, HDR 콘텐츠에는 적용되지 않습니다.
인터넷 영상의 90% 이상은 1080p 이하의 해상도 입니다. RTX VSR은 1440p 또는 4K 모니터를 사용 시 거의 모든 영상에 활용할 수 있습니다. 아마존의 프라임 비디오(Prime Video), 디즈니 플러스(Disney+), 훌루, HBO 맥스(Max)와 같은 구독 서비스는 대부분 1080p 영상이기 때문에 RTX VSR로 향상될 수 있습니다.
RTX VSR은 기본 해상도 이상으로 업스케일이 필요한 경우 자동적으로 적용되며 영상을 전체화면으로 재생할 필요가 없습니다. 또한 RTX VSR은 최소화 하거나 백그라운드 상황에서 동작하지 않고 창이 활성화된 상태에서만 적용됩니다.
단, 메인 모니터에서 다른 작업을 하면서 보조 모니터로 영상을 재생하는 경우에는 RTX VSR이 적용됩니다. 영상을 정지하는 경우에는 GPU 자원을 사용하지 않으며, 현재 RTX VSR이 작동 중이라는 것을 알리는 표시 기능이 없지만 해당 기능도 고려하고 있습니다.
또한 RTX VSR은 GPU 자원, 특히 텐서 코어를 사용하기 때문에 게임을 하는 등 GPU를 RTX VSR과 함께 사용하는 경우 성능이 다소 저하될 수 있습니다.
NVIDIA RTX VSR 사용 방법
NVIDIA RTX VSR을 활성화, 사용하기 위한 방법은 다음과 같습니다.
먼저 NVIDIA 제어판(Control Panel)을 열고 비디오 – 비디오 이미지 설정 조정 메뉴를 선택합니다. 다음 RTX 비디오 개선 옵션을 체크(v)합니다.
엔비디아 제어판에서는 RTX 비디오 개선이 AI를 사용하여 해상도 업스케일 및 지원되는 브라우저에서 재생되는 비디오 압축 아티팩트를 감소하게 해준다고 설명되어 있네요.
품질은 1(최저), 2, 3, 4(최고)의 4 단계로 선택이 가능합니다.
1단계는 가장 낮은 품질로 GPU 성능도 조금 쓰며, 4단계는 가장 높은 품질로 GPU 성능도 가장 많이 요구합니다. RTX –70 시리즈 이상은 품질 레벨 4까지 모두 사용할 수 있으며, 품질은 GPU 성능에 영향을 줄 수 있기 때문에 사용자는 자신의 취향에 따라 품질 수준을 조정하는 것이 좋습니다.
데스크탑과 다르게 노트북에서는 추가적인 설정이 하나 더 필요한데 설정 – 디스플레이 – 그래픽 옵션에서 크롬이나 엣지 등의 사용하는 브라우저를 찾아 옵션에서 그래픽 기본 설정을 고성능으로 선택해야 합니다.
다만, 외부 전원이 아닌 배터리로 구동 중인 경우 노트북의 사용 시간을 위해 RTX VSR은 동작하지 않습니다.
NVIDIA RTX VSR 팟 플레이어 적용 방법
NVIDIA RTX VSR이 공개된 초기에 다음/카카오 팟플레이어에서 RTX VSR을 사용하기 위해서는 MPC(미디어 플레이어 클래식) 필터/렌더러를 사용해야 했습니다.
그러나 2023년 3월 8일 공개된 팟플레이어 최신 베타 버전 이후로는 팟플레이어의 자체 D3D11 비디오 렌더러를 통해 RTX VSR (= GPU Super Resolution) 기능을 바로 사용할 수 있습니다.
먼저 팟플레이어 최신 베타 버전을 다운로드 후 설치합니다.
설치한 팟플레이어를 실행하고 환경 설정에서 영상 – 영상 출력 장치를 내장 Direct3D 11 Video Renderer로 설정합니다. 다음으로 아래 보이는 렌더러 옵션에서 D3D11 GPU Super Resolution을 체크(v)합니다.
위와 같이 설정 후 영상을 재생하고 탭 키를 눌러 재생 정보를 보면, RTX VSR이 동작하는 경우 리사이저(Resizer)가 GPU Super Resolution으로 표시되는 것을 볼 수 있습니다.
RTX VSR은 당연하게도 업스케일 상황(모니터 해상도 보다 작은 영상을 재생하고, 영상 원본 크기보다 재생 화면을 크게 하는 경우)에 동작합니다.
RTX VSR 업스케일을 적용한 화면과 일반 업스케일(Bilinear)을 적용한 화면을 캡처한 후 100% 크기로 크롭한 이미지입니다. 왼쪽의 RTX VSR 업스케일의 경우 외곽이 깔끔하고 깍두기(블록)이 제거되었지만, 일반 업스케일 방식을 적용한 경우 아티팩트가 많이 눈에 띄고 지저분한 것을 볼 수 있습니다.