Topaz Labs는 Windows 및 macOS에 대응 한 PC의 응용 프로그램을 개발, 라이센스 판매하고있는 소프트웨어 벤더에서 AI를 이용한 사진 / 동영상 편집 툴을 제공하고있다. 그 중 하나 인 "Gigapixel AI"는 해상도가 낮은 사진을 쉽고 고화질로 업 스케일 (해상도가 높을수록 처리)하는 기능을 제공하고있다.
업 스케일 처리는 거기에 존재하지 않는 화소를 소프트웨어가 유추하면서 보완 해 나간다. Gigapixel AI는 가장자리 AI를 이용하여 보완하고 있지만, CPU에서는 매우 무거운 처리된다. 그러한 처리를 오프로드하기 위해 Gigapixel AI는 GPU를 이용하고 있으며, Intel이 제공하는 OpenVINO 툴킷을 이용하여 CPU에서의 추론 작업을보다 효율적으로 행할 수 있도록하고있다.
본고에서는 그 처리 내용과 방법에 대해 살펴 나간다.
숙련 된 전문가가 인력으로 행하는 업 스케일링 처리를 AI가 대행
Topaz Labs는 AI를 구사 한 사진 / 동영상 편집 도구를 제공하고있다. 중요한 것은 다음과 같다.
- Adjust AI (AI 의한 색채의 조정)
- DeNoise AI (AI 의한 노이즈 감소)
- Gigapixel AI (AI 의한 업 스케일링)
- JPEG to RAW AI (AI를 이용하여 JPEG 이미지를 RAW 변환)
- Mask AI (AI 의한 이미지 자르기 범위 지정)
- Sharpen AI (AI 의한 선명도 조정)
- Video Enhance AI (AI 의한 보정 기능)
이 외에도, Topaz Studio 2 등 종합 사진 편집 소프트웨어도 제공하고있다.
이번 채택 Gigapixel AI는 업 스케일링에 초점을 맞춘 도구이다. 옛날의 디지털 카메라로 촬영 한 사진이나 해상도가 낮게 된 이미지 등에 대해 업 스케일링을하면 고해상도 디스플레이에 표시에도 견딜 수있는 품질된다.
예를 들어 VGA (640x360 도트) 사이즈라고 화소 수는 230,400이다. 한편, 4K이면 3,820x2,160 점에서 화소 수는 8,251,200이다. 즉, 4K는 VGA의 약 36 배의 화소로 구성되어있다. 업 스케일링은 실제로는 존재하지 않는 픽셀을 존재하는 픽셀에서 유추하면서 일으킨다. VGA에서 4K 업 스케일링은 다소 극단적 인 예이지만, 약 36 배의 화소를 유추 해 만들어내는 것이 엄청난 계산량이되는 것은 상상하기 어렵지 않다 것이다. 그리고 업 스케일링 화질 알고리즘의 우열에 의존한다.
기존의 알고리즘을 이용한 업 스케일링은 어느 정도 미리 정해져 놓은 규칙에 따라 만 보정 할 수 없다. 하지만 그 이미지에 가장 적합한 업 스케일링 처리는 이미지마다 달라진다 때문에 하나의 알고리즘에 완벽하게 대응할 수 없다. 결국 인간이 수작업으로 하나 하나 보정하는 것이 품질이 현격히 오르는, 그런 것을하고 있으면 엄청난 시간이 걸려 버린다.
반면 Gigapixel AI는 인간이 업 스케일링을 행한 데이터에서 그 방법을 학습하고있다. 방대한 학습 자료를 AI 엔진에로드하고 추론하고 업 스케일링을 수행한다. 이에 따라 기존의 알고리즘 기반과 이단의 전문가가 직접 행한 같은 품질의 업 스케일링을 할 수 있도록 한 것이다.
아래의 예는 400 × 467 화소의 사진을 2,800 × 1,868 화소에 업 스케일 한 것이다. 단순히 업 스케일링 할 때 생길 수있는 들쭉날쭉하거나 전체적으로 흐린 그림이되어 버리지 만, Gigapixel AI는 AI의 추론에 의해 정세를 유지하면서 업 스케일하고있는 것을 알 수있을 것이다.
내장 GPU와 OpenVINO의 CPU 최적화 저가 노트북에서도 처리 가능
이미 언급 한 바와 같이 업 스케일링 자체도 CPU에 걸리는 부하가 크고, 또한 Gigapixel AI 추론 처리에서 CPU가 사용된다. 따라서 고성능 CPU와 GPU의 사용이 권장되고있다.
CPU로 말하면 Intel에서는 3GHz 이상의 Core i5가 최소 요구 사항되어 있으며, 권장 환경에서 4GHz 이상의 Core i7으로되어있다. GPU에 관해서는 AMD와 NVIDIA 제뿐만 아니라 Intel의 내장 GPU도 지원되며, CPU와 GPU를 모두 사용하도록 권장되고있다. Intel의 내장 GPU는 Intel HD Graphics 5000 이상으로되어 있기 때문에 기본적으로 Haswell (4 세대 Core 프로세서)에서 지원 된 Gen 7.5 이후의 Intel 내장되는 GPU를 탑재하고있다.
시스템 부하를 줄이기 위해 Gigapixel AI에서는 CPU에서 AI 추론에 대해 OpenVINO 툴킷을 이용한 최적화가 이루어지고있다. OpenVINO 툴킷은 Intel이 소프트웨어 공급 업체에 제공하는 소프트웨어 개발 환경에서 기계 학습 기반 추론을 CPU로 효율적으로 행하는 것이 가능하게된다.
Topaz Labs는 "Intel은 2019 년 초부터 긴밀하게 협력하고있다 .Intel은 소프트웨어 개발의 깊은 지식을 가지고 우리에 대해 마케팅 및 비즈니스 지원 해주는 창구를 제공 해주고있다. 그것은 따라 AI의 기능이 Intel의 메인 스트림 전용 CPU를 탑재 한 노트북으로도 충분히 움직일 수 있도록되어있다 "고 설명하고있다.
Gigapixel AI 설정은 "OpenVINO '라는 설정이 준비되어 있으며, 표준은 꺼져있다. 이것을 선택하면 최근 Intel 프로세서, 특히 10 세대 Core 프로세서 (Ice Lake) 이후에 큰 효과를 얻을 수있다.
Intel은 1 월 CES 2020에서 개최 한 기자 설명회에서는 Gigapixel AI를 Ice Lake에서 달리고 OpenVINO 최적화를 선택하면 AMD Ryzen 7 3700U (CES 2020에서 Ryzen Mobile 4000 시리즈가 발표되어 그 제품 투입되었지만, CES 시점에서는 아직 제품화되지는 않았다)과 비교하면 약 2 배 빠른 처리가 끝나면 어필하고있다.
이와 같이, CPU의 최적화가 행해지 효과는 작지 않다. 앞으로도 CPU를 이용한 AI 처리 등도 늘어나는 때문에 소프트웨어 벤더에게도 그리고 그것을 사용하는 사용자에게도 의미가 크다고 할 수 있겠다.
Gigapixel AI는 Topaz Labs의 Web 사이트에서 바이너리 파일을 다운로드 할 수 있습니다. 계속 사용하려면 라이센스를 구입해야하지만, 전자 메일 등록을 통해 계정을 개설하면 30 일 시험 유효하다. 구입을 고려하는 경우에도 실제로 사용해 본 후 구입 여부를 결정할 수 있기 때문에 우선 평가판에서 시험해 보면 좋을 것이다.
