수년 전, NASA 화성 탐사선 큐리오시티(Curiosity)와 인내(Perseverance)가 반환하는 이미지에 대해 격렬한 논의가 있었습니다. 가장 큰 불만은 NASA가 미디어의 일부로 표시한 이미지가 NASA가 "원시" 이미지라고 부르는 원본 이미지와 크게 다르다는 것입니다. 그림 1에 표시된 것과 같은 이미지는 부분적으로만 처리되었습니다. NASA는 디지털 이미지 신호 처리 기능을 적용하지 않았습니다.

 

그림 1. Sol 3940(2023-09-06 11:23:30 UTC)에서 NASA의 화성 탐사선 큐리오시티에 탑재된 왼쪽 내비게이션 카메라로 촬영한 이미지. NASA/JPL-Caltech 에서 사용된 이미지

 

이러한 이미지를 해석하는 것은 이미지 신호 처리 없이 주관적이며, 올바르게 처리된 후 동일한 사진을 보는 것은 다소 불편한 경험이 될 것입니다. 

이미지가 이곳에서든 화성에서든 물리적 세계를 일관되게 올바르게 표현하려면 신호 처리 기능을 정밀하게 보정해야 합니다. 이 문서에서는 ISP(이미지 신호 처리) 보정이 필수적인 이유, ISP 보정 및 미세 조정 수행과 관련된 내용, 타사 리소스가 ISP 보정을 효과적으로 수행하도록 지원하는 이유에 대해 설명합니다.

 

이미지 신호 처리 교정이 필요한 이유

디지털 이미지가 생성되는 방식을 이해하면 고품질의 정확한 이미지를 생성하는 데 ISP 보정이 필요한 이유를 이해하는 데 도움이 됩니다. 그림 2는 디지털 이미지 캡처 프로세스를 훌륭하게 요약한 것입니다.

 

그림 2. JPEG 이미지 파일 생성 단계 이미지 제공: 컴퓨터 비전: 알고리즘 및 애플리케이션  (Richard Szeliski 작성 )

 

광학 장치, 조리개, 셔터가 포함된 카메라 본체는 센서 칩과 상호 작용합니다. 센서 칩은 카메라 본체에서 캡처한 실제 이미지를 수신합니다. 센서 칩은 처음에 해당 빛을 아날로그 이미지로 캡처합니다. 

이미지 센서의 각 픽셀은 해당 지점의 빛 에너지를 측정합니다. 센서의 아날로그 출력은 게인을 통해 증가합니다. 이는 ISO로 표현되는 아날로그 필름의 감도와 유사합니다. 그런 다음 출력이 아날로그 신호에서 디지털 신호로 변환됩니다. 그 결과 흑백 RAW 이미지가 생성되며 이는 인간 및 컴퓨터 비전 응용 프로그램에서는 사용할 수 없습니다.

RAW 이미지는 ISP에 의해 변환되어 인간이 사용하거나 컴퓨터 비전과 같은 응용 프로그램에 사용할 수 있는 미학적으로 만족스럽고 관련성이 높은 이미지를 얻습니다. ISP의 첫 번째 주요 작업은 그림 3과 같이 흑백 RAW 이미지를 컬러 RGB 이미지로 변환하여 이미지를 디모자이크하는 것입니다.

 

그림 3. 흑백 RAW 이미지에서 컬러 이미지로 전환. 이미지 제공: NXP

 

기타 처리 작업에는 다음이 포함될 수 있습니다.

• 렌즈 음영 보정
• 화이트 밸런스
• 색상보정
• 샤프닝
• 안티 앨리어싱
• 블랙 레벨 보정
• 감마/곡선
• 소음 감소
• 압축

위에 나열된 것과 같은 ISP 기능은 소프트웨어나 하드웨어에서 수행될 수 있습니다. 소프트웨어 솔루션은 약 0.5Mpixels/초의 처리량에 가장 적합합니다. 하드웨어 ISP는 SoC(시스템 온 칩)에 통합된 IP 블록이나 개별 칩으로도 존재합니다. 그러나 ISP가 작업을 수행하려면 각 이미지 센서와 렌즈 조합에 대해 보정을 수행해야 합니다.

보정과 미세 조정은 디지털 이미징 시스템이 일관된 품질을 제공하고 캡처하는 세계를 정확하게 반영하는 데 매우 중요합니다. 얼굴 인식 시스템에서는 정확하고 신뢰할 수 있는 고품질 얼굴 특징 이미지가 필요합니다. 자율 주행 차량은 안전한 결정을 내리기 위해 중요한 요소를 올바르게 캡처하는 상세한 이미지가 필요합니다. 자동화된 품질 관리 시스템은 선명하고 깨끗한 이미지 캡처를 통해 시스템이 부품을 폐기해야 하는지 결정합니다.

각각의 경우 제대로 처리되지 않은 이미지로 인해 소송, 벌금, 폐기 제품 등으로 인해 수천 달러의 비용이 발생할 수 있으므로 ISP 보정 및 미세 조정이 필수 단계가 됩니다.

 

ISP 교정 프로세스란 무엇입니까?

각 이미지 센서, 렌즈 및 ISP 조합에는 특성화, 조정 및 소프트웨어 드라이버가 필요합니다. ISP가 RAW 이미지에 교정 변환을 적용하려면 이미지 센서와 렌즈 조합을 특성화해야 합니다. 목표는 보정 중에 최적의 이미지 품질을 70%~80% 달성하는 것입니다.

ISP 보정은 다양한 조명 조건에서 다양한 이미지 타겟과 다양한 게인/셔터 속도 조합을 사용하여 캡처한 수많은(100~400+) 이미지로 시작됩니다. 이 프로세스에는 이미지 센서 및/또는 카메라 모듈을 제어하여 게인을 조정하고, 사진을 찍고, 해당 사진을 저장 장치로 전송하는 기능적인 카메라 소프트웨어가 필요합니다. 이러한 이미지를 얻는 것은 시간이 많이 걸리며 실험실의 통제된 조건에서 가장 잘 수행됩니다.

예를 들어 LSC(렌즈 음영 보정)를 수행하려면 각 색온도에 대한 일련의 이미지를 캡처해야 합니다. 이러한 이미지에는 색상이 중간색인(예외가 있음) 편평하고 특징 없는 표면이 포함되어 있으며, 각 색온도마다 하나씩 있고 서로 다른 각도로 회전되어 있습니다.

보정 결과는 모든 색온도에 대한 휘도 보정표입니다. 그림 4는 LSC 교정 곡선에 사용된 초기 이미지와 프레임 모서리의 빛 감소를 보여주는 등고선 지도를 보여줍니다. 이미지가 중앙에서와 마찬가지로 모서리에서도 동일하게 나타나도록 이미지에 수정 변환이 적용됩니다. 

그림 4. LSC 교정 이미지(왼쪽). LSC 등고선 지도(오른쪽). 이미지 제공: NXP

 

보정 프로세스의 핵심 요소 중 하나는 색상 균형의 첫 번째 단계를 달성하는 것입니다. 다양한 색온도에서 캡처한 이미지에는 그림 5와 같은 색상 균형 차트가 포함되어 있습니다. 교정 소프트웨어가 정확한 교정 테이블을 생성하려면 수백 장의 사진이 필요합니다. 이러한 이미지와 색상 균형 차트를 바탕으로 디지털 카메라(예: 광학 장치, 조리개, 센서)용 색상 보정 매트릭스(CCM)가 생성됩니다.

 

그림 5. 보정 및 미세 조정 중에 사용되는 ColorChecker 색상 표현 차트. Wikimedia 에서 사용된 이미지

 

미세 조정 프로세스

고품질 이미지를 얻으려면 기본 보정 이상이 필요합니다. 미세 조정은 최적의 이미지 품질을 달성하고, 색상을 조정하고(기본 보정 프로세스보다 더 높은 수준의 품질을 달성하기 위해) 3A 알고리즘을 조정하는 데 사용됩니다. 자동 화이트 밸런스, 자동 노출 및 자동 초점(AWB/AE/AF).

이 세 가지 알고리즘(AWB/AE/AF)은 화이트 밸런스, 노출 및 초점에 영향을 미칩니다. 자동 화이트 밸런스의 예로서 그림 6은 불균형 JPEG 이미지(왼쪽)와 회색 표면이 중립이 되도록 이동된 화이트 밸런스 이미지를 보여줍니다. 이미지에 있는 꽃잎의 흰색 부분에 더 이상 회청색 색조가 나타나지 않습니다. 

 

그림 6. 색상 균형을 맞춘 꽃 이미지. Wikimedia 에서 사용된 이미지

 

노출은 잘못되었을 때 어떤 일이 발생하는지를 통해 가장 잘 이해됩니다. 이미지가 과다 노출되면 바랜 것처럼 보입니다. 검은색은 회색으로 나타나고 색상은 희미해지며 밝은 디테일은 흰색 바다 속으로 사라지게 됩니다. 반면, 빛이 부족하면 이미지가 어둡고 노출이 부족해집니다.

셔터 속도와 조리개가 노출을 결정하므로 노출을 자동으로 수정하는 데 필요한 데이터를 생성하기 위해 다양한 셔터 속도와 조리개의 많은 디지털 이미지가 사용됩니다. 그림 7은 세 가지 다른 노출을 사용한 동일한 이미지를 보여줍니다. 왼쪽에서 오른쪽으로 이동하면 동일한 이미지가 노출 부족, 이상적인 노출 및 과다 노출을 볼 수 있습니다. 자동 노출 알고리즘은 캡처하기 전에 모든 이미지의 이상적인 노출을 찾기 위해 작동합니다.

 

그림 7. (왼쪽에서 오른쪽으로) 노출 부족, 노출 과다, 이상적인 노출. 이미지 제공: NXP

 

ISP 교정의 미세 조정 부분은 매우 주관적이며 복잡한 문제입니다. 품질(및 품질 기대치)에 추가적인 격차가 있는지 확인하려면 이미지를 촬영해야 합니다. ISP 및 3A 매개변수(앞서 논의)는 수동 수정이 필요하며 특정 이미지 장면 유형을 처리하려면 더 많은 보정 데이터가 필요할 수 있습니다. 

성공적인 미세 조정을 위해서는 숙련된 엔지니어가 이미지가 올바르게 보이는 시기와 이미지가 "이상해 보이는 경우" ISP에 어떤 조정을 해야 하는지 알아야 합니다. 또한 새로운 교정 데이터로 인해 문제가 되는 아티팩트가 발생하지 않도록 해야 합니다. 엔지니어는 이러한 프로세스를 여러 번 반복하여 수행합니다. 이러한 ISP 미세 조정 프로세스에는 상당한 시간과 경험이 필요합니다.

 

ISP 교정을 위한 타사 리소스

ISP 보정 및 미세 조정과 관련된 확실한 과제가 있습니다. 시작하려면 ISP 교정은 여러 단계가 필요한 시간 소모적이고(3~6개월) 지루한 프로세스입니다. 또한 프로세스에 익숙한 숙련된 엔지니어와 광원, 대상, 조도계 등을 포함한 상당한 양의 특수 하드웨어가 필요합니다. 비용은 최소 설정의 경우 25,000달러부터 고급 장비의 경우 100,000달러 이상까지 다양합니다. 그리고 장비 외에도 프로세스에는 조명이 제어되는 공간(이상적으로는 모든 외부 조명을 차단할 수 있는 공간)이 필요합니다. 

이러한 문제로 인해 전문적인 타사 리소스를 활용하는 것이 ISP 교정 프로세스를 해결하는 데 종종 적합합니다. 생각해 보십시오. 자체적으로 Wi-Fi/Bluetooth 아날로그 프런트엔드와 안테나를 설계하고 테스트하는 회사는 거의 없습니다. 그들은 타사 전문가에게 의존하여 모듈을 구축하거나 칩다운 설계를 수행한 다음 FCC 인증을 받습니다. ISP 교정은 매우 유사합니다. 필요한 전문 지식을 갖춘 Sony와 같은 회사는 이미징 시스템을 구축하고 보정할 수 있지만 대부분의 회사는 전문 파트너와 협력하여 시간과 비용을 절약하는 이점을 누릴 수 있습니다.