이벤트 카메라의 국방 응용

CMOS 센서를 사용하는 일반적인 디지털 카메라는 영상 촬영에서 일정 시간 간격마다 빛을 읽어들이며 프레임을 구성하여 장면 하나를 만들어낸다. 이를 연속적으로 수행하여 여러 프레임을 엮어냄으로써 동영상을 만들어낼 수 있다. 30FPS 영상을 촬영한다면, 1초에 30개의 장면(프레임)을 반복적으로 촬영하는 것이다. 그러나 셔터 속도에 비해 빠르게 움직이는 피사체를 촬영하면 모션 블러 현상이 발생하며 이로 인해 피사체의 윤곽과 세부 정보가 뭉개진다. 고속 표적을 선명하게 관측하려면 짧은 노출 시간이 필요하지만, 이는 저조도 환경에서 센서가 확보할 수 있는 광량과 신호대잡음비를 떨어뜨린다. 프레임률을 높이면 시간 해상도는 향상되지만 이미지 센서의 판독 속도와 ADC 변환 속도, 데이터 전송 대역폭, 저장 공간, 연산량 및 소비 전력 부담이 함께 증가하여 고해상도·고프레임률로 장시간 촬영하기가 어려워진다.

반면, 동적 비전 센서(Dynamic Vision Sensor)라는 이름으로 알려진 이벤트 카메라는 센서로 유입되는 빛의 세기의 변화를 각 픽셀이 독립적으로 감지하고, 그 변화량이 마지막 이벤트가 발생했던 시점보다 일정 임계값 이상으로 증가하거나 감소하는 경우에만 픽셀 위치 좌표, 발생 시각(타임스탬프), 변화 극성을 이벤트로 출력한다. 즉, 이상적으로 정지한 배경에서는 데이터가 거의 발생하지 않고, 물체의 움직임에 따라 발생하는 변화를 표시하는 것이다. 이런 특성은 관측 지점의 정지된 배경 신호를 억제하고 시간적으로 변화하는 성분만 출력한다는 점에서 레이다 분야에서의 MTI(Moving Target Indication)와 유사점이 있다.

이벤트 카메라로 드론을 촬영하는 경우. 배경과 대비되는 소형 드론의 움직임을 읽어낸다.

이벤트 카메라는 통상적인 영상 카메라와 비교해 여러 장점이 있다. 우선, 전력 소비량이 작음에도 불구하고 마이크로초(μs) 수준으로 높은 시간 해상도와 극도로 빠른 반응 속도를 제공하므로, 고속으로 움직이는 물체를 인식하는 데 유리할 뿐 아니라 짧은 대응 시간이 요구되는 시스템에 효과적이다. 또한, 120dB 이상의 높은 동적 범위(Dynamic Range)를 확보할 수 있어 역광, 섬광이나 저조도 환경과 같은 악조건에서도 목표물을 구분해낼 수 있다는 장점이 있다. 이러한 특징을 활용하여 드론이나 자율주행 등의 분야에서 기존의 카메라 센서를 대체하거나 보완할 잠재성이 있는 것으로 평가받고 있다. 또, SWaP-C^[1]​에 매우 유리하므로 기존 센서와 함께 복합적으로 구성할 수 있다는 점에서도 주목할 만하다. 이 기술은 이미 상용화 단계에 진입하였으며, CMOS 이미지 센서 분야의 대표주자인 소니^[2]​에서는 프랑스 프로페시社와 협업하여 IMX636, IMX646과 같은 DVS 이미지 센서를 양산 중인 것으로 알려져 있다.

한화시스템에서 개발 중인 H-APS

국방 분야에서의 활용 가능성

미국 DARPA는 FENCE^[3]​ 프로그램을 통해, 군사적 목적으로 활용 가능한 이벤트 기반 중적외선(MWIR) 이미지 센서와 저전력 뉴로모픽 처리장치를 통합하는 연구를 진행했다. 정지 배경이나 변화가 드문 희소 장면에서 발생하는 데이터량을 기존 프레임 방식 영상 카메라 대비 100배 이상 줄이고, 지연 시간(latency)과 소비 전력을 크게 낮추는 것을 목표로 했다. 해당 프로그램의 연구 성과로 RTX社는 MWIR 이벤트 카메라를 제작했으며, 북부 캘리포니아 시험에서 차량, 항공기, 화재와 고속 물체를 실시간으로 추적할 수 있었다고 밝혔다. 다만, 해당 시험에서 탐지거리, 각도 오차, 오경보율과 같은 정량적인 성능은 공개하지 않았다.

전차/장갑차의 능동방호체계(APS)와 대드론 솔루션을 위한 센서 시스템으로도 유망하다. 일반 카메라에서는 역광이나 터널 등 센서가 포화되는 현상이 나타나며, 표적의 빠른 횡단 운동이 모션 블러를 발생시킨다. 하지만 저고도에서 기동하는 소형 드론은 배경과 대조되는 주기적인 패턴을 생성하므로 이벤트 카메라를 이용하면 배경 잡음으로부터 드론 표적을 효과적으로 검출할 수 있다. 또, APS 시스템의 경우 1,500m/s 이상의 초고속으로 비행하는 날개안정분리철갑탄(APFSDS) 관통자를 탐지·추적하는 것이 여전히 도전 과제로 남아 있는데, 이벤트 카메라를 기존 레이다 및 EO/IR 센서와 복합적으로 구성할 경우, 관통자 탐지 및 각도 추적 등, 기존 센서의 트랙 보강에 활용하여 대응 시간을 추가로 확보할 수 있을 것으로 기대된다.^[4]​

이벤트-RGB 카메라 비디오 보간 데이터셋 예시

국내 연구 동향

국내에서는 이벤트 카메라와 관련한 국방 연구 과제가 본격적으로 진행되진 않았으나, 대학과 민간 스타트업을 중심으로 민수 분야에서의 활용을 고려한 이벤트 카메라 기술을 개발하고 있다. 대표적으로 KAIST 기계공학과 윤국진 교수 연구팀에서 이벤트 카메라 기반 시각 인지기술 분야에서 다수의 논문을 발표하였고, CVPR 2021에서 개최된 2021 CVPRW DSEC 챌린지에서 우승을 거두었다. 또, 2023년에는 이벤트 카메라 기반 비디오 보간 기술을 개발하여, 기존의 비디오 보간 방법 대비 35% 이상의 세계 최고 성능을 달성하였으며, 복잡하고 극심한 움직임 속에서도 30FPS 영상을 10000FPS 이상으로 합성한 결과를 선보였다. 민간 스타트업에서는 뉴로리얼리티비전社에서 "초고속 영상 기록과 인식을 위한 SoC 개발('22.06~'24.06)"에서 해상도 960×720, 3,000FPS의 DVS-CIS 하이브리드 이벤트 카메라를 개발했으며, "이벤트 기반 복합 영상 정보처리 시스템 개발('25.10~'28.09)" 과제로 4K 해상도, 2,000FPS 이상의 DVS-CIS 하이브리드 카메라와 NPU를 개발하고 있는 것으로 알려졌다.

한국전자기술연구원(KETI)에서도, "효율적인 시각정보 처리를 위한 초고속 멀티모달 영상 기술개발('25.04-'28.12)" 과제를 통해 이벤트 카메라를 개발 중이다. 이벤트 카메라와 CMOS 이미지 센서를 결합하고(DVS-CIS), 비디오 프레임 보간(VFI) 기술을 적용하여 10 lux 이하의 저조도 환경에서 4K 해상도의 초고속(10,000FPS) 영상 촬영이 가능한 하이브리드 카메라와 온디바이스 AI FPGA를 개발하는 것을 목표로 한다. 기존 이벤트 카메라는 절대적인 밝기나 형상 정보를 직접 제공하지 않으므로 정지해 있거나 매우 느리게 움직이는 표적을 식별하기 어렵고, 광원 깜박임(Flicker) 등으로 발생하는 대량의 불필요한 잡음 이벤트를 필터링해야 하는 어려움이 있다. 이러한 문제점을 DVS-CIS 복합센서 구성을 통해 보완할 수 있을 것으로 기대된다.

향후 전망

이벤트 카메라는 1980년대 뉴로모픽 이미지 센서의 개념에서 출발하여 2000년대 DVS가 개발되면서 본격적으로 정립되었다. 그러나 2010년대 중반까지는 이벤트 데이터를 효과적으로 처리할 수 있는 알고리즘과 데이터셋이 부족했고, 센서의 낮은 해상도로 인해 유의미한 활용 방안을 찾기가 어려웠다. 그러나 최근 AI 기술과 시공간 신호처리 알고리즘이 발전하면서 이벤트 카메라의 기술적 잠재성이 재평가되고 있다. DARPA의 FENCE 프로그램처럼 이벤트 카메라의 신호처리 방식을 적외선 초점면배열(FPA) 센서까지 확장하기 위한 연구가 본격화되었으며, DVS와 CMOS 이미지 센서를 복합화해 단점을 보완하고 장점을 극대화한 실용적인 DVS-CIS 하이브리드 카메라의 개발도 진행 중이다. 향후 APS용 고속 표적 추적 보조센서, 소형 드론 탐지·추적 센서, 자율주행·비행용 장애물 회피 센서 등의 분야에서 기존 센서와 상호 보완적으로 활용될 것으로 전망되며, 국내에서도 민수 분야에서 축적되고 있는 DVS-CIS 복합센서와 온디바이스 AI 기술을 바탕으로 고속 발사체 추적과 대드론, 무인체계 자율항법 등 국방 응용 분야에 관한 연구가 활성화되기를 기대한다.

출처