인간의 눈에서 영감을 받은 새롭고 향상된 카메라

Computer scientists develop new and improved camera inspired by the human eye

박윤석 VP 승인 2024.07.11 15:29 의견 0

UMD 컴퓨터 과학자 Botao He, Yiannis Aloimonos, Cornelia Fermuller, Jinxi Chen 및 Chahat Deep Singh이 개발한 새로운 카메라 시스템의 다이어그램. 사진 제공: Botao He, Yiannis Aloimonos, Cornelia Fermuller, Jinxi Chen, Chahat Deep Singh

메릴랜드 대학의 컴퓨터 과학자들이 이끄는 연구팀은 로봇이 주변 세계를 보고 반응하는 방식을 개선하는 카메라 메커니즘을 발명했습니다.

인간의 눈이 작동하는 방식에서 영감을 받은 혁신적인 카메라 시스템은 시간이 지나도 선명하고 안정적인 시야를 유지하기 위해 눈이 사용하는 작은 무의식적 움직임을 모방합니다.

AMI-EV(Artificial Microsaccade-Enhanced Event Camera)라고 불리는 이 팀의 카메라 프로토타이핑 및 테스트는 Science Robotics 저널에 발표된 논문에 자세히 설명되어 있습니다.

"이벤트 카메라는 기존 카메라보다 움직이는 물체를 추적하는 데 더 나은 비교적 새로운 기술이지만, 오늘날의 이벤트 카메라는 많은 움직임이 수반될 때 선명하고 흐릿한 이미지를 캡처하는 데 어려움을 겪습니다"라고 UMD의 컴퓨터 과학 박사 과정 학생인 논문의 수석 저자인 Botao He는 말했습니다.

"로봇과 자율 주행 자동차와 같은 다른 많은 기술은 변화하는 환경에 올바르게 반응하기 위해 정확하고 시기적절한 이미지에 의존하기 때문에 큰 문제입니다. 그래서 우리는 인간과 동물이 어떻게 움직이는 물체에 초점을 맞추도록 할 수 있는지 자문했습니다."

He의 팀에게 해답은 사람이 시야의 초점을 맞추려고 할 때 무의식적으로 발생하는 작고 빠른 안구 운동인 Microsaccade였습니다. 이러한 미세하지만 지속적인 움직임을 통해 인간의 눈은 시간이 지남에 따라 물체와 색상, 깊이 및 그림자와 같은 시각적 질감에 정확하게 초점을 맞출 수 있습니다.

"우리는 눈이 초점을 유지하기 위해 작은 움직임이 필요한 것처럼 카메라도 유사한 원리를 사용하여 움직임으로 인한 흐림 없이 선명하고 정확한 이미지를 캡처할 수 있다고 생각했습니다.“

연구팀은 AMI-EV 내부에 회전 프리즘을 삽입하여 렌즈에 포착된 광선의 방향을 전환함으로써 Microsaccade를 성공적으로 복제했습니다. 프리즘의 연속적인 회전 운동은 사람의 눈 안에서 자연스럽게 발생하는 움직임을 시뮬레이션하여 카메라가 사람처럼 기록된 물체의 질감을 안정화할 수 있도록 했습니다. 그런 다음 팀은 AMI-EV 내에서 프리즘의 움직임을 보정하여 변화하는 조명에서 안정적인 이미지를 통합하는 소프트웨어를 개발했습니다.

"우리의 눈은 우리 주변 세계의 사진을 찍고 그 사진은 뇌로 보내져 이미지가 분석됩니다. 지각은 그 과정을 통해 일어나며 그것이 우리가 세상을 이해하는 방식입니다"라고 메릴랜드 대학교 고급 컴퓨터 연구소(UMIACS)의 컴퓨터 비전 연구소 소장이기도 한 Aloimonos는 설명했습니다. "로봇과 함께 일할 때는 눈을 카메라로, 뇌를 컴퓨터로 대체하세요. 더 나은 카메라는 로봇의 더 나은 인식과 반응을 의미합니다."

연구원들은 또한 그들의 혁신이 로봇 공학과 국방을 넘어 중요한 영향을 미칠 수 있다고 믿습니다. 정확한 이미지 캡처 및 형상 감지에 의존하는 산업에 종사하는 과학자들은 카메라를 개선할 방법을 끊임없이 찾고 있으며, AMI-EV는 그들이 직면한 많은 문제에 대한 핵심 솔루션이 될 수 있습니다.

"고유한 기능을 갖춘 이벤트 센서와 AMI-EV는 스마트 웨어러블 영역에서 중심 무대를 차지할 준비가 되어 있습니다"라고 논문의 수석 저자인 연구 과학자 Cornelia Fermüller는 말했습니다. "기존 카메라에 비해 극한의 조명 조건에서 우수한 성능, 짧은 대기 시간 및 낮은 전력 소비와 같은 뚜렷한 장점이 있습니다. 이러한 기능은 예를 들어 원활한 경험과 머리와 몸의 움직임에 대한 빠른 계산이 필요한 가상 현실 애플리케이션에 이상적입니다."

초기 테스트에서 AMI-EV는 사람의 맥박 감지 및 빠르게 움직이는 형상 식별을 포함한 다양한 상황에서 움직임을 정확하게 캡처하고 표시할 수 있었습니다. 연구원들은 또한 AMI-EV가 초당 수만 프레임으로 움직임을 캡처할 수 있으며, 이는 초당 평균 30-1000프레임을 캡처하는 가장 일반적으로 사용 가능한 상업용 카메라를 능가한다는 것을 발견했습니다.

이처럼 더 부드럽고 사실적인 움직임 묘사는 보다 몰입감 있는 증강 현실 경험과 더 나은 보안 모니터링을 만드는 것부터 천문학자들이 우주에서 이미지를 캡처하는 방법을 개선하는 것까지 모든 면에서 중추적인 역할을 할 수 있습니다.

알로이모노스는 "우리의 새로운 카메라 시스템은 자율 주행 자동차가 도로에서 무엇이 인간이고 무엇이 아닌지 알아내는 데 도움이 되는 것과 같은 많은 특정 문제를 해결할 수 있다"고 말했습니다. "그 결과, 자율 주행 시스템이나 스마트폰 카메라와 같이 일반 대중의 대부분이 이미 상호 작용하고 있는 많은 응용 분야가 있습니다. 우리는 우리의 새로운 카메라 시스템이 앞으로 더 발전되고 유능한 시스템을 위한 길을 닦고 있다고 믿습니다."

이상의 기사는 2024년 7월 1일 TechXplore에 게재된 “Computer scientists develop new and improved camera inspired by the human eye”제목의 기사 내용을 편집하여 작성하였습니다.

* 원문정보 출처 : Computer scientists develop new and improved camera inspired by the human eye (techxplore.com)

* 추가정보 출처 : Microsaccade-inspired event camera for robotics | Science Robotics

저작권자 ⓒ 창조아고라, 무단 전재 및 재배포 금지