연세대학교 홍보팀 / news@yonsei.ac.kr

이승아 교수팀, 마스크 기반 초박형 렌즈리스 카메라 설계 및 제작 기술 개발

위상마스크 설계 및 단일 노광 제작 기술을 통한 임의의 점확산함수를 갖는 초박형 카메라의 상용화 가능성 제시

1월 8일 광학 분야 최상위 논문 ‘옵티카(Optica, IF 10.644)’ 게재

[사진. (왼쪽부터) 이승아 교수, 경희대 박욱 교수, 이경철 박사과정생, 경희대 배중현 박사]

공과대학 전기전자공학과 이승아 교수 연구팀은 경희대 전자공학과 박욱 교수 연구팀과 협업 연구를 통해 렌즈리스 카메라 기술의 핵심인 신규 광학소자를 대량으로 생산할 수 있는 기술을 세계 최초로 개발했다. 

연구팀은 기존 초소형 카메라보다 5배 이상 얇은 카메라를 제작하고 이를 활용해 영상 촬영뿐만 아니라 광학 정보 처리 구현 등 응용을 보여, 렌즈리스 카메라 원천기술의 상용화 가능성을 최초로 제시했다. 특히 이번 연구는 위상 복원 알고리즘을 사용해 다양한 위상마스크를 설계하고 이를 단일 노광으로 빠르게 제작할 수 있어 나노 공정을 사용하던 기존 방식에 비해 월등히 높은 비용 효율성을 가진다. 이를 통해 일반적인 사진 촬영뿐만 아니라 지문 인식, 안면 인식 등 다양한 목적을 가진 계산 영상 기법을 활용한 렌즈리스 카메라 기술의 상용화 가능성을 기대할 수 있다.

이미지 센서와 인공지능 기반 영상처리 기술의 발달로 카메라의 용도가 단순한 사진 촬영에서 사물 인식, 생체 인식, 정보 획득 등으로 확장되면서 카메라 모듈의 소형화가 요구되고 있다. 그러나 카메라의 픽셀 해상도는 계속 증가하지만, 카메라 모듈의 전체 크기와 비용을 줄이는 데는 물리적 한계가 있다. 

이에 최근 렌즈를 얇은 광변조 마스크로 대체하는 렌즈리스 이미징 기법이 주목받고 있다. 렌즈리스 이미징은 렌즈 대신 빛을 변조하는 얇은 마스크를 센서 앞에 두고 측정하는 방식으로, 렌즈모듈의 두께와 초점거리도 함께 줄어들어 기존 카메라의 물리적 한계를 뛰어넘는 초박형 카메라의 제작이 가능하다. 물체의 한 점이 이미지 센서의 한 점으로 매칭되는 기존 카메라와 달리 렌즈리스 카메라는 물체의 한 점이 이미지 센서에서 이차원의 패턴으로 매칭되며, 이미지 센서의 측정값에 추가적인 계산 알고리즘을 적용해 물체의 상을 복원한다.

이러한 렌즈리스 카메라의 성능을 결정짓는 가장 중요한 요소가 위상마스크 구조이다. 위상마스크의 표면에는 미세한 굴곡의 구조가 있어 점광원의 빛이 위상마스크를 통과하면 센서 면에 이차원의 물결무늬의 패턴을 형성하는데, 이를 점확산함수(Point Spread Function, PSF)라고 한다. 이차원의 PSF를 형성할 수 있기 때문에 더 높은 설계 자유도를 가져 더 다양한 위상마스크를 쉽게 제작할 수 있는 기술이 요구되고 있다. 

위상마스크의 구조는 임의의 PSF 패턴을 특정 초점거리에서 형성하도록 최적화 문제 기반 알고리즘을 구현해 계산한다. 이렇게 설계된 위상마스크는 마스크리스 그레이스케일 리소그래피(Maskless Grayscale Lithography) 시스템으로 제작된다. 제작된 시스템은 디지털 미소반사 표시기(DMD)를 동적인 마스크로 활용해 이차원 UV광 패턴을 광경화성 수지에 조사하고 다양한 모양의 위상마스크를 단일 노출로 제작할 수 있다. DMD를 동적인 마스크로 활용하기 때문에 즉석에서 다양한 구조의 위상마스크를 설계할 수 있고, 단일 노출로 제작할 수 있어 프로세스가 매우 간단하다. 따라서 기존 나노 공정 제작과 비교했을 때 제작 속도와 비용 측면에서 엄청난 장점이 있다. 더욱이 이 제작 방법은 위상마스크를 이미지 센서 위에 제작하는 방식으로, 이미지 센서 공정과 결합 가능성도 있다. 

연구팀은 이 기술을 활용해 다양한 PSF를 가지는 위상마스크를 제작했고, 초박형 카메라를 개발해 디스플레이의 상(Scene)과 실생활의 물체를 촬영했을때 모두 이미징이 가능했다. 또한 본 연구에서는 실시간 복원과 복원 퀄리티 향상을 위해 딥러닝 기반 영상 복원 네트워크를 제시하고 제작의 반복성을 활용해 학습된 네트워크의 전이(transfer)를 보여 준다. 딥러닝 기반 복원을 활용했을 때 수 밀리 초 내에 복원 결과를 출력하고 학습에 사용하지 않은 카메라에서도 기존 복원 알고리즘에 비해 훨씬 더 향상된 이미지 퀄리티의 영상을 얻을 수 있다. 

더 나아가 설계된 렌즈리스 카메라는 위상마스크의 점확산함수를 커널로 활용한 광학 정보처리에도 활용될 수 있다. 렌즈리스 카메라는 2차원의 PSF가 물체와 합성곱(convolution)된 형태가 이미지 센서에 측정되는데, 이를 활용해 물체에서 특정 패턴의 일치 여부를 광학적으로 계산할 수 있다. 지문의 일부 특징을 PSF로 가지는 위상마스크를 제작 후 디스플레이에 지문을 띄워 카메라로 촬영했을 때 촬영되는 원본 데이터만으로 지문의 일치 여부를 확인할 수 있다.

이승아 교수는 “최근 렌즈리스 카메라를 사용한 다양한 스마트 이미징 응용 연구들이 보고되고 있는데, 본 기술을 통해 임의의 전달함수를 갖는 초박형 렌즈리스 카메라를 상용화할 수 있게 됐다. 따라서 광학 이미징을 기반으로 사물 분류, 인식, 검출 등 다양한 목적에 최적화된 초소형 저가 스마트 카메라 모듈을 개발할 수 있을 것으로 기대된다.”고 연구의 의의를 전했다. 

본 연구는 우리 대학교 이경철 연구원, 경희대 배중현 연구원이 제1주저자로, 이승아 교수와 경희대 박욱 교수가 교신저자로 참여한 IT 융합 연구이다. 1월 8일 광학 분야 최상위 학술지인 ‘옵티카(Optica, IF 10.644)’에 게재됐으며, 한국연구재단 신진연구(NRF-2021R1C1C101290012), KIST 지원프로그램(2021R1C1C101290012) 지원을 받아 수행됐다.

논문정보

● 논문제목: Design and single-shot fabrication of lensless cameras with arbitrary point spread functions

● 논문주소: https://doi.org/10.1364/OPTICA.466072

용어설명

● 점확산함수(Point Spread Function, PSF): 점광원의 빛이 광학계를 통과한 후 확산돼 초점면에 맺히는 상의 밝기 분포.

● 위상마스크(Phase Mask): 입사되는 빛의 위상을 변조할 수 있는 매우 얇은 광학 소자.

● 렌즈리스 카메라(Lensless Camera): 렌즈를 사용하지 않는 형태의 카메라 기법. 빛의 세기나 빛의 위상을 변조하는 마스크를 렌즈 대신 활용해 구현한다. 

● 디지털 미소반사 표시기(Digital Micromirror Device, DMD): 수십만 개의 미세구동거울이 집적된 반도체 칩, 입력받은 이미지를 특정 면에 투사할 수 있다. 

● 마스크리스 그레이스케일 리소그래피(Maskless Grayscale Lithography): 광경화성 물질에 DMD를 동적인 마스크로 활용해 빛을 노광해 제작하는 기술.

그림설명

[그림 1. 임의의 점확산함수를 가지는 위상마스크의 설계와 그레이스케일 리소그래피를 활용한 단일 노광 제작을 통한 다기능성 렌즈리스 카메라 개발]

위상마스크는 목표하는 PSF 패턴과 패턴의 밀도를 입력받아 위상마스크 설계 알고리즘을 통해 생성된다. 해당 알고리즘은 빛의 전파 시뮬레이션을 기반으로 미리 결정된 PSF 패턴을 특정 초점거리에서 형성하도록 위상마스크 구조를 설계한다. 이 중 상대적으로 낮은 해상도의 제작 방식으로도 제작이 가능하도록 알고리즘 내부에 부드러운 곡면에 대한 제한조건을 추가한다. 설계 알고리즘을 활용했을 때 알고리즘의 초깃값에 비해 더 부드러운 곡률을 가지는 것뿐만 아니라 패턴이 뭉치는 부분에서 더 날카로운 PSF를 형성할 수 있다. 이를 활용해 다양한 패턴의 PSF를 내는 어떠한 형태의 위상마스크든지 설계할 수 있고, 해당 위상마스크의 구조는 이미지로 변환돼 제작에 활용된다.

설계된 위상마스크는 마스크리스 그레이스케일 리소그래피(Maskless Grayscale Lithography) 시스템으로 제작된다. 해당 시스템은 일반적인 리소그래피와 달리 설계 이미지 따라 DMD의 픽셀값이 변하며 즉석에서 다양한 패턴을 시료에 노광할 수 있다. 해당 시스템은 DMD를 동적인 마스크로 활용해 이차원 UV 패턴을 광경화성 수지에 조사하고 다양한 모양의 위상마스크를 단일 노출로 제작할 수 있다. 위상마스크 설계의 그레이레벨에 따라 서로 다른 UV 에너지가 조사되어 설계된 위상마스크를 제작할 수 있다. 현재 시스템에서는 1.4mm 제곱의 면적을 3.2um의 해상도의 제작할 수 있다. 일반적으로 만들 수 있는 면적과 해상도는 반비례 관계가 있는데, 제작하고자 하는 위상마스크의 굴곡을 부드럽게 형성했기 때문에 고성능 광학계 없이도 대면적을 정확도 높게 제작할 수 있다. 

[그림 2. 위상마스크 설계 및 제작의 유효성 검증과 위상마스크 기반 렌즈리스 카메라를 활용한 다양한 애플리케이션]

본 연구에서 제시하는 방법의 유효성을 확인하기 위해 Voronoi, Caustic, Contour, Turing 패턴 등 다양한 랜덤함수 형태의 PSF를 가지는 위상마스크를 제작해 초박형 렌즈리스 카메라를 구현하고 해당 마스크의 점확산함수(PSF)를 측정했다. 이때 설계에 활용된 목표 PSF와 측정된 PSF 간 PSNR 값이 20dB 정도로 제작의 유효성을 확인할 수 있었다. 이후 제작된 카메라를 활용해 디스플레이에 띄어진 이미지와 실생활 이미지를 촬영했고, 영상 복원 알고리즘을 적용했을 때 원하는 상(Scene)을 얻을 수 있었다. 

또한 위상마스크의 PSF패턴을 합성곱 커널(convolution kernel)과 렌즈리스 카메라의 합성곱 촬영모델(convolutional forward model)을 활용해 광학 템플릿 매칭을 구현할 수 있다. 합성곱(convolution) 연산과 대칭인 교차상관계수(cross-correlation) 연산을 통해 물체에서의 특정 패턴의 일치 여부를 광학적으로 계산할 수 있는데, 이를 활용해 지문의 일부 특징을 PSF로 가지는 위상마스크를 제작했고 디스플레이에 지문을 띄워 카메라로 촬영했을 때 촬영되는 원본 데이터만으로 지문의 일치 여부를 확인할 수 있었다. 총 3개의 위상마스크로 100개의 지문 중 인식 여부를 확인했고, 원본 데이터의 구배(gradient) 값을 확인해 최소화된 계산으로 광학적 지문 인식이 가능했다.