结合深度神经网络的可见光全彩广角超透镜相机制造技术

本发明专利技术提供一种结合深度神经网络的可见光全彩广角超透镜相机，包括广角超透镜、CMOS图像传感器、组装机械构件和深度神经网络图像恢复模块；广角超透镜和CMOS图像传感器从物侧到像侧沿光线传播方向依次设置在组装机械构件内部，用于生成待恢复的可见光全彩图像；组装机械构件用于对广角超透镜和CMOS图像传感器进行固定、密封、调节和保护；深度神经网络图像恢复模块与CMOS图像传感器电连接，用于恢复可见光全彩高质量图像；本发明专利技术具有相机体积小、视场范围宽和图像质量高的优点，有效提高了可见光成像的质量和效果，同时为相机的微型化提供了一种新方法，在例如微型内窥镜等手持式或穿戴式光学系统中具有广阔的应用前景。式或穿戴式光学系统中具有广阔的应用前景。式或穿戴式光学系统中具有广阔的应用前景。

【技术实现步骤摘要】
结合深度神经网络的可见光全彩广角超透镜相机


[0001]本专利技术涉及微纳光学、深度神经网络图像处理和可见光成像
，更具体地，涉及一种结合深度神经网络的可见光全彩广角超透镜相机。

技术介绍

[0002]相机通常使用镜头获得远处或近处景物的高质量成像，并使用电耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器来捕获图像或视频。现有的可见光相机及其镜头越来越多应用于车载、移动端、医疗内窥等对器件的重量、体积和成本敏感的领域，便携式、轻量化、集成化和低成本逐渐成为可见光相机未来的发展趋势。另一方面，可见光相机也在追求更大的视场角和更高质量的图像输出，这对相机镜头提出了更高的要求。
[0003]传统相机镜头为了校正大视场下的各种像差，实现高质量图像输出，通常需要复杂的球面和非球面光学透镜组合而成。这样不仅导致镜头的体积大、重量高，并且在各透镜及传感器组装上精度要求高、装配难度大，进而也增加了加工和装配成本。因此，传统的光学元件同时实现微型化、大视场角和高质量相机十分困难。
[0004]超透镜是一种平面化的亚波长结构单元按周期性排列实现对光束的聚焦。超透镜能实现亚波长分辨率成像，具有质量和体积小的优势，同时具有极大的设计自由度，对于发展轻量化和小型化成像器件至关重要。近几年，超透镜的成像研究进展迅速，包括视场角扩展、像差校正、图像分辨率提升等方面。
[0005]目前的现有技术公开了一种超宽视场平面光学器件，该超透镜校正了三阶赛德尔像差，实现了至少120
°
视场的广角平面成像；然而，该超透镜仅限于在单波长下实现高分辨广角成像，且存在畸变问题，限制了其在宽光谱范围下的宽视场成像应用，难以实现超广角可见光的全彩成像；另一方面，现有技术中的超透镜虽然能实现接近衍射极限的聚焦，但是超透镜的成像仍然存在对比度低、背景噪声等问题，超透镜的成像质量也有待提高。
[0006]随着深度神经网络研究的兴起，以U
‑
Net为代表的一系列深度神经网络模型在去噪、去雾、去雨和超分辨等底层视觉任务任务中展示了强大的图像处理能力，因此深度神经网络有希望解决广角超透镜的畸变、色差、杂光和对比度低的问题。

技术实现思路

[0007]本专利技术为克服上述现有技术中的超透镜在成像时光谱范围较窄且对比度低，含有背景噪声，且成像质量较低的缺陷，提供一种结合深度神经网络的可见光全彩广角超透镜相机，具有相机体积小、视场范围宽和图像质量高的优点，有效提高了可见光成像的质量和效果。
[0008]为解决上述技术问题，本专利技术的技术方案如下：
[0009]一种结合深度神经网络的可见光全彩广角超透镜相机，包括：广角超透镜、CMOS图像传感器、组装机械构件和深度神经网络图像恢复模块；
[0010]所述广角超透镜和CMOS图像传感器从物侧到像侧沿光线传播方向依次设置在组装机械构件内部，用于生成待恢复的可见光全彩图像；
[0011]所述组装机械构件用于对广角超透镜和CMOS图像传感器进行固定、密封、调节和保护；
[0012]所述深度神经网络图像恢复模块与CMOS图像传感器电连接，用于将待恢复的可见光全彩图像恢复为可见光全彩高质量图像。
[0013]优选地，所述广角超透镜从物侧到像侧沿光线传播方向依次包括光阑保护层、光阑层、介质层、超表面微纳结构层和微纳结构保护涂层；
[0014]所述CMOS图像传感器从物侧到像侧沿光线传播方向依次包括保护玻璃层和传感单元；
[0015]所述传感单元与深度神经网络图像恢复模块电连接；
[0016]所述组装机械构件包括遮光件、镜筒和底座；
[0017]所述遮光件的透光面积可调，设置在光阑保护层的物侧；
[0018]所述广角超透镜设置在镜筒内部，广角超透镜的轴线与镜筒的轴线重合；
[0019]所述CMOS图像传感器设置在底座内部，CMOS图像传感器的轴线与底座的轴线重合；
[0020]所述镜筒和底座之间螺牙连接。
[0021]优选地，所述超表面微纳结构层包括数量不低于一百万个微纳结构，每个微纳结构按相位规则排列，排列方式包括正方形晶格和六角晶格；
[0022]所述微纳结构的透射效率大于90％，相位调制范围覆盖0到2π；
[0023]所述超表面微纳结构层的材料包括氮化硅、富硅氮化硅、二氧化钛、二氧化硅、氮化镓、晶体硅、多晶硅、单晶硅中的任意一种或多种；
[0024]所述超表面微纳结构层的形状包括圆柱、方形柱、椭圆柱、鳍状柱和矩形柱中的一种或多种组合，且组合形式包括四周环绕组合、内外形状包裹组合和多层堆叠中的任意一种。
[0025]优选地，所述光阑保护层、介质层和微纳结构保护涂层的可见光透过率均大于95％；
[0026]所述光阑层的材料具体为反射或吸收可见光的材料，包括Au、PMMA、SU
‑
8和BN32中的任意一种或多种；
[0027]所述组装机械构件的材料具体为可见光吸收材料，或经过磨砂处理表面发黑处理的材料。
[0028]优选地，所述广角超透镜和CMOS图像传感器之间的最大轴向距离小于2mm。
[0029]优选地，利用光线追击优化算法、粒子群优化算法和拓扑优化算法中的任意一种算法，获取所述广角超透镜的焦距、口径和相位分布。
[0030]优选地，所述深度神经网络图像恢复模块中设置有深度神经网络模型；
[0031]所述深度神经网络模型包括依次连接的编码器层、中间瓶颈层和解码器层；
[0032]所述编码器包括三个依次连接的注意力子模型；中间瓶颈层包括一个注意力子模型；解码器包括三个依次连接的注意力子模型；
[0033]所有注意力子模型结构相同，且输入和输出的数据维度不同；
[0034]每个注意力子模型包括依次连接的注意力层、第一层归一化层、前馈层和第二层归一化层，注意力层的输入端还与第一层归一化层构成残差连接，前馈层的输入端还与第二层归一化层构成残差连接。
[0035]优选地，利用所述深度神经网络图像恢复模块将待恢复的可见光全彩图像恢复为可见光全彩高质量图像的具体方法为：
[0036]S1：获取广角超透镜的先验知识和第一原始图像集；
[0037]S2：利用广角超透镜的先验知识对第一原始图像集进行仿真处理，获取仿真图像集，并结合第一原始图像集对深度神经网络模型进行初始化训练，获得初始化训练后的深度神经网络模型；
[0038]S3：获取第二原始图像集，利用广角超透镜和CMOS图像传感器对第二原始图像集进行采集，获取真实采集图像集；
[0039]利用传统的商用相机对第二原始图像集进行拍摄，获取拍摄图像集；
[0040]S4：将真实采集图像集和拍摄图像集输入初始化训练后的深度神经网络模型中进行二次训练，获取最优的深度神经网络模型；
[0041]S5：利用广角超透镜和CMOS图像传感器获取待恢复的可见光全彩图像并输入最优的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合深度神经网络的可见光全彩广角超透镜相机，其特征在于，包括：广角超透镜(1)、CMOS图像传感器(2)、组装机械构件(3)和深度神经网络图像恢复模块(4)；所述广角超透镜(1)和CMOS图像传感器(2)从物侧到像侧沿光线传播方向依次设置在组装机械构件(3)内部，用于生成待恢复的可见光全彩图像；所述组装机械构件(3)用于对广角超透镜(1)和CMOS图像传感器(2)进行固定、密封、调节和保护；所述深度神经网络图像恢复模块(4)与CMOS图像传感器(2)电连接，用于将待恢复的可见光全彩图像恢复为可见光全彩高质量图像。2.根据权利要求1所述的一种结合深度神经网络的可见光全彩广角超透镜相机，其特征在于，所述广角超透镜(1)从物侧到像侧沿光线传播方向依次包括光阑保护层(11)、光阑层(12)、介质层(13)、超表面微纳结构层(14)和微纳结构保护涂层(15)；所述CMOS图像传感器(2)从物侧到像侧沿光线传播方向依次包括保护玻璃层(21)和传感单元(22)；所述传感单元(22)与深度神经网络图像恢复模块(4)电连接；所述组装机械构件(3)包括遮光件(31)、镜筒(32)和底座(33)；所述遮光件(31)的透光面积可调，设置在光阑保护层(11)的物侧；所述广角超透镜(1)设置在镜筒(32)内部，广角超透镜(1)的轴线与镜筒(32)的轴线重合；所述CMOS图像传感器(2)设置在底座(33)内部，CMOS图像传感器(2)的轴线与底座(33)的轴线重合；所述镜筒(32)和底座(33)之间螺牙连接。3.根据权利要求2所述的一种结合深度神经网络的可见光全彩广角超透镜相机，其特征在于，所述超表面微纳结构层(14)包括数量不低于一百万个微纳结构，每个微纳结构按相位规则排列，排列方式包括正方形晶格和六角晶格；所述微纳结构的透射效率大于90％，相位调制范围覆盖0到2π；所述超表面微纳结构层(14)的材料包括氮化硅、富硅氮化硅、二氧化钛、二氧化硅、氮化镓、晶体硅、多晶硅、单晶硅中的任意一种或多种；所述超表面微纳结构层(14)的形状包括圆柱、方形柱、椭圆柱、鳍状柱和矩形柱中的一种或多种组合，且组合形式包括四周环绕组合、内外形状包裹组合和多层堆叠中的任意一种。4.根据权利要求2所述的一种结合深度神经网络的可见光全彩广角超透镜相机，其特征在于，所述光阑保护层(11)、介质层(13)和微纳结构保护涂层(15)的可见光透过率均大于95％；所述光阑层(12)的材料具体为反射或吸收可见光的材料，包括Au、PMMA、SU
‑
8和BN32中的任意一种或多种；所述组装机械构件(3)的材料具体为可见光吸收材料，或经过磨砂处理表面发黑处理...

【专利技术属性】
技术研发人员：董建文，郑伟诗，刘言，李文东，陈泽茗，
申请(专利权)人：中山大学，
类型：发明
国别省市：