一种基于端到端联合优化的超构透镜消色差方法技术

本发明专利技术公开了一种基于端到端联合优化的超构透镜消色差方法。具体步骤如下：(1)搭建超表面光学成像系统；(2)建立可微的超构透镜成像模型，模拟超表面光学系统的点扩散函数，得到经过超构透镜后被传感器接收的图像；(3)建立用于图像重建的神经网络架构；(4)将可微超构透镜模型和图像重建网络整合为端到端联合优化成像系统进行训练；(5)利用全局优化得到的网络参数和超表面结构参数设计成像系统。利用本发明专利技术能够将端到端可学习网络在设计消色差超构透镜方面的优势与高频信息对于成像效果的提升相结合，解决了消色差超表面光学成像系统中各指标相互制约带来的难题，为超构透镜消色差问题提供了有效简便的新方法。消色差问题提供了有效简便的新方法。消色差问题提供了有效简便的新方法。

【技术实现步骤摘要】
一种基于端到端联合优化的超构透镜消色差方法


[0001]本专利技术涉及计算摄像学领域，尤其涉及一种基于端到端联合优化的超构透镜消色差方法。

技术介绍

[0002]色差是可见光成像系统中不可避免的重要问题之一：由于不同波长在光学材料中的折射率不同，不同波长光线的焦点会沿光轴方向分散，从而明显降低全彩色成像系统的性能。传统光学系统一般通过复合光学性质不同的透镜实现可见光波段孤立波长的消色差，不仅增加了光学系统的复杂性、限制了相机设备的轻量化，也无法解决具有更高成像质量要求的消色差问题。
[0003]光学超表面是亚波长尺度结构单元的二维阵列，能够调控电磁波的偏振、相位、振幅、频率等特性。超构透镜是基于超表面微结构单元的新型衍射透镜，与传统衍射透镜相比，超构透镜体积微小，具有更灵活的光场调控能力和更高的设计自由度，有潜力提供更优的消色差方案。
[0004]现有的超构透镜消色差方法主要有两种，一是通过优化透镜结构参数，如超表面上纳米柱的形状、高度和距离等，实现对孤立波长或者窄带连续波长的消色差；二是挖掘并利用超表面的物理特性，如共振相位、群延迟和群相位等，实现宽带连续波长消色差。这两种方法各有缺陷，归根究底是由于消色差超构透镜的尺寸、数值孔径、工作带宽之间存在制约关系，很难在有效半径、聚焦效率、消色差效果等之间取得平衡，因此，如何实现大尺寸大数值高效率的消色差超构透镜仍然是目前公认的难题。
[0005]将超表面光学和端到端优化结合起来是对传统成像系统框架的突破，在前端使用超表面光学、在后端使用基于机器学习的图像重建算法，是实现消色差超构透镜的新兴方向。但现有超表面光学端到端优化框架由于内存的限制难以对最终的全彩图像质量进行优化，通常只能对中间指标进行优化，此外，大多数工作过于依赖端到端网络在全局参数优化方面的优势，忽略了图像采集过程以及图像重建算法对于最终成像效果的影响。因此，基于端到端联合优化的超构透镜消色差方法是一个十分重要且仍待改进的课题。

技术实现思路

[0006]针对以上现有消色差方法存在的难点和不足，本专利技术提供一种基于端到端联合优化的超构透镜消色差方法。
[0007]具体来说，本专利技术首先将超表面光学元件可微模型和图像重建网络相级联，建立端到端联合优化超构透镜结构参数和图像处理算法的成像框架，避免了以往独立设计光学系统和图像处理算法时难以互益的缺陷，能够通过端到端优化全局参数来平衡超构透镜的内在约束关系。不把成像系统中的每个模块作为独立的步骤去逐个设计，而是借助端到端网络能够进行全局优化这一优势，通过训练得到成像性能最佳的方案。考虑到图像重建网络解卷积过程中的病态问题，引入多波段带通滤光片，使超表面光学系统的色差不连续，降
低频域混叠、保留更多高频信息、抑制后续解卷积的病态性。
[0008]为达上述目的，本专利技术采用的技术方案如下：
[0009]一种基于端到端联合优化的超构透镜消色差方法，该方法包括如下步骤：
[0010]步骤1：搭建超表面光学成像系统，在超构透镜前方放置多波段带通滤光片使色差不连续，降低图片高频信息在混叠过程中的丢失；在成像面上设置传感器用于接收图像；
[0011]步骤2：建立可微的超构透镜成像模型，该成像模型通过确定超构透镜相位面来模拟超表面光学系统的点扩散函数；将传感器的噪声建模为高斯
‑
泊松噪声，点扩散函数与标准图像卷积并叠加噪声影响后获得经过超构透镜并被传感器接收的图像；
[0012]步骤3：建立用于图像重建的神经网络架构，通过在特征空间反卷积恢复对图像的良好估计；
[0013]步骤4，整合所述可微的超构透镜成像模型和所述神经网络，建立端到端联合优化成像系统并训练网络，损失函数定义如下：
[0014]Loss＝ρ1L1+ρ
g
L
g
[0015]其中，L1为均方误差之和，L
g
为空间梯度损失，ρ1和ρ
g
为加权系数；
[0016]步骤5，对网络参数和超构透镜结构参数进行全局优化，利用优化得到的参数设计超构透镜和图像重建网络，利用所述端到端联合优化成像系统获得重建后的高质量消色差图像。
[0017]本专利技术提出一种基于端到端联合优化的超构透镜消色差方法，通过结合超表面光学和神经网络，能够实现消色差超构透镜的设计和高质量消色差图像的重建。与其他超构透镜消色差方法相比，本专利技术能够将端到端可学习网络在设计消色差超构透镜方面的优势与高频信息对于成像效果的提升相结合，解决了消色差超表面光学成像系统中各指标相互制约带来的难题，为超构透镜消色差问题提供了有效简便的新解决思路。
附图说明
[0018]图1为本专利技术方法的结构示意图；
[0019]图2为本专利技术方法的成像流程图。
具体实施方式
[0020]本专利技术在超构透镜前放置多波段带通滤光片，基于保留的高频信息结合端到端网络实现高质量的消色差图像重建。端到端联合优化能够将超表面光学元件可微模型和图像重建网络相级联，建立端到端联合优化超构透镜结构参数和图像处理算法的成像框架。
[0021]参照图1，本专利技术的技术方案基于如下结构：(1)多波段带通滤光片,(2)超构透镜,(3)传感器。在超构透镜前放置多波段带通滤光片使色差不连续，降低图片高频信息在混叠过程中的丢失；在成像面上设置CMOS传感器用于接收图像。滤光片的作用相当于带通滤波器，避免了传统相机采集过程中时域抽样造成的频域混叠，从而消除了模糊核函数傅里叶变换中的零点，使得高频信息保留在了采集到的模糊图像中。在成像系统中采用具有多个传输波段的带通滤光片能够最大程度地减少图像的高频损失，进而能够降低点扩散函数的模拟难度，并且有利于在后续解卷积过程中采用更简单的方法去更好地恢复图像。本实施例的多波段带通滤光片允许通过四个波段，可通过的最小波长为400nm，最大波长为740nm，
适于可见光成像。超构透镜由集成百万个柱形纳米天线的超表面构成，复合共振相位和几何相位原理实现相位调控，即通过设计纳米柱的几何形状和旋转角度来设计消色差超构透镜。具体来说，本实施例的超表面微纳结构单元采用二氧化硅作为衬底材料，采用氮化硅(Si3N4)制备长方体纳米柱。改变亚波长共振单元的结构参数，如纳米柱的长宽高、占空比等，能够使得共振频率发生移动，进而改变某个频率的相位，产生相位突变。通过选择改变纳米柱的长度和宽度来实现共振相位调控，通过改变结构单元的旋转角度实现附加几何相位调控。
[0022]基于如图1所示的结构，入射光经过多波段带通滤光片相当于经带通滤波器进行光谱编码，能够保留更多高频信息。不连续色差有利于降低消色差难度，高频信息有利于提升图像重建效果，基于端到端联合优化所设计的超构透镜进而能够实现较高质量的消色差成像。
[0023]参照图2，本专利技术方法的成像流程基于如下步骤：
[0024]步骤1：点扩散函数是光学系统成像的关键指标，对于重建清晰图像也具有重要意义。因此本专利技术方法的成像流程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于端到端联合优化的超构透镜消色差方法，其特征在于，该方法包括如下步骤：步骤1：搭建超表面光学成像系统，在超构透镜前方放置多波段带通滤光片使色差不连续，降低图片高频信息在混叠过程中的丢失；在成像面上设置传感器用于接收图像；步骤2：建立可微的超构透镜成像模型，该成像模型通过确定超构透镜相位面来模拟超表面光学系统的点扩散函数；将传感器的噪声建模为高斯
‑
泊松噪声，点扩散函数与标准图像卷积并叠加噪声影响后获得经过超构透镜并被传感器接收的图像；步骤3：建立用于图像重建的神经网络架构，通过在特征空间反卷积恢复对图像的良好估计；步骤4，整合所述可微的超构透镜成像模型和所述神经网络，建立端到端联合优化成像系统并训练网络，损失函数定义如下：Loss＝ρ1L1+ρ
g
L
g
其中，L1为均方误差之和，L
g
为空间梯度损失，ρ1和ρ
g
为加权系数；步骤5，对网络参数和超构透镜结构参数进行全局优化，利用优化得到的参数设计超构透镜和图像重建网络，利用所述端到端联合优化成像系统获得重建后的高质量消色差图像。2.根据权利要求1所述的一种基于端到端联合优化的超构透镜消色差方法，其特征在于，所述多波段带通滤光片允许通过的最小波长为400nm，最大波长为740nm。3.根据权利要求1所述的一种基于端到端联合优化的超构透镜消色差方法，其特征在于...

【专利技术属性】
技术研发人员：岳涛，李铭，胡雪梅，
申请(专利权)人：南京大学，
类型：发明
国别省市：