一种端到端成像设备设计方法和装置制造方法及图纸

本发明专利技术提供了一种端到端成像设备设计方法和装置，所述方法包括：获取训练所述成像设备对应的预设场景；基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像；利用图像后处理网络，从所述预处理图像中恢复出所述预设场景对应的生成图像；根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数。本发明专利技术实施例提供的方法和装置，实现了端到端计算成像，通过可微分的基于光线跟踪的光学引擎，可以在生成包含各种像差的模拟图像数据的同时，训练更新复杂光学透镜的参数。该过程实现了完全可微分，达到了用数据训练的方式进行成像设备设计的效果。

【技术实现步骤摘要】
一种端到端成像设备设计方法和装置
本专利技术涉及光学设计领域，特别涉及一种端到端成像设备设计方法和装置。
技术介绍
成像设备的设计通常是由经验驱动设计的光学系统，结合后续复杂的图像信号处理链路两个环节共同完成。随着近年来计算成像技术的发展，通常使用端到端的方案来解决上述两个环节的隔阂问题。然而，现有端到端设计方案所采用的图像成像模型普遍过于简单，例如傅里叶变换模型或其他类似的近轴模型。这些模型仅支持单透镜表面的优化，限制了所设计的透镜所生成的图像成像质量。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供一种端到端成像设备设计方法和装置，具体包括：第一方面，本专利技术实施例提供了一种端到端成像设备设计方法，所述方法包括：获取训练所述成像设备对应的预设场景；基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像；利用图像后处理网络，从所述预处理图像中恢复出所述预设场景对应的生成图像；根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数。可选地，所述基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像，具体包括：将透镜表示为一个球面镜和一个多项式矫正因子；采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差；根据传感器接收的光学成像模拟的光信号，生成模拟图像信号；对所生成的模拟图像信号与参考图像进行图像对齐，得到所述预处理图像。可选地，所述采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差，具体包括，采用牛顿迭代法来确定光线与平面交点的数值解，获取与透镜参数相关的像差仿真。可选地，所述采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差，具体包括，基于柯西色散公式模拟在各种光学材料和透镜面型情况下的光的色散。可选地，所述预处理图像需要进行白平衡、去马赛克、颜色矫正、数字增益、图像恢复和/或Gamma校正处理。可选地，所述根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数，具体包括：根据所述生成图像和对应的参考图像，确定对应的损失函数值；根据所述损失函数值，计算所述透镜和图像后处理网络参数的梯度值；根据所述梯度值，使用梯度下降法更新所述透镜的参数和图像后处理网络的参数。可选地，所述透镜的参数包括用于表征非球面透镜的多项式矫正因子中的曲率、圆锥系数和高阶系数。可选地，所述图像后处理网络为生成对抗网络，所述生成对抗网络的生成网络采用7层尺度的U-net结构，并包含连续的6次下采样和6次上采样阶段；所述生成对抗网络的对抗网络包括基于全局空间上下文的全局判别器，以及基于PatchGAN的局部判别器。可选地，所述图像后处理网络包括所嵌入的ISP、优化迭代或神经网络结构。第二方面，本专利技术实施例提供了一种端到端成像设备设计装置，所述装置包括：场景获取模块，用于获取训练所述成像设备对应的预设场景；图像渲染模块，用于基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像；图像后处理模块，用于利用图像后处理网络，从所述预处理图像中恢复出所述预设场景对应的生成图像；参数更新模块，用于根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数。第三方面，本专利技术实施例提供了一种成像装置制造方法，包括：确定所述成像装置的透镜的初始参数；根据第一方面的端到端成像设备设计方法得到的所述成像装置更新后的参数，使用球面或非球面镜加工工艺制造出对应的透镜；使用适配器将所述透镜与图像传感器进行组合，得到所述成像装置。第四方面，本专利技术实施例提供了一种成像方法，所述方法包括：根据第三方面的成像装置制造方法得到成像装置；使用所述成像装置对目标场景进行成像，得到目标预处理图像；根据第一方面的端到端成像设备设计方法得到的图像后处理网络的参数，将所述目标预处理图像输入至所述图像后处理网络中，得到目标数字图像。本专利技术实施例提供的成像设备设计方法和装置，实现了端到端计算成像，通过可微分的基于光线跟踪的光学引擎，可以在生成包含各种像差的模拟图像数据的同时，训练更新复杂光学透镜的参数。该过程实现了完全可微分，达到了用数据训练的方式进行成像设备设计的效果。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳务的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本申请的主旨。图1示出了根据本公开实施例提供的端到端成像设备设计方法的流程示意图。图2示出了根据本公开实施例提供的端到端成像设备设计方法的另一流程示意图。图3示出了根据本公开实施例提供的透镜模型以及基于可微的光线跟踪渲染方法的流程示意图。图4示出了根据本公开实施例提供的端到端成像设备设计装置的结构示意图。图5示出了根据本公开实施例提供的成像装置制造方法的流程示意图。图6示出了根据本公开实施例提供的成像方法的流程示意图。具体实施方式以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。成像设备的设计通常是由经验驱动设计的光学系统，结合后续复杂的图像信号处理链路两个环节共同完成。随着近年来计算成像技术的发展，通常使用端到端的方案来解决上述两个环节的隔阂问题。然而，现有的端到端设计方案所采用的图像成像模型普遍过于简单，例如傅里叶变换模型或其他类似的近轴模型。这些模型仅支持单透镜表面的优化，限制了所设计的透镜所生成的图像成像质量。有鉴于此，本公开实施例的目的在于提本文档来自技高网...

【技术保护点】
1.一种端到端成像设备设计方法，其特征在于，所述方法包括：/n获取训练所述成像设备对应的预设场景；/n基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像；/n利用图像后处理网络，从所述预处理图像中恢复出所述预设场景对应的生成图像；/n根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数。/n

【技术特征摘要】
1.一种端到端成像设备设计方法，其特征在于，所述方法包括：
获取训练所述成像设备对应的预设场景；
基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像；
利用图像后处理网络，从所述预处理图像中恢复出所述预设场景对应的生成图像；
根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数。


2.根据权利要求1所述的端到端成像设备设计方法，其特征在于，所述基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像，具体包括：
将透镜表示为一个球面镜和一个多项式矫正因子；
采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差；
根据传感器接收的光学成像模拟的光信号，生成模拟图像信号；
对所生成的模拟图像信号与参考图像进行图像对齐，得到所述预处理图像。


3.根据权利要求2所述的端到端成像设备设计方法，其特征在于，所述采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差，具体包括，采用牛顿迭代法来确定光线与平面交点的数值解，获取与透镜参数相关的像差仿真。


4.根据权利要求2所述的端到端成像设备设计方法，其特征在于，所述采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差，具体包括，基于柯西色散公式模拟在各种光学材料和透镜面型情况下的光的色散。


5.根据权利要求1所述的端到端成像设备设计方法，其特征在于，所述预处理图像需要进行白平衡、去马赛克、颜色矫正、数字增益、图像恢复和/或Gamma校正处理。


6.根据权利要求1所述的端到端成像设备设计方法，其特征在于，所述根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数，具体包括：
根据所述生成图像和对应的参考图像，确定对应的损失函数值；
根据所述损失函数值，计算所述透镜和图像后处理网络参数的梯度值；
根据所述梯度值，使用梯度下...

【专利技术属性】
技术研发人员：孙启霖，王丛立，顿雄，付强，沃尔夫冈海德里希，包文博，李广，
申请(专利权)人：点昀技术南通有限公司，
类型：发明
国别省市：江苏;32