用于光学成像系统的图像编解码模型的训练方法技术方案

提供了一种用于光学成像系统的图像编解码模型的训练方法，其中，图像编解码模型包括编码模型和解码模型，光学成像系统包括对待成像图像进行编码的光学元件组，模型训练方法包括：获取样本数据集，其中，样本数据集中的每个样本数据均包括针对目标场景的真实光强度图像和真实深度图像；将样本数据集中的样本数据输入到图像编解码模型，以至少得到深度图像的预测值，其中，编码模型根据光学元件组的参数将样本数据的真实光强度图像和真实深度图像编码为编码图像以作为解码模型的输入；根据深度图像的预测值以及真实深度图像之间的差值，计算损失值；以及基于损失值调节用于解码模型的参数或调节用于解码模型的参数以及光学元件组的参数两者。件组的参数两者。件组的参数两者。

【技术实现步骤摘要】
用于光学成像系统的图像编解码模型的训练方法


[0001]本公开涉及计算机视觉，特别是涉及一种用于光学成像系统的图像编解码模型的训练方法、用于光学成像系统的深度图像的生成方法以及光学成像系统。

技术介绍

[0002]三维成像在机器人、自动驾驶、智能制造、人脸识别与检测、增强现实等领域有着愈发重要的应用。三维成像在传统相机成像仅获取目标场景的二维光强信息的基础上，还需要获取深度信息，即场景内各点到相机的距离。
[0003]现有的获取场景深度信息可分为投射激光或结构化照明的主动方法，以及不需要投射激光或结构化照明的被动方法。主动方法主要包括结构光和飞行时间法，结构光方法基于三角测距原理，需要一定的基线长度，从而具有较大的体积，消费级的散斑结构光深度图分辨率受投射点的数目限制而较低，飞行时间法根据具体方法受接收端像素尺寸或激光线数等限制同样具有较低的分辨率，此外，主动方法的激光投射或结构化照明装置使其具有较高的成本与功耗，并且其依赖的投射信号易受到环境光照的干扰。被动方法主要为双目、多目以及光场相机，其原理为三角测距，从而需要较大的体积以保证一定的测距精度，并且需要多个相机或透镜阵列，增加了成本。
[0004]利用单目相机，在相较于传统二维相机基本不增加体积成本和功耗的前提下，若能够获取较高质量的三维信息，会在应用上有着巨大的优势。目前对单目三维视觉的研究主要包括基于二维图像语义信息、透镜离焦、点扩散函数工程。基于二维图像语义信息的方法未考虑成像系统物理模型，精度与可靠性均较低，并且只能获取场景的相对深度关系，而不能获取具体距离。基于透镜离焦的方法考虑了物理模型，但是普通透镜本身的点扩散函数使深度估计的精度很低，并且通常需要多帧拍摄以确定深度。点扩散函数工程在成像系统光路中通过相位或强度编码实现具有更高测距精度的点扩散函数，并且只需要单帧拍摄确定深度，典型的点扩散函数为双螺旋点扩散函数，点扩散函数工程的方法被广泛用于光学显微邻域中的三维粒子追踪等。对于机器人、自动驾驶、智能制造、人脸识别与检测、增强现实等领域所需要的从复杂场景获取三维信息需求，已有一种方法利用深度学习和端到端优化实现了较高精度和分辨率的深度图和二维强度图获取，但其仅基于可见光波段的RGB图像，导致其在许多场景中不适用。例如，当单目三维相机在较黑暗环境下工作需要泛光照明补光，若采用RGB图像，则相应波段的补光会被人眼看到，在例如扫地机器人和人脸识别中等应用场景中会对使用者造成干扰；在光照过强的情况下，可能出现过曝；或者在环境光照不均匀的情况下，出现部分区域过曝，部分区域过暗的情况。

技术实现思路

[0005]提供一种缓解、减轻或甚至消除上述问题中的一个或多个的机制将是有利的。
[0006]根据本公开的一方面，提供了一种用于光学成像系统的图像编解码模型的训练方法，其中，图像编解码模型包括编码模型和解码模型，光学成像系统包括对待成像图像进行
编码的光学元件组，模型训练方法包括：获取样本数据集，其中，样本数据集中的每个样本数据均包括针对目标场景的真实光强度图像和真实深度图像；将样本数据集中的样本数据输入到图像编解码模型，以至少得到深度图像的预测值，其中，编码模型根据光学元件组的参数将样本数据的真实光强度图像和真实深度图像编码为编码图像以作为解码模型的输入；根据深度图像的预测值以及真实深度图像之间的差值，计算损失值；以及基于损失值调节用于解码模型的参数或调节用于解码模型的参数以及光学元件组的参数两者。
[0007]根据本公开的另一方面，提供了一种用于光学成像系统的深度图像的生成方法，其中，光学成像系统包括对成像图像进行编码的光学元件组，方法包括：设置光学元件组的参数，其中，光学元件组的参数是预先确定的或利用上述的图像编解码模型的训练方法调节得到的；使用光学成像系统对目标场景进行拍摄，得到包含目标场景的光强度信息和深度信息的编码图像；以及将编码图像输入利用根据上述的图像编解码模型的训练方法训练得到的解码模型中，得到针对目标场景的深度图像。
[0008]根据本公开的又另一方面，提供了一种光学成像系统，包括：光学元件组，配置成对待成像图像进行编码；成像元件，配置成对目标场景进行拍摄，以获取经光学元件组编码后的编码图像；以及处理器，配置成从成像元件获取编码图像，并利用根据上述的图像编解码模型的训练方法训练好的解码模型对编码图像进行解码，以得到针对目标场景的深度图像。
[0009]根据本公开的再另一方面，提供了一种计算机设备，包括：至少一个处理器；以及至少一个存储器，其上存储有计算机程序，其中，计算机程序在被至少一个处理器执行时，使至少一个处理器执行上述的方法。
[0010]根据本公开的再另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使处理器执行上述的方法。
[0011]根据本公开的再另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，使处理器执行上述的方法。
[0012]根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。
附图说明
[0013]在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：
[0014]图1是图示出根据示例性实施例的光学成像系统的结构示意图；
[0015]图2a示出了根据示例性实施例的超构表面的截面示意图；
[0016]图2b示出了根据示例性实施例的超构表面的俯视图；
[0017]图3a示出了根据示例性实施例的超构表面的透射相位图；
[0018]图3b示出了根据图3a的透射相位图得到的点扩散函数的示意图；
[0019]图4是图示出根据示例性实施例的用于光学成像系统的图像编解码模型的训练方法的流程图；
[0020]图5示出了用于实施图4所示的方法的原理示意图；
[0021]图6是图示出根据另一示例性实施例的得到编码图像的方法的流程图；
[0022]图7是图示出根据示例性实施例的用于光学成像系统的深度图像的生成方法的流程图；
[0023]图8示出了可以被用来实施本文所描述的方法的计算机设备的示例配置。
具体实施方式
[0024]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素，不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
[0025]在本公开中对各种示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。如本文使用的，术语“多个”意指两个或更多，并且术语“基于”应解释为“至少部分地基于”。此外，术语“和/或”以及
“……...

【技术保护点】

【技术特征摘要】
1.一种用于光学成像系统的图像编解码模型的训练方法，其中，所述图像编解码模型包括编码模型和解码模型，所述光学成像系统包括对待成像图像进行编码的光学元件组，所述模型训练方法包括：获取样本数据集，其中，所述样本数据集中的每个样本数据均包括针对目标场景的真实光强度图像和真实深度图像；将所述样本数据集中的样本数据输入到所述图像编解码模型，以至少得到深度图像的预测值，其中，所述编码模型根据所述光学元件组的参数将所述样本数据的真实光强度图像和真实深度图像编码为编码图像以作为所述解码模型的输入；根据所述深度图像的预测值以及所述真实深度图像之间的差值，计算损失值；以及基于所述损失值调节所述用于解码模型的参数或调节所述用于解码模型的参数以及所述光学元件组的参数两者。2.根据权利要求1所述的方法，其中，将所述样本数据集中的样本数据输入到所述图像编解码模型，以至少得到深度图像的预测值包括：根据所述光学元件组的参数确定用于编码的点扩散函数，其中，所述点扩散函数和图像的深度相关；以及利用所述点扩散函数对样本数据的真实光强度图像和真实深度图像进行编码，得到所述编码图像。3.根据权利要求2所述的方法，其中，所述利用所述点扩散函数对样本数据的真实光强度图像和真实深度图像进行编码，得到所述编码图像包括：根据所述真实光强度图像和真实深度图像确定真实输入光场；以及根据所述真实输入光场与所述点扩散函数的卷积，生成所述编码图像。4.根据权利要求1所述的方法，其中，所述光学元件组包括超构表面和/或衍射光学元件，基于所述损失值调节所述用于解码模型的参数以及所述光学元件组的参数两者包括：基于所述损失值调节所述光学元件组的透射率和/或相位分布。5.根据权利要求4所述的方法，其中，所述光学元件组还包括聚焦元件组，所述聚焦元件组由多个透镜构成，其中所述超构表面和/或衍射光学元件位于所述聚焦元件组的入瞳平面上。6.根据权利要求1所述的方法，其中，基于所述损失值调节所述用于解码模型的参数或调节所述用于解码模型的参数以及所述光学元件组的参数两者包括：利用梯度下降算法计算用于解码模型的参数或所述用于解码模型的参数以及所述光学元件组的参数两者。7.根据权利要求1
‑
5中任一项所述的方法，其中，所述光学成像系统还包括红外带通滤光片和至少一个光电传感器，所述真实光强度图像包括真实红外光强度图像。8.一种用于光学成像系统的深度图像的生成方法，其中，所述光学成像系统包括对成像图像进行编码的光学...

【专利技术属性】
技术研发人员：倪一博，
申请(专利权)人：维悟光子北京科技有限公司，
类型：发明
国别省市：