图像信息的优化方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像信息的优化方法及装置、电子设备和存储介质，所述方法包括：获取多个低信噪比的原始图像，所述原始图像为针对相同对象的图像，每个原始图像包括的特征信息不同；通过神经网络对各所述原始图像执行优化处理得到所述原始图像对应的优化图像，其中所述优化处理包括至少一次卷积处理以及至少一次非线性函数映射处理，并且所述优化图像的特征信息比所述原始图像的特征信息多。本公开实施例能够从原始图像中有效的恢复出高质量的深度信息。

Optimizing Method and Device of Image Information, Electronic Equipment and Storage Media

The present disclosure relates to an optimization method and device for image information, an electronic device and a storage medium. The method includes: acquiring multiple low signal-to-noise ratio original images, which are images for the same object and each original image contains different characteristic information; performing optimization processing on the original images through a neural network to obtain the corresponding optimization of the original images. The optimized processing includes at least one convolution processing and at least one non-linear function mapping processing, and the feature information of the optimized image is more than that of the original image. The present disclosure embodiment can effectively recover high quality depth information from the original image.

【技术实现步骤摘要】
图像信息的优化方法及装置、电子设备和存储介质
本公开涉及图像处理领域，特别涉及一种图像信息的优化方法及装置、电子设备和存储介质
技术介绍
深度图像的获取在许多领域有着重要的应用价值。例如，在资源勘探、三维重建、机器人导航等领域中对障碍物的检测、自动驾驶、人脸检测等都依赖于场景的高精度三维数据。相关技术中，具有代表性的获取深度图像的方式包括双目视觉、结构光技术、基于激光雷达的三维点云获取技术以及ToF相机(飞行时间相机)。其中，ToF相机和双目视觉相比，在测量深度时，不需要较大的计算量，且可以获得高精度的深度图像；ToF相机和结构光技术相比，会受到更小的背景光的影响；ToF相机和激光雷达相比，具有体积小，获取深度图像速度快等优点。但ToF相机在测量距离较大或者存在对光吸收率较高物体的场景时，深度的传感器接收到的信号比较微弱，且存在较大的噪声。其中，传统的深度重建方法都是通过相位差直接进行查找计算，在信噪比很低的情况下很难计算出这些区域准确的深度信息，表现在深度图像中即为大片缺失深度信息的黑洞。即现有技术中，存在现有的ToF相机或者深度摄像设备在低信噪比的情况下，不能有效的获取图像的深度信息的技术问题。
技术实现思路
本公开实施例提供了一种图像信息的优化方法及装置、电子设备和存储介质，能够对低信噪比图像进行优化从而有效的恢复出图像中的深度信息。根据本公开的一方面，提供了一种图像信息的优化方法，其包括：获取多个低信噪比的原始图像，所述原始图像为针对相同对象的图像，每个原始图像包括的特征信息不同；通过神经网络对各所述原始图像执行优化处理，得到针对所述原始图像的优化图像，其中所述优化处理包括至少一次卷积处理以及至少一次非线性函数映射处理，并且所述优化图像的特征信息比所述原始图像的特征信息多。在一些可能的实施方式中，所述神经网络执行的优化处理包括依次执行的多组优化过程，每组优化过程包括至少一次卷积处理和/或至少一次非线性映射处理；其中，所述通过神经网络对各所述原始图像执行优化处理包括：将各所述原始图像作为第一组优化过程的输入信息，通过所述第一组优化过程的处理后得到针对该第一组优化过程的优化特征矩阵；将第n组优化过程输出的优化特征矩阵作为第n+1组优化过程的输入信息进行优化处理，或者将第n组优化过程输出的优化特征矩阵，以及前n-1组优化过程中至少一组优化过程输出的优化特征矩阵，作为第n+1组优化过程的输入信息进行优化处理，基于最后一组优化过程处理后得到的优化特征矩阵确定所述优化图像，其中n为大于1且小于Q的整数，Q为优化过程的组数。。在一些可能的实施方式中，所述优化处理包括依次执行的三组优化过程，所述通过神经网络对各所述原始图像执行优化处理包括：对多个所述原始图像执行第一组优化过程，得到融合各原始图像的特征信息的第一特征矩阵；对所述第一特征矩阵执行第二组优化过程，得到第二特征矩阵，所述第二特征矩阵的特征信息比所述第一特征矩阵的特征信息多；对所述第二特征矩阵执行第三组优化过程，得到与所述优化图像对应的优化特征矩阵并确定所述优化图像，所述优化特征矩阵的特征信息比所述第二特征矩阵的特征信息多。在一些可能的实施方式中，所述第一组优化过程包括依次执行的多个第一子优化过程，每个第一子优化过程包括第一卷积处理以及第一非线性映射处理；其中，所述对多个所述原始图像执行第一组优化过程，得到融合各原始图像的特征信息的第一特征矩阵，包括：通过第一个第一子优化过程执行各原始图像的第一卷积处理，得到第一卷积特征，以及通过对该第一卷积特征执行第一非线性映射处理，得到第一优化特征矩阵；通过第i个第一子优化过程执行第i-1个第一子优化过程得到的第一优化特征矩阵的第一卷积处理，并通过对该第一卷积处理得到的第一卷积特征执行第一非线性映射处理，得到针对第i个第一子优化过程的第一优化特征矩阵，以及基于第N个第一子优化过程得到的第一优化特征矩阵确定所述第一特征矩阵，其中i为大于1且小于或者等于N的正整数，N表示第一子优化过程的数量。在一些可能的实施方式中，在执行每个所述第一子优化过程的第一卷积处理时，每个第一卷积处理所采用的第一卷积核相同，并且至少一个第一子优化过程的第一卷积处理采用的第一卷积核的数量与其他第一子优化过程的第一卷积处理采用的第一卷积核的数量不同。在一些可能的实施方式中，所述第二组优化过程包括依次执行的多个第二子优化过程，每个第二子优化过程包括第二卷积处理以及第二非线性映射处理；其中，所述对所述第一特征矩阵执行第二组优化过程，得到第二特征矩阵，包括：通过第一个第二子优化过程执行所述第一特征矩阵的第二卷积处理，得到第二卷积特征，以及通过对该第二卷积特征执行第二非线性映射处理，得到第二优化特征矩阵；通过第j个第二子优化过程执行第j-1个第二子优化过程得到的第二优化特征矩阵的第二卷积处理，并通过对该第二卷积处理得到的第二卷积特征执行第二非线性映射处理，得到针对第j个第二子优化过程的第二优化特征矩阵，以及基于第M个第二子优化过程得到的第二优化特征矩阵确定所述第二特征矩阵，其中j为大于1且小于或者等于M的正整数，M表示第二子优化过程的数量。在一些可能的实施方式中，在执行每个所述第二子优化过程的第二卷积处理时，每个第二卷积处理所采用的第二卷积核相同，每个第二卷积处理采用的第二卷积核的数量相同。在一些可能的实施方式中，所述第三组优化过程包括依次执行的多个第三子优化过程，每个第三子优化过程包括第三卷积处理以及第三非线性映射处理，并且所述第三子优化过程的数量与所述第一组优化过程包括的第一子优化过程的数量相同；其中，所述对所述第二特征矩阵执行第三组优化过程，得到与所述优化图像对应的优化特征矩阵并确定所述优化图像，包括：通过第一个第三子优化过程执行所述第二特征矩阵的第三卷积处理，得到第三卷积特征，以及通过对该第三卷积特征执行第三非线性映射处理，得到第三优化特征矩阵；将第k-1个第三子优化过程得到的第三优化特征矩阵以及第G-k+2个第一子优化过程得到的第一优化特征矩阵作为第k个升采样过程的输入信息，并通过第k个第三子优化过程执行该输入信息的第三卷积处理，并通过对该第三卷积处理得到的第三卷积特征执行第三非线性映射处理，得到针对第k个第三子优化过程的第三优化特征矩阵，以及基于第G个第三子优化过程输出的第三优化特征矩阵确定所述优化图像，其中k为大于0且小于或者等于G的正整数，G表示第三子优化过程的数量。在一些可能的实施方式中，在执行每个所述第三子优化过程的第三卷积处理时，每个第三卷积处理所采用的第三卷积核相同，并且至少一个第三子优化过程的第三卷积处理采用的第三卷积核的数量与其他第三子优化过程的第三卷积处理采用的第三卷积核的数量不同。在一些可能的实施方式中，各所述原始图像为飞行时间相机在一次曝光的情况下得到的多幅图像。在一些可能的实施方式中，所述方法还包括：获取第一训练图像；利用所述神经网络对所述第一训练图像执行所述优化处理，得到针对所述第一训练图像的优化特征矩阵；基于所述第一训练图像对应的优化特征矩阵与标准特征矩阵的差异，对所述神经网络的参数进行调整，直至输出的第一训练图像的优化特征矩阵与所述标准特征矩阵之间的差异满足预设要求。在一些可能的实施方式中，在所述基于所本文档来自技高网...

【技术保护点】
1.一种图像信息的优化方法，其特征在于，包括：获取多个低信噪比的原始图像，所述原始图像为针对相同对象的图像，每个原始图像包括的特征信息不同；通过神经网络对各所述原始图像执行优化处理，得到针对所述原始图像的优化图像，其中所述优化处理包括至少一次卷积处理以及至少一次非线性函数映射处理，所述优化图像的特征信息比所述原始图像的特征信息多。

【技术特征摘要】
1.一种图像信息的优化方法，其特征在于，包括：获取多个低信噪比的原始图像，所述原始图像为针对相同对象的图像，每个原始图像包括的特征信息不同；通过神经网络对各所述原始图像执行优化处理，得到针对所述原始图像的优化图像，其中所述优化处理包括至少一次卷积处理以及至少一次非线性函数映射处理，所述优化图像的特征信息比所述原始图像的特征信息多。2.根据权利要求1所述的方法，其特征在于，所述神经网络执行的优化处理包括依次执行的多组优化过程，每组优化过程包括至少一次卷积处理和/或至少一次非线性映射处理；其中，所述通过神经网络对各所述原始图像执行优化处理包括：将各所述原始图像作为第一组优化过程的输入信息，通过所述第一组优化过程的处理后得到针对该第一组优化过程的优化特征矩阵；将第n组优化过程输出的优化特征矩阵作为第n+1组优化过程的输入信息进行优化处理，或者将第n组优化过程输出的优化特征矩阵，以及前n-1组优化过程中至少一组优化过程输出的优化特征矩阵，作为第n+1组优化过程的输入信息进行优化处理，基于最后一组优化过程处理后得到的优化特征矩阵确定所述优化图像，其中n为大于1且小于Q的整数，Q为优化过程的组数。3.根据权利要求1或2所述的方法，其特征在于，所述优化处理包括依次执行的三组优化过程，所述通过神经网络对各所述原始图像执行优化处理包括：对多个所述原始图像执行第一组优化过程，得到融合各原始图像的特征信息的第一特征矩阵；对所述第一特征矩阵执行第二组优化过程，得到第二特征矩阵，所述第二特征矩阵的特征信息比所述第一特征矩阵的特征信息多；对所述第二特征矩阵执行第三组优化过程，得到与所述优化图像对应的优化特征矩阵并确定所述优化图像，所述优化特征矩阵的特征信息比所述第二特征矩阵的特征信息多。4.根据权利要求3所述的方法，其特征在于，所述第一组优化过程包括依次执行的多个第一子优化过程，每个第一子优化过程包括第一卷积处理以及第一非线性映射处理；其中，所述对多个所述原始图像执行第一组优化过程，得到融合各原始图像的特征信息的第一特征矩阵，包括：通过第一个第一子优化过程执行各原始图像的第一卷积处理，得到第一卷积特征，以及通过对该第一卷积特征执行第一非线性映射处理，得到针对第一优化特征矩阵；通过第i个第一子优化过程执行第i-1个第一子优化过程得到的第一优化特征矩阵的第一卷积处理，并通过对该第一卷积处理得到的第一卷积特征...

【专利技术属性】
技术研发人员：任思捷，陈岩，程璇晔，孙文秀，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东,44