一种深度图像去噪方法、装置及存储介质制造方法及图纸

技术编号:22566277 阅读:47 留言:0更新日期:2019-11-16 12:33
本发明专利技术公开了一种深度图像去噪方法、装置及存储介质,方法包括:模拟获取深度传感器对不同3D场景的原始响应数据作为训练样本集;构建用于对深度图像去噪的深度学习网络以及用于训练所述深度学习网络的损失函数,其中损失函数包括空间损失项和时间损失项;将训练样本集输入至深度学习网络,通过损失函数对深度学习网络进行深度学习训练后,并通过实测的评估样本集进行模型验证获取去噪声模型;将深度传感器实际采集到的深度图像数据输入至所述去噪声模型,生成去噪后的深度图像。本发明专利技术实施例通过具有深度测量信号特征的损失函数对深度学习网络进行训练并验证后学习得到去噪声模型实现去噪,消除环境光对信号光的干扰,提高深度图像的信噪比。

A method, device and storage medium of depth image denoising

The invention discloses a depth image denoising method, device and storage medium, the method includes: obtaining the original response data of the depth sensor to different 3D scenes as a training sample set by simulation; constructing a depth learning network for denoising the depth image and a loss function for training the depth learning network, wherein the loss function includes space loss term and time loss term Item: input the training sample set to the deep learning network, conduct the deep learning training to the deep learning network through the loss function, and obtain the denoising model through the model verification of the actual evaluation sample set; input the depth image data actually collected by the depth sensor into the denoising model to generate the denoised depth image. The embodiment of the invention trains the depth learning network through the loss function with the characteristics of the depth measurement signal, and obtains the denoising model after verification, so as to realize the denoising, eliminate the interference of the ambient light on the signal light, and improve the signal-to-noise ratio of the depth image.

【技术实现步骤摘要】
一种深度图像去噪方法、装置及存储介质
本专利技术涉及图像传感
,尤其涉及一种深度图像去噪方法、装置及存储介质。
技术介绍
光学三维传感是指通过光学方法获取场景三维信息的方法。光学三维传感技术在工业检测、人脸识别、智能家居、机器视觉和虚拟现实等领域有重大意义和广阔的应用前景。根据是否需要主动光源,光学三维传感方法可以分为被动三维传感和主动三维传感两大类,目前常用的三维传感方法有:飞行时间(TimeofFlight,ToF)、结构光方案、双目视觉以及光场记录等。其中,飞行时间方法由于其成本、精度、探测距离等优势近年来受到了业界越来越多的关注。基于飞行时间中直接飞行时间(dToF)方案的深度传感模块已经广泛应用于激光雷达和手机等设备。在dToF方案中,由于光信号的飞行速度已知且恒定,系统可通过信号的发射到接收之间的时间间隔准确计算出被测物体的距离。一个典型的dTOF传感系统需要使用高性能的光电探测器以捕捉光信号,例如单光子雪崩二极管(singlephotonavalanchediode,SPAD),因其具有系统功耗低、所需激光能量低的优点,是一种极具潜力和实用价值的方案。但是,在信号光比较弱的情况下,光子数量十分有限,信号容易被噪声淹没,SPAD传感器由于自身的高度敏感特性,容易受到环境光的干扰,无法准确判断信号光所在的位置,从而导致深度的测量结果不准确,如何去除深度图像的噪声还亟待解决。因此,现有技术还有待于改进和发展。
技术实现思路
鉴于上述现有技术的不足,本专利技术的目的在于提供一种深度图像去噪方法、装置及存储介质,旨在解决现有技术中深度传感器受到环境光的干扰导致深度测量结果不准确的问题。本专利技术的技术方案如下:一种深度图像去噪方法,其包括如下步骤:模拟获取深度传感器对不同3D场景的原始响应数据作为训练样本集;构建用于对深度图像去噪的深度学习网络以及用于训练所述深度学习网络的损失函数,其中所述损失函数包括空间损失项和时间损失项;将所述训练样本集输入至深度学习网络,通过所述损失函数对所述深度学习网络进行深度学习训练,并通过实测的评估样本集进行模型验证后获取去噪声模型;将深度传感器实际采集到的深度图像数据输入至所述去噪声模型,生成去噪后的深度图像。所述的深度图像去噪方法中,所述模拟获取深度传感器对不同3D场景的原始响应数据作为训练样本集,包括:获取不同3D场景的数据集以及深度传感器的脉冲响应;根据所述不同3D场景的数据集和深度传感器的脉冲响应对不同3D场景进行仿真模拟,获得深度传感器对不同3D场景的原始响应数据作为训练样本集。所述的深度图像去噪方法中,所述用于对深度图像去噪的深度学习网络为适用于图像语义分割的卷积神经网络,其中所述卷积神经网络的输入数据为三维数据。所述的深度图像去噪方法中,所述构建用于训练所述深度学习网络的损失函数,包括:构建时间损失项,所述时间损失项为其中DKL为KL散度,是位置k点的触发次数测量值,n是时间,h(k)[n]是位置k点的目标值;构建空间损失项,所述空间损失项为TV(softargmax(h(k)),其中TV为全变分,通过softargmax函数得到触发次数峰值所在的时间位置;构建用于训练所述深度学习网络的损失函数,所述损失函数为λTV为超参数。所述的深度图像去噪方法中,所述将所述训练样本集输入至深度学习网络,通过所述损失函数对所述深度学习网络进行深度学习训练,并通过实测的评估样本集进行模型验证后获取去噪声模型,包括:将所述训练样本集输入至深度学习网络对其进行深度学习训练,根据深度学习网络的输出值计算对应损失函数的值;根据当前损失函数的值调整所述深度学习网络的参数后继续进行深度学习训练,反复调整参数直到损失函数的值收敛至小于预设阈值则训练完成;将实测的评估样本集输入至训练完成的深度学习网络进行模型验证,若验证失败则重新调整参数并进行深度学习训练,直到验证成功;将验证成功的深度学习网络作为去噪声模型。所述的深度图像去噪方法中,所述将实测的评估样本集输入至训练完成的深度学习网络进行模型验证,若验证失败则重新调整参数并进行深度学习训练,直到验证成功,包括:将实测的评估样本集输入至训练完成的深度学习网络;将所述深度学习网络的输出值与评估样本集中对应的实际深度进行对比;当对比结果大于预设差值时则判断模型验证失败,重新调整参数后继续进行深度学习训练,直到模型验证成功。所述的深度图像去噪方法中,所述将深度传感器实际采集到的深度图像数据输入至所述去噪声模型,生成去噪后的深度图像之前,还包括:通过图像传感器获取与所述深度图像数据对应的二维图像数据。所述的深度图像去噪方法中,所述将深度传感器实际采集到的深度图像数据输入至所述去噪声模型,生成去噪后的深度图像,包括:将深度传感器实际采集到的深度图像数据和所述二维图像数据进行传感器融合处理;将融合处理后的数据输入至所述去噪声模型,生成去噪后的深度图像。所述的深度图像去噪方法中,所述将深度传感器实际采集到的深度图像数据输入至所述去噪声模型,生成去噪后的深度图像之后,还包括:根据所述二维图像数据对去噪后的深度图进行上采样,获得深度传感器未探测到的点的深度信息。本专利技术又一实施例还提供了一种深度图像去噪装置,所述装置包括至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述深度图像去噪方法。本专利技术的另一实施例还提供了一种非易失性计算机可读存储介质,所述非易失性计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行时,可使得所述一个或多个处理器执行上述的深度图像去噪方法。本专利技术的另一实施例还提供了一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被处理器执行时,使所述处理器执行上述的深度图像去噪方法。有益效果:本专利技术公开了一种深度图像去噪方法、装置及存储介质,相比于现有技术,本专利技术实施例通过构建对深度图像进行去噪的深度学习网络以及具有深度测量信号特征的损失函数,通过所述损失函数对该深度学习网络进行训练并验证后得到去噪声模型,进而利用所述去噪声模型对深度传感器采集到的深度图像数据进行去噪,消除深度测量时环境光对信号光的干扰,提高深度图像的信噪比。附图说明下面将结合附图及实施例对本专利技术作进一步说明,附图中:图1为本专利技术提供的深度图像去噪方法较佳实施例的流程图;图2为本专利技术提供的深度图像去噪方法较佳实施例中深度传感系统的结构示意图;图3为本专利技术提供的深度图像去噪方法较佳实施例中深度传感器触发次数随时间变化的统计直方本文档来自技高网...

【技术保护点】
1.一种深度图像去噪方法,其特征在于,包括如下步骤:/n模拟获取深度传感器对不同3D场景的原始响应数据作为训练样本集;/n构建用于对深度图像去噪的深度学习网络以及用于训练所述深度学习网络的损失函数,其中所述损失函数包括空间损失项和时间损失项;/n将所述训练样本集输入至深度学习网络,通过所述损失函数对所述深度学习网络进行深度学习训练,并通过实测的评估样本集进行模型验证后获取去噪声模型;/n将深度传感器实际采集到的深度图像数据输入至所述去噪声模型,生成去噪后的深度图像。/n

【技术特征摘要】
1.一种深度图像去噪方法,其特征在于,包括如下步骤:
模拟获取深度传感器对不同3D场景的原始响应数据作为训练样本集;
构建用于对深度图像去噪的深度学习网络以及用于训练所述深度学习网络的损失函数,其中所述损失函数包括空间损失项和时间损失项;
将所述训练样本集输入至深度学习网络,通过所述损失函数对所述深度学习网络进行深度学习训练,并通过实测的评估样本集进行模型验证后获取去噪声模型;
将深度传感器实际采集到的深度图像数据输入至所述去噪声模型,生成去噪后的深度图像。


2.根据权利要求1所述的深度图像去噪方法,其特征在于,所述模拟获取深度传感器对不同3D场景的原始响应数据作为训练样本集,包括:
获取不同3D场景的数据集以及深度传感器的脉冲响应;
根据所述不同3D场景的数据集和深度传感器的脉冲响应对不同3D场景进行仿真模拟,获得深度传感器对不同3D场景的原始响应数据作为训练样本集。


3.根据权利要求1所述的深度图像去噪方法,其特征在于,所述用于对深度图像去噪的深度学习网络为适用于图像语义分割的卷积神经网络,其中所述卷积神经网络的输入数据为三维数据。


4.根据权利要求1所述的深度图像去噪方法,其特征在于,所述构建用于训练所述深度学习网络的损失函数,包括:
构建时间损失项,所述时间损失项为其中DKL为KL散度,是位置k点的触发次数测量值,n是时间,h(k)[n]是位置k点的目标值;
构建空间损失项,所述空间损失项为TV(softargmax(h(k)),其中TV为全变分,通过softargmax函数得到触发次数峰值所在的时间位置;
构建用于训练所述深度学习网络的损失函数,所述损失函数为λTV为超参数。


5.根据权利要求1所述的深度图像去噪方法,其特征在于,所述将所述训练样本集输入至深度学习网络,通过所述损失函数对所述深度学习网络进行深度学习训练,并通过实测的评估样本集进行模型验证后获取去噪声模型,包括:
将所述训练样本集输入至深度学习网络对其进行深度学习训练,根据深度学习网络的输出值计算对应损失函数的值;
根据当前损失函数的值调整所述深度学习网络的参数后继续进行深度学习训练,反复调整参数直到损失函数的值收敛至小于预设阈值则训练完成;...

【专利技术属性】
技术研发人员:马志洁臧凯贾捷阳
申请(专利权)人:深圳市灵明光子科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1