一种散斑深度估计方法、系统、电子设备及存储介质技术方案

本发明专利技术提供了一种散斑深度估计方法、系统、电子设备及存储介质，所述方法包括采集带散斑的若干模板图、训练样本图和不带散斑的环境样本图；获得训练样本图的第一深度数据且将其归一化获得归一化深度数据，及获得环境样本图的边缘数据且将其归一化获得归一化边缘监督数据；向训练模型中输入模板图、训练样本图及环境样本图以输出预估深度数据，基于三深度数据计算训练模型的损失值并不断优化训练模型得到完全收敛处理的目标模型；通过目标模型针对待测散斑图及待测无散斑图进行推理得到预测深度信息。通过本申请，可以保证深度精度的情况下，有效的提高通过散斑重建深度信息效率，使得散斑深度相机能在要求高帧率的场合有效应用。效应用。效应用。

【技术实现步骤摘要】
一种散斑深度估计方法、系统、电子设备及存储介质


[0001]本专利技术属于图像处理的
，具体地涉及一种散斑深度估计方法、系统、电子设备及存储介质。

技术介绍

[0002]目前主流的3D相机可以分为两种：一种是以激光传感器为代表的价格高、深度数据质量好的3D视觉传感器，比如SICK、Enshape、Ensenso，其共同特点是精度高，但是速度慢，并且价格昂贵，并不适合于工业领域中的大规模推广；另一种是一系列消费级的RGB
‑
D相机，其原理主要有结构光、ToF和双目立体视觉等，代表产品有微软的Kinect和Intel的Realsense，其共同特点是精度相对较低，但是速度快，价格也相对低廉，消费级的RGB
‑
D相机因其效率和价格上的优势更适合于工业上和实际生活中的应用和推广。
[0003]市面上出售的消费级RGB
‑
D相机，在深度精度上大致可达到毫米级，能满足大部分的生产和生活的需要，但深度数据的质量往往差强人意，对后续的应用有很大的影响。目前，RGB
‑
D相机的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种散斑深度估算方法，其特征在于，包括：采集若干模板图、训练样本图以及环境样本图；其中，所述模板图是指在深度重建范围内每隔预设距离采集的带散斑白底平面图，所述训练样本图是指基于相同所述深度重建范围内的不同环境中采集的带散斑图，所述环境样本图是指与所述训练样本图具有相同环境及采集位置的不带散斑图；根据所述模板图、所述训练样本图以及散斑模板匹配算法，获得所述训练样本图的第一深度数据，且将所述第一深度数据归一化获得归一化深度数据；根据所述环境样本图以及边缘检测算法，获得所述环境样本图的边缘数据，且将所述边缘数据归一化获得归一化边缘监督数据；向训练模型中输入所述模板图、所述训练样本图以及所述环境样本图，以输出预估深度数据；基于所述归一化深度数据、所述归一化边缘监督数据以及所述预估深度数据，计算所述训练模型的损失值，并根据所述损失值不断优化所述训练模型得到完全收敛处理的目标模型；通过所述目标模型针对待测散斑图及待测无散斑图进行推理得到归一化预测深度数据，并基于所述归一化预测深度数据计算实际估算深度，以实时输出所述待测散斑图及所述待测无散斑图的预测深度信息。2.根据权利要求1所述的散斑深度估计方法，其特征在于，所述根据所述模板图、所述训练样本图以及散斑模板匹配算法，获得所述训练样本图的第一深度数据，且将所述第一深度数据归一化获得归一化深度数据的步骤具体包括：以所述模板图为匹配模板，通过散斑模板匹配算法获取所述训练样本图的第一深度数据；将所述第一深度数据中小于散斑相机最小测量范围的深度数据置为最小值，以及大于散斑相机最大测量范围的深度数据置为最大值，以得到第二深度数据；将所述第二深度数据进行归一化处理得到归一化深度数据；其中，所述归一化处理的公式为dep(x,y)＝(depth(x,y)
‑
d
min
)/(d
max
‑
d
min
)，式中，(x,y)表示像素位置，depth(x,y)表示(x,y)位置处的边缘数据，d
max
为散斑相机最大测量范围的深度数据，d
min
为散斑相机最小测量范围的深度数据，dep(x,y)表示(x,y)位置处的归一化深度数据。3.根据权利要求1所述的散斑深度估计方法，其特征在于，所述根据所述环境样本图以及边缘检测算法，获得所述环境样本图的边缘数据，且将所述边缘数据归一化获得归一化边缘监督数据的具体步骤包括：通过边缘检测算法获取所述环境样本图的边缘数据；将所述边缘数据进行归一化处理得到归一化边缘监督数据；其中，所述归一化处理的公式为edg(x,y)＝(edge(x,y)
‑
min(edge))/(max(edge)
‑
min(edge)),式中，(x,y)表示像素位置，edge(x,y)表示(x,y)位置处的边缘数据，min(edge)表示边缘数据中的最小值，max(edge)表示边缘数据中的最大值。4.根据权利要求1所述的散斑深度估计方法，其特征在于，所述基于所述归一化深度数据、所述归一化边缘监督数据以及所述预估深度数据，计算所述训练模型的损失值，并根据所述损失值不断优化所述训练模型得到完全收敛处理的目标模型的步骤具体包括：
将所述模板图、所述训练样本图以及所述环境样本图进行预处理，以滤除所述模板图、所述训练样本图和所述环境样本图中的环境数据；将预处理的所述模板图、所述训练样本图及所述环境样本图的结果合并训练，得到S个输入样本；将所述S个输入样本逐一以预定数量的输入样本定义为所述训练模型中的一个超参数batch，获取多个超参数数据，并将所述多个超参数数据输入所述训练模型；以batch*h*w*(M+2)作为所述训练模型训练的输入数据维度，且以(2*batch*h*w*1，batch*h/2*w/2*1，batch*h/4*w/4*1)作为所述训练模型训练的输出数据维度，通过所述训练模型输出预估深度数据；其中，作为以batch*h*w*1输出维度的预测边缘估值；式中，h*w表示所述模板图、所述训练样本图及所述环境样本图的分辨率，M表示所述模板图的采集数量；基于所述预估深度数据通过损失函数计算所述训练模型的损失值；根据所述损失值进行反向传播，不断优化所述训练模型的参数直至完全收敛得到目标模型。5.根据权利要求4所述的散斑深度估算方法，其特征在于，所述将所述模板图、所述训练样本图以及所述环境样本图进行预处理，以滤除所述模板图、所述训练样本图和所述环境样本图中的环境数据的步骤具体包括：将所述训练样本图进行滤波去噪，以使过滤所述训练样本图中的椒盐...

【专利技术属性】
技术研发人员：毛凤辉，郭振民，
申请(专利权)人：南昌虚拟现实研究院股份有限公司，
类型：发明
国别省市：