基于深度学习的深度图像获取方法、装置、设备及介质制造方法及图纸

本发明专利技术属于图像处理领域，涉及一种基于深度学习的深度图像获取方法、装置、计算机设备及存储介质，所述方法包括：获取前后帧图像对，通过第一神经网络模型，对前后帧图像对进行光流特征提取，得到光流特征，再将光流特征和前后帧图像对输入到第二神经网络模型，进而采用第二神经网络模型，基于光流特征，从前后帧图像对中进行深度特征提取，并根据得到的深度特征，生成深度图像。本发明专利技术基于深度学习的深度图像获取方法实现了结合双帧图像的运动视差进行深度学习，来准确获取深度特征，提高了生成深度图像的精准度。

Depth image acquisition method, device, equipment and media based on depth learning

【技术实现步骤摘要】
基于深度学习的深度图像获取方法、装置、设备及介质
本申请涉及图像处理领域，尤其涉及一种基于深度学习的深度图像获取方法、装置、设备及介质。
技术介绍
在计算机视觉中是一项很重要的任务是从运动中恢复结构(structurefrommotion)，该任务是通过两幅图像计算场景结构和相机运动，也即获取通过相机连续拍照得到的帧图像对应的深度图像。通常需要提取图像中的特征点，通过特征点匹配来获取深度图像，其中，深度图像(depthimage)也被称为距离影像(rangeimage)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。现有从运动中恢复结构方案存在固有的局限性。例如，通常需要预先估计摄像机运动，再通过块匹配搜索获取场景结构。因此，摄像机运动的错误估计会导致错误的深度预测。此外，摄像机的运动是根据通过关键点检测和描述符匹配计算出的稀疏对应来估计的。这种方法容易出现异常，在非纹理区域不起作用。最后，现有的方法在相机平移幅度很小时会失败，因为难以获取合理的推断线索。因而，寻求一种提高获取深度图像本文档来自技高网...

【技术保护点】
1.一种基于深度学习的深度图像获取方法，其特征在于，包括：/n获取前后帧图像对，所述前后帧图像对包括两个连续的帧图像；/n通过第一神经网络模型，对所述前后帧图像对进行光流特征提取，得到光流特征；/n将所述光流特征和所述前后帧图像对输入到第二神经网络模型；/n采用所述第二神经网络模型，基于所述光流特征，从所述前后帧图像对中进行深度特征提取，并根据得到的深度特征，生成深度图像。/n

【技术特征摘要】
1.一种基于深度学习的深度图像获取方法，其特征在于，包括：
获取前后帧图像对，所述前后帧图像对包括两个连续的帧图像；
通过第一神经网络模型，对所述前后帧图像对进行光流特征提取，得到光流特征；
将所述光流特征和所述前后帧图像对输入到第二神经网络模型；
采用所述第二神经网络模型，基于所述光流特征，从所述前后帧图像对中进行深度特征提取，并根据得到的深度特征，生成深度图像。


2.根据权利要求1所述的基于深度学习的深度图像获取方法，所述第一神经网络模型包括第一输入层、第一卷积层和第一全连接层，所述第二神经网络模型包括第二输入层、第二卷积层和第二全连接层，其特征在于，所述第一卷积层和所述第二卷积层均由成对的卷积单元组成，每个所述卷积单元后连接一个ReLU层，所述第二全连接层包括三个子全连接层。


3.根据权利要求1所述的基于深度学习的深度图像获取方法，所述通过第一神经网络模型，对所述前后帧图像对进行光流特征提取，得到光流特征包括：
对所述前后帧图像对的光流值进行计算，得到真实光流值，并根据所述真实光流值确定所述第一神经网络的光流损失函数；
基于所述第一神经网络模型，采用所述光流损失函数进行特征提取拟合，得到所述光流特征。


4.根据权利要求3所述的基于深度学习的深度图像获取方法，所述根据所述真实光流值确定所述第一神经网络的光流损失函数包括：
根据预设条件，对所述前后帧图像对的光流值进行预测，得到预测光流值；
采用如下公式得到所述光流损失函数：



其中，F(i,j)为所述预测光流值，为所述真实光流值，i和j为帧图像的像素点坐标，且i和j为整数。


5.根据权利要求1所述的基于深度学习的深度图像获取方法，所述采用所述第二神经网络模型，基于所述光流特征，从所述前后帧图像对中进行深度特征提取包括：
对所述前后帧图像对的深度值进行计算，得到真实深度值，并根据所述真实深度值确定所...

【专利技术属性】
技术研发人员：栾语，宋呈群，程俊，程波，周毅超，吴一谦，张学刚，刘至垚，于正龙，栾振华，
申请(专利权)人：中广核工程有限公司，中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44