图像深度预测方法、装置、终端设备及可读存储介质制造方法及图纸

本申请适用于计算机视觉和图像处理技术领域，提供了一种图像深度预测方法、装置、终端设备及计算机可读存储介质，所述方法包括：获取通过单目内窥镜采集的组织表面的待预测图像；将所述待预测图像输入训练后的卷积神经网络模型中处理，输出所述待预测图像的稠密深度图；其中，所述训练后的卷积神经网络模型是根据训练集中的样本图像的稀疏深度图和稀疏位移图训练得到的，所述样本图像为通过单目内窥镜采集的组织表面的图像。通过本申请可以解决传统的深度预测方法将会产生稀疏和分布不均匀的三维重建，导致对图像的深度预测结果不佳的问题，可以在相机和光源都移动的情况下很好的预测出通过单目内窥镜采集的图像的深度。的预测出通过单目内窥镜采集的图像的深度。的预测出通过单目内窥镜采集的图像的深度。

【技术实现步骤摘要】
图像深度预测方法、装置、终端设备及可读存储介质


[0001]本申请属于计算机视觉和图像处理
，尤其涉及一种图像深度预测方法、装置、终端设备及可读存储介质。

技术介绍

[0002]内窥镜是一种可以经由狭窄通道进入人体器官或工业设备内部进行观测的仪器。其产生和发展突破了人眼的视觉限制，为医疗诊断和工业设备内部缺点的检测提供了诸多便利。场景的深度信息在许多研究课题中起着至关重要的作用，深度预测技术也越来越多的应用在各个领域，例如三维立体重建、障碍物检测及视觉导航等。
[0003]由于单目内窥镜场景下获取的纹理稀疏的图像，特征缺乏，视野范围较小，通过传统的深度预测方法将会产生稀疏和分布不均匀的三维重建，导致对图像的深度预测结果不佳。

技术实现思路

[0004]本申请实施例提供了一种图像深度预测方法、装置及终端设备，可以解决传统的深度预测方法将会产生稀疏和分布不均匀的三维重建，导致对图像的深度预测结果不佳的问题。
[0005]第一方面，本申请实施例提供了一种图像深度预测方法，包括：
[0006]获取通过单目内窥镜采集的组织表面的待预测图像；将所述待预测图像输入训练后的卷积神经网络模型中处理，输出所述待预测图像的稠密深度图；其中，所述训练后的卷积神经网络模型是根据训练集中的样本图像的稀疏深度图和稀疏位移图训练得到的，所述样本图像为通过单目内窥镜采集的组织表面的图像。
[0007]在第一方面的一种可能的实现方式中，所述方法包括：
[0008]提取所述训练集中的不同视图的样本图像的特征点；将不同视图的样本图像之间进行特征点匹配，得到样本图像中互相匹配的特征点；根据所述匹配的特征点和相机内参，进行稀疏重建，得到稀疏点云数据和相机位姿；根据所述相机位姿和所述相机内参，对所述稀疏点云数据进行投影映射及数据变换，得到所述稀疏深度图和所述稀疏位移图。
[0009]在第一方面的一种可能的实现方式中，根据训练集中的样本图像的稀疏深度图和稀疏位移图训练卷积神经网络模型，包括：
[0010]将第一样本图像和第二样本图像分别输入两路所述卷积神经网络模型，经过两路所述卷积神经网络模型分别进行特征学习后，得到两路所述卷积神经网络模型分别输出的所述第一样本图像的第一预测深度图和所述第二样本图像的第二预测深度图；其中，所述第一样本图像和所述第二样本图像为训练集中重叠区域满足预设条件的两帧图像；将第一稀疏深度图和所述第一预测深度图输入缩放深度网络层，通过所述缩放深度网络层对所述第一稀疏深度图和所述第一预测深度图进行尺寸放大或缩小处理，得到第一缩放深度图；其中，所述第一稀疏深度图为所述第一样本图像的稀疏深度图；将第二稀疏深度图和所述
第二预测深度图输入缩放深度网络层，通过所述缩放深度网络层对所述第二稀疏深度图和所述第二预测深度图进行尺寸放大或缩小处理，得到第二缩放深度图；其中，所述第二稀疏深度图为第二样本图像的稀疏深度图；将所述第一缩放深度图输入坐标变换网络层，经过坐标变换后，得到所述坐标变换网络层输出的第一稠密深度图；将所述第二缩放深度图输入坐标变换网络层，经过坐标变换后，得到所述坐标变换网络层输出的第二稠密深度图；将所述第一缩放深度图和所述第二缩放深度图分别进行投影变换，得到所述第一缩放深度图对应的第一稠密位移图和所述第二缩放深度图对应的第二稠密位移图；通过所述第一缩放深度图与所述第一稀疏深度图之间的有效深度损失和所述第二缩放深度图与所述第二稀疏深度图之间的有效深度损失、所述第一缩放深度图与所述第一稠密深度图之间的深度差值损失和所述第二缩放深度图与所述第二稠密深度图之间的深度差值损失、所述第一稀疏位移图和所述第一稠密位移图之间的投影位移损失和所述第二稀疏位移图和所述第二稠密位移图之间的投影位移损失，对所述卷积神经网络模型的参数进行训练及更新。
[0011]在第一方面的一种可能的实现方式中，通过有效深度损失函数计算所述第一缩放深度图与所述第一稀疏深度图之间的有效深度损失和所述第二缩放深度图与所述第二稀疏深度图之间的有效深度损失，所述有效深度损失函数表示如下：
[0012][0013]其中，L
edl(j,k)
为有效深度损失，M
j
为第j帧图像的稀疏掩模，M
k
为第k帧图像的稀疏掩模，Y
j
为第一缩放深度图，Y
j*
为第一稀疏深度图，Y
k
为第二缩放深度图，Y
k*
为第二稀疏深度图；n为稀疏深度图中有效像素点的个数，取值大于1的整数。
[0014]在第一方面的一种可能的实现方式中，通过投影位移损失函数计算所述第一稀疏位移图和所述第一稠密位移图之间的投影位移损失和所述第二稀疏位移图和所述第二稠密位移图之间的投影位移损失，所述投影位移损失函数表示如下：
[0015][0016]其中，L
psl(j,k)
为投影位移损失，M
j
为第j帧图像的稀疏掩模，M
k
为第k帧图像的稀疏掩模，S
j,k
为第一稠密位移图，S
j,k*
为第一稀疏位移图，S
k,j
为第二稠密位移图，S
k,j*
为第二稀疏位移图；n为稀疏位移图中有效像素点的个数，取值大于1的整数。
[0017]在第一方面的一种可能的实现方式中，通过深度差值损失函数计算所述第一缩放深度图与所述第一稠密深度图之间的深度差值损失和所述第二缩放深度图与所述第二稠密深度图之间的深度差值损失，所述深度差值损失函数表示如下：
[0018][0019]其中，L
dcl(j,k)
为深度差值损失，Y
j
为第一缩放深度图，Y^
j,k
为第一稠密深度图，Y
k
为第二缩放深度图，Y^
k,j
为第二稠密深度图；n为稀疏深度图中有效像素点的个数，取值大于1的整数。
[0020]在第一方面的一种可能的实现方式中，所述训练后的卷积神经网络模型包括密集网络层、上采样网络层、下采样网络层及残差网络层；将所述待预测图像输入训练后的卷积
神经网络模型中处理，包括：
[0021]通过所述密集网络层对所述待预测图像进行特征提取，输出特征图；
[0022]将所述密集网络层输出的特征图输入所述上采样网络层或所述下采样网络层，经过上采样或下采样处理后，输出采样特征图；
[0023]将所述上采样网络层或所述下采样网络层输出的采样特征图输入残差网络层，所述残差网络层对采样特征图的通道分配权重值，输出预设维度的特征图。
[0024]第二方面，本申请实施例提供了一种图像深度预测装置，包括：
[0025]获取单元，用于获取通过单目内窥镜采集的组织表面的待预测图像；
[0026]处理单元，用于将所述待预测图像输入训练后的卷积神经网络模型中处理，输出所述待预测图像的稠密深度图；其中，所述训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像深度预测方法，其特征在于，包括：获取通过单目内窥镜采集的组织表面的待预测图像；将所述待预测图像输入训练后的卷积神经网络模型中处理，输出所述待预测图像的稠密深度图；其中，所述训练后的卷积神经网络模型是根据训练集中的样本图像的稀疏深度图和稀疏位移图训练得到的，所述样本图像为通过单目内窥镜采集的组织表面的图像。2.如权利要求1所述的方法，其特征在于，所述方法包括：提取所述训练集中的不同视图的样本图像的特征点；将不同视图的样本图像之间进行特征点匹配，得到样本图像中互相匹配的特征点；根据所述匹配的特征点和相机内参，进行稀疏重建，得到稀疏点云数据和相机位姿；根据所述相机位姿和所述相机内参，对所述稀疏点云数据进行投影映射及数据变换，得到所述稀疏深度图和所述稀疏位移图。3.如权利要求1所述的方法，其特征在于，根据训练集中的样本图像的稀疏深度图和稀疏位移图训练卷积神经网络模型，包括：将第一样本图像和第二样本图像分别输入两路所述卷积神经网络模型，经过两路所述卷积神经网络模型分别进行特征学习后，得到两路所述卷积神经网络模型分别输出的所述第一样本图像的第一预测深度图和所述第二样本图像的第二预测深度图；其中，所述第一样本图像和所述第二样本图像为训练集中重叠区域满足预设条件的两帧图像；将第一稀疏深度图和所述第一预测深度图输入缩放深度网络层，通过所述缩放深度网络层对所述第一稀疏深度图和所述第一预测深度图进行尺寸放大或缩小处理，得到第一缩放深度图；其中，所述第一稀疏深度图为所述第一样本图像的稀疏深度图；将第二稀疏深度图和所述第二预测深度图输入缩放深度网络层，通过所述缩放深度网络层对所述第二稀疏深度图和所述第二预测深度图进行尺寸放大或缩小处理，得到第二缩放深度图；其中，所述第二稀疏深度图为第二样本图像的稀疏深度图；将所述第一缩放深度图输入坐标变换网络层，经过坐标变换后，得到所述坐标变换网络层输出的第一稠密深度图；将所述第二缩放深度图输入坐标变换网络层，经过坐标变换后，得到所述坐标变换网络层输出的第二稠密深度图；将所述第一缩放深度图和所述第二缩放深度图分别进行投影变换，得到所述第一缩放深度图对应的第一稠密位移图和所述第二缩放深度图对应的第二稠密位移图；通过所述第一缩放深度图与所述第一稀疏深度图之间的有效深度损失和所述第二缩放深度图与所述第二稀疏深度图之间的有效深度损失、所述第一缩放深度图与所述第一稠密深度图之间的深度差值损失和所述第二缩放深度图与所述第二稠密深度图之间的深度差值损失、所述第一稀疏位移图和所述第一稠密位移图之间的投影位移损失和所述第二稀疏位移图和所述第二稠密位移图之间的投影位移损失，对所述卷积神经网络模型的参数进行训练及更新。4.如权利要求3所述的方法，其特征在于，通过有效深度损失函数计算所述第一缩放深度图与所述第一稀疏深度图之间的有效深度损失和所述第二缩放深度图与所述第二稀疏深度图之间的有效深度损失，所述有效深度损失函数表示如下：
其中，L
edl(j,k)
为有效深度损失，M
j
为第j帧图像的稀疏掩模，M
k
为第k帧图像的稀疏掩...

【专利技术属性】
技术研发人员：廖祥云，王琼，王平安，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：