【技术实现步骤摘要】
深度图像输出模型训练方法、深度图像获取方法及装置
[0001]本申请涉及图像处理
，尤其涉及一种深度图像输出模型训练方法、深度图像获取方法、装置、电子设备及存储介质。
技术介绍
[0002]MVS(多目立体几何)是将多幅图像(拍摄同一个场景或物体)和相机的内外参数作为输入，其中多幅图像中一幅图像为参考图像以及多幅源图像，最终得到参考图像的深度图像以及场景的3D(Three Dimensions，三维)重建点云。
[0003]为了达到上述效果，现有的基于网络学习(learning
‑
based)的方法主要包括以下步骤：
[0004]1、特征提取：将参考图像和多幅源图像分别输入模型中的神经网络(2DCNN block，2D神经网络层)，得到2D的图像特征；
[0005]2、可微分的单应性变换：利用相机的内参和外参将多张源图像特征投影到参考相机视角下，经过投影操作之后，可以将源图像的2D特征变成了参考图像视角下的3D特征(即代价体特征)；
[0006]3、代价体的特征提取：将...
【技术保护点】
【技术特征摘要】
1.一种深度图像输出模型训练方法，其特征在于，所述深度图像输出模型包括：深度特征提取网络层和极线Transformer网络层，所述方法包括：获取样本参考图像的二维图像特征和N幅样本源图像的三维代价体特征；N为大于等于2的正整数，N幅所述样本源图像是与所述样本参考图像对应的图像；调用所述深度特征提取网络层对所述二维图像特征进行特征提取，得到所述样本参考图像的与深度估计关联的二维预测深度特征；调用所述极线Transformer网络层根据所述二维预测深度特征对所述三维代价体特征进行融合处理，生成所述样本源图像对应的三维融合代价体特征；基于所述二维预测深度特征和所述三维融合代价体特征，计算得到所述深度图像输出模型的损失值；在所述损失值处于预设范围内的情况下，将训练后的不包含所述深度特征提取网络层的深度图像输出模型作为最终的目标深度图像输出模型。2.根据权利要求1所述的方法，其特征在于，所述深度图像输出模型包括：特征提取层和特征转换层，所述获取样本参考图像的二维图像特征和N幅样本源图像的三维代价体特征，包括：将所述样本参考图像和N幅所述样本源图像输入至所述深度图像输出模型；调用所述特征提取层，提取所述样本参考图像的二维图像特征，及N幅所述样本源图像的二维样本图像特征；调用所述特征转换层，基于可微分单应性变换矩阵和所述二维图像特征，将所述二维样本图像特征转换为样本参考图像视角下的三维代价体特征。3.根据权利要求2所述的方法，其特征在于，所述调用所述特征转换层，基于可微分单应性变换矩阵和所述二维图像特征，将所述二维样本图像特征转换为样本参考图像视角下的三维代价体特征，包括：调用所述特征转换层，利用所述样本参考图像对应的相机参数、所述样本源图像对应的相机参数，将所述二维样本图像特征投影至所述样本参考图像视角下，得到所述样本源图像在所述样本参考图像视角下的三维代价体特征。4.根据权利要求1所述的方法，其特征在于，所述调用所述极线Transformer网络层根据所述二维预测深度特征对所述三维代价体特征进行融合处理，生成所述样本源图像对应的三维融合代价体特征，包括：将所述三维代价体特征和二维预测深度特征输入至所述极线Transformer网络层；根据所述二维预测深度特征在所述样本参考图像上的位置，将所述二维预测深度特征投影至所述样本源图像上，得到所述三维代价体特征在深度方向上的特征权重；基于组间关系构建方法，构建得到不同所述样本源图像的三维代价体特征之间的代价体特征关联参数；基于所述二维预测深度特征、所述特征权重和所述代价体特征关联参数，对所述三维代价体特征进行融合处理，得到所述三维融合代价体特征。5.根据权利要求1所述的方法，其特征在于，所述样本参考图像对应于真实深度特征，所述样本源图像标注有融合代价体特征的真实位置和真实概率值，所述三维融合代价体特征包括：预测概率值和预测位置，
所述基于所述二维预测深度特征和所述三维融合代价体特征，计算得到所述深度图像输出模型的损失值，包括：基于所述二维预测深度特征和所述真实深度特征，计算得到所述深度特征提取网络层的第一损失值；基于所述预测概率值、预测位置、真实概率值和真实...
【专利技术属性】
技术研发人员：王啸峰，叶云，黄冠，
申请(专利权)人：北京鉴智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。