多模型深度图估计综合决策方法、装置及存储介质制造方法及图纸

本申请实施例公开了一种多模型深度图估计综合决策方法、装置及存储介质，其中多模型深度图估计综合决策方法包括：获取若干张二维图像，通过若干个不同的待选择的深度学习模型得到对应的每张所述二维图像的不同的深度图；从在所述二维图像中可见的稀疏点中进行选取，得到稀疏点集合，将所述稀疏点集合中的稀疏点投影到所述二维图像上，得到每个投影点基于对应的稀疏点的第一深度值；获取所述投影点对应到所述深度图的第二深度值，基于所述第一深度值和第二深度值，得到对应的所述深度图在所有所述二维图像上的损失值，将损失值最小的所述深度图所对应的所述深度学习模型选定为最佳模型，以完成多模型深度图估计综合决策。以完成多模型深度图估计综合决策。以完成多模型深度图估计综合决策。

【技术实现步骤摘要】
多模型深度图估计综合决策方法、装置及存储介质


[0001]本申请涉及图像处理
，具体涉及一种多模型深度图估计综合决策方法、装置及存储介质。

技术介绍

[0002]采用深度学习的方法来进行深度图估计，通常要采用有监督的方式来进行训练，这导致深度学习模型对不同场景的泛化能力受到限制，针对和训练数据差异较大的场景，深度图估计能力会明显下降。

技术实现思路

[0003]本申请实施例的目的在于提供一种多模型深度图估计综合决策方法、装置及存储介质，用以解决现有技术中的基于深度学习的深度图估计方法泛化能力不足的问题。
[0004]为实现上述目的，本申请实施例提供一种多模型深度图估计综合决策方法，包括：获取若干张二维图像，通过若干个不同的待选择的深度学习模型得到对应的每张所述二维图像的不同的深度图；
[0005]从在所述二维图像中可见的稀疏点中进行选取，得到稀疏点集合，将所述稀疏点集合中的稀疏点投影到所述二维图像上，得到每个投影点基于对应的稀疏点的第一深度值；
[0006]获取所述投影点对应到所述深度图的第二深度值，基于所述第一深度值和第二深度值，得到对应的所述深度图在所有所述二维图像上的损失值，将损失值最小的所述深度图所对应的所述深度学习模型选定为最佳模型，以完成多模型深度图估计综合决策。
[0007]可选地，所述深度学习模型包括：MVSNET、P
‑
MVSNET和/或R
‑
MVSNET。
[0008]可选地，所述将所述稀疏点集合中的稀疏点投影到所述二维图像上，包括：
[0009]基于所述二维图像的姿态信息，将所述稀疏点集合中的稀疏点投影到所述二维图像上；
[0010]其中，稀疏点投影到所述二维图像上的投影过程包括将所述稀疏点集合中的稀疏点通过外参数矩阵转换到归一化平面坐标，再通过内参数矩阵转换到所述二维图像的像素坐标中。
[0011]可选地，所述基于所述第一深度值和第二深度值，得到对应的所述深度图在所有所述二维图像上的损失值，包括：
[0012]通过公式得到针对所述二维图像的第o个所述深度图的损失值，其中，depth
i
表示第i个所述投影点基于对应稀疏点的所述第一深度值，表示第i个所述投影点对应到第o个所述深度图的所述第二深度值，PN表示所述稀疏点集合中的稀疏点的数量；
[0013]通过公式得到对应的所述深度图在所有所述二维图像上的损失值，其中，N表示所获取的所述二维图像的数量。
[0014]为实现上述目的，本申请还提供一种多模型深度图估计综合决策装置，包括：存储器；以及
[0015]与所述存储器连接的处理器，所述处理器被配置成：
[0016]获取若干张二维图像，通过若干个不同的待选择的深度学习模型得到对应的每张所述二维图像的不同的深度图；
[0017]从在所述二维图像中可见的稀疏点中进行选取，得到稀疏点集合，将所述稀疏点集合中的稀疏点投影到所述二维图像上，得到每个投影点基于对应的稀疏点的第一深度值；
[0018]获取所述投影点对应到所述深度图的第二深度值，基于所述第一深度值和第二深度值，得到对应的所述深度图在所有所述二维图像上的损失值，将损失值最小的所述深度图所对应的所述深度学习模型选定为最佳模型，以完成多模型深度图估计综合决策。
[0019]为实现上述目的，本申请还提供一种计算机存储介质，其上存储有计算机程序，其中所述计算机程序被机器执行时实现如上所述的方法的步骤。
[0020]本申请实施例具有如下优点：
[0021]本申请实施例提供一种多模型深度图估计综合决策方法，包括：获取若干张二维图像，通过若干个不同的待选择的深度学习模型得到对应的每张所述二维图像的不同的深度图；从在所述二维图像中可见的稀疏点中进行选取，得到稀疏点集合，将所述稀疏点集合中的稀疏点投影到所述二维图像上，得到每个投影点基于对应的稀疏点的第一深度值；获取所述投影点对应到所述深度图的第二深度值，基于所述第一深度值和第二深度值，得到对应的所述深度图在所有所述二维图像上的损失值，将损失值最小的所述深度图所对应的所述深度学习模型选定为最佳模型，以完成多模型深度图估计综合决策。
[0022]通过上述方法，对进行深度图估计的多模型，基于得到的第二深度值和二维图像上每个投影点基于对应的稀疏点的第一深度值，得到损失值，对损失值进行比较，将最小的损失值对应的深度学习模型选定为当前场景的最佳模型，该模型的泛化能力最好，从而解决了基于深度学习的深度图估计方法泛化能力不足的问题。
附图说明
[0023]为了更清楚地说明本申请的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
[0024]图1为本申请实施例提供的一种多模型深度图估计综合决策方法的流程图；
[0025]图2为本申请实施例提供的一种多模型深度图估计综合决策方法的稀疏点投影到二维图像的示意图；
[0026]图3为本申请实施例提供的一种多模型深度图估计综合决策装置的模块框图。
具体实施方式
[0027]以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0028]此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
[0029]本申请一实施例提供一种多模型深度图估计综合决策方法，参考图1，图1为本申请的一实施方式中提供的一种多模型深度图估计综合决策方法的流程图，应当理解的是，该方法还可以包括未示出的附加框和/或可以省略所示出的框，本申请的范围在此方面不受限制。
[0030]在步骤101处，获取若干张二维图像，通过若干个不同的待选择的深度学习模型得到对应的每张所述二维图像的不同的深度图。
[0031]具体地，针对偏差较大的场景，训练深度学习模型，形成不同训练数据的多模型结构，如MVSNET、P
‑
MVSNET、R
‑
MVSNET等。初始随机选择N张二维图像，N≤NT(在一些实施例中NT的阈值范围为[1，10]，单位为张)，图像集合I＝{I1,I2,I3,...},每张二维图像均通过不同的待选择的深度学习模型，如图2所示，针对第m张二维图像I
m
，通过不同深度学习模型得到不同的深度图到不同的深度图
[0032]在步骤102处，从在所述二维图像中可见的稀疏点中进行选取，得到稀疏点集合，将所述稀疏点集合中的稀疏点投影到所述二维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模型深度图估计综合决策方法，其特征在于，包括：获取若干张二维图像，通过若干个不同的待选择的深度学习模型得到对应的每张所述二维图像的不同的深度图；从在所述二维图像中可见的稀疏点中进行选取，得到稀疏点集合，将所述稀疏点集合中的稀疏点投影到所述二维图像上，得到每个投影点基于对应的稀疏点的第一深度值；获取所述投影点对应到所述深度图的第二深度值，基于所述第一深度值和第二深度值，得到对应的所述深度图在所有所述二维图像上的损失值，将损失值最小的所述深度图所对应的所述深度学习模型选定为最佳模型，以完成多模型深度图估计综合决策。2.根据权利要求1所述的多模型深度图估计综合决策方法，其特征在于，所述深度学习模型包括：MVSNET、P
‑
MVSNET和/或R
‑
MVSNET。3.根据权利要求1所述的多模型深度图估计综合决策方法，其特征在于，所述将所述稀疏点集合中的稀疏点投影到所述二维图像上，包括：基于所述二维图像的姿态信息，将所述稀疏点集合中的稀疏点投影到所述二维图像上；其中，稀疏点投影到所述二维图像上的投影过程包括将所述稀疏点集合中的稀疏点通过外参数矩阵转换到归一化平面坐标，再通过内参数矩阵转换到所述二维图像的像素坐标中。4.根据权利要求1所述的多模型深度图估计综合决策方法，其特征在于，所述基于所述第一深度值和第二深度值，得到对应的所述深度图在所有所述二维图像上的损失值，包括：通过公式得到针对所述二维图像的第o个所述深度图的损失值，其中，depth
i
表示第i个所述投影点基于对应稀疏点的所述第一深度值，表示第i个所述投影点对应到第o个所述深度图的所述第二深度值，PN表示所述稀疏点集合中的稀疏点的数量；通过公式得到对应的所述深度图在所有所述二维图像上的损失值，其中，N表示所获取的所述二维图像的数量。5.一种多模型深度图估计综合决策装置，其特征在于，包括：存储器；以及与所述存储器连接的处理器，所述处理器被配置成：获取若干张二维图像，通过若...

【专利技术属性】
技术研发人员：由清圳，
申请(专利权)人：埃洛克航空科技北京有限公司，
类型：发明
国别省市：