一种图像深度估计方法及装置制造方法及图纸

本申请公开了一种图像深度估计方法，所述方法对待估计图像和对应的当前深度图进行信息提取，将提取到的信息作为当前图像重建信息，根据目标图像重建模型和当前图像重建信息对待估计图像进行重建，得到重建图像和修正深度图，将修正深度图作为当前深度图，返回执行对待估计图像和当前深度图进行信息提取的步骤，直至达到预设迭代次数，将达到预设迭代次数时所得到的修正深度图作为对待估计图像进行图像深度估计的结果。由于在本申请的技术方案中，只需要一张待估计图像即可进行图像的深度估计，无需大量的带深度标签的图像进行训练得到深度估计模型后再对图像进行深度估计，大大节约了数据采集和人工标注的成本，省时省力。

【技术实现步骤摘要】
一种图像深度估计方法及装置
本申请涉及图像深度估计
，尤其涉及一种图像深度估计方法及装置。
技术介绍
目前，单目视觉的图像深度估计方法采用有监督的方式，例如：采用雷达或者红外线设备来采集带深度标签的图像或者人工对图像进行深度标注得到带深度标签的图像，然后用传统的机器学习或者深度学习方式对带深度标签的图像进行训练得到深度估计模型，然后利用深度估计模型来预测图像的深度。上述方式需要大量的带深度标签的图像进行训练，因此，无论是采用雷达或者红外线设备采集的方式还是采用人工标注的方式均需要耗费大量的人工成本和时间成本，使得现有的图像深度估计方法耗时耗力。
技术实现思路
本申请提供一种图像深度估计方法及装置，以实现图像的深度估计，无需大量的带深度标签的图像进行训练得到深度估计模型后再对图像进行深度估计，大大节约了数据采集和人工标注的成本，省时省力。第一方面，本申请提供了一种图像深度估计方法，所述方法包括：对待估计图像和对应的当前深度图进行信息提取；将所述提取到的信息作为当前图像重建信息，根据目标图像重建模型和所述当前图像重建信息对所述待估计图像进行重建，得到重建图像和修正深度图；将所述修正深度图作为当前深度图，返回执行所述对待估计图像和当前深度图进行信息提取的步骤，直至达到预设迭代次数，将达到预设迭代次数时所得到的修正深度图作为对所述待估计图像进行图像深度估计的结果。可选的，所述对待估计图像和对应的当前深度图进行信息提取的步骤，包括：按照预设划分规则分别将所述待估计图像和所述当前深度图划分为多个预设大小的待估计方块和深度方块；计算每个深度方块的深度值；对划分得到的多个深度方块的深度值进行聚类得到k个类别，其中，k为正整数；将每个深度方块的深度值作为对应的待估计方块的深度值；将每个待估计方块的深度值在所述k个类别中对应的位置作为每个待估计方块的空间位置。可选的，所述根据目标图像重建模型和所述当前图像重建信息对所述待估计图像进行重建，得到重建图像和修正深度图的步骤，包括：采用最小均方误差作为目标图像重建模型的损失函数，利用目标图像重建模型对每个待估计方块在所述待估计图像所在平面上的平面位置和每个待估计方块的空间位置之间的关系进行学习得到重建图像和修正深度图。可选的，所述目标图像重建模型为UNet模型或者全卷积神经网络。可选的，构建利用所述目标图像重建模型替代循环神经网络中的全连接操作的模型架构，利用所构建的模型架构执行上述任一所述的图像深度估计方法。可选的，采用循环神经网络或者长短时记忆网络执行迭代操作直至达到预设迭代次数。第二方面，本申请提供了一种图像深度估计装置，所述装置包括：信息提取模块，用于对待估计图像和对应的当前深度图进行信息提取；重建模块，用于将所述提取到的信息作为当前图像重建信息，根据目标图像重建模型和所述当前图像重建信息对所述待估计图像进行重建，得到重建图像和修正深度图；深度估计模块，用于将所述修正深度图作为当前深度图，返回执行所述对待估计图像和当前深度图进行信息提取的步骤，直至达到预设迭代次数，将达到预设迭代次数时所得到的修正深度图作为对所述待估计图像进行图像深度估计的结果。可选的，所述信息提取模块，包括：划分子模块，用于按照预设划分规则分别将所述待估计图像和所述当前深度图划分为多个预设大小的待估计方块和深度方块；计算子模块，用于计算每个深度方块的深度值；聚类子模块，用于对划分得到的多个深度方块的深度值进行聚类得到k个类别，其中，k为正整数；深度值确定子模块，用于将每个深度方块的深度值作为对应的待估计方块的深度值；空间位置确定子模块，用于将每个待估计方块的深度值在所述k个类别中对应的位置作为每个待估计方块的空间位置。可选的，所述重建模块，具体用于：采用最小均方误差作为目标图像重建模型的损失函数，利用目标图像重建模型对每个待估计方块在所述待估计图像所在平面上的平面位置和每个待估计方块的空间位置之间的关系进行学习得到重建图像和修正深度图。可选的，所述目标图像重建模型为UNet模型或者全卷积神经网络。可选的，上述图像深度估计装置还包括构建模块，所述构建模块具体用于构建利用所述目标图像重建模型替代循环神经网络中的全连接操作的模型架构，利用所构建的模型架构执行上述任一所述的图像深度估计装置所执行的图像深度估计方法。可选的，所述深度估计模块具体用于采用循环神经网络或者长短时记忆网络执行迭代操作直至达到预设迭代次数。第三方面，本申请提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第一方面中任一所述的方法。第四方面，本申请提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。由上述技术方案可以看出，本申请可以对待估计图像和对应的当前深度图进行信息提取，将提取到的信息作为当前图像重建信息，根据目标图像重建模型和当前图像重建信息对待估计图像进行重建，得到重建图像和修正深度图，将修正深度图作为当前深度图，返回执行对待估计图像和当前深度图进行信息提取的步骤，直至达到预设迭代次数，将达到预设迭代次数时所得到的修正深度图作为对待估计图像进行图像深度估计的结果。由于在本申请的技术方案中，只需要一张待估计图像和对应的一张当前深度图即可进行图像的深度估计，无需大量的带深度标签的图像进行训练得到深度估计模型后再对图像进行深度估计，大大节约了数据采集和人工标注的成本，省时省力。上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明为了更清楚地说明本申请实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请一种图像深度估计方法的流程示意图；图2为本申请一实施例提供的一种模型架构的结构示意图；图3为本申请一实施例提供的一种图像深度估计装置的结构示意图；图4为本申请一实施例提供的一种电子设备的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。为了解决现有技术中，需要大量的带深度标签的图像进行训练，而无论是采用雷达或者红外线设备采集的方式还是采用人工标注的方式均需要耗费大量的人工成本和时间成本，使得本文档来自技高网...

【技术保护点】
1.一种图像深度估计方法，其特征在于，包括：/n对待估计图像和对应的当前深度图进行信息提取；/n将所述提取到的信息作为当前图像重建信息，根据目标图像重建模型和所述当前图像重建信息对所述待估计图像进行重建，得到重建图像和修正深度图；/n将所述修正深度图作为当前深度图，返回执行所述对待估计图像和当前深度图进行信息提取的步骤，直至达到预设迭代次数，将达到预设迭代次数时所得到的修正深度图作为对所述待估计图像进行图像深度估计的结果。/n

【技术特征摘要】
1.一种图像深度估计方法，其特征在于，包括：
对待估计图像和对应的当前深度图进行信息提取；
将所述提取到的信息作为当前图像重建信息，根据目标图像重建模型和所述当前图像重建信息对所述待估计图像进行重建，得到重建图像和修正深度图；
将所述修正深度图作为当前深度图，返回执行所述对待估计图像和当前深度图进行信息提取的步骤，直至达到预设迭代次数，将达到预设迭代次数时所得到的修正深度图作为对所述待估计图像进行图像深度估计的结果。


2.根据权利要求1所述的方法，其特征在于，所述对待估计图像和对应的当前深度图进行信息提取的步骤，包括：
按照预设划分规则分别将所述待估计图像和所述当前深度图划分为多个预设大小的待估计方块和深度方块；
计算每个深度方块的深度值；
对划分得到的多个深度方块的深度值进行聚类得到k个类别，其中，k为正整数；
将每个深度方块的深度值作为对应的待估计方块的深度值；
将每个待估计方块的深度值在所述k个类别中对应的位置作为每个待估计方块的空间位置。


3.根据权利要求2所述的方法，其特征在于，所述根据目标图像重建模型和所述当前图像重建信息对所述待估计图像进行重建，得到重建图像和修正深度图的步骤，包括：
采用最小均方误差作为目标图像重建模型的损失函数，利用目标图像重建模型对每个待估计方块在所述待估计图像所在平面上的平面位置和每个待估计方块的空间位置之间的关系进行学习得到重建图像和修正深度图。


4.根据权利要求1所述的方法，其特征在于，所述目标图像重建模型为UNet模型或者全卷积神经网络。


5.根据权利要求1所述的方法，其特征在于，构建利用所述目标图像重建模型替代循环神经网络中的全连接操作的模型架构，利用所构建的模型架构执行权利要求1-4任一项所述的图像深度估计方法。

【专利技术属性】
技术研发人员：周振，俞益洲，李一鸣，乔昕，
申请(专利权)人：北京深睿博联科技有限责任公司，杭州深睿博联科技有限公司，
类型：发明
国别省市：北京;11