一种图像深度预测方法及电子设备技术

本申请涉及图像处理技术领域，具体涉及一种图像深度预测方法及电子设备。该方法包括：获取主视图和第一辅助视图，主视图包括第一像素，第一像素在第一假设深度下对应第二像素，第二像素位于第一辅助视图上；根据第二像素的特征信息和至少一个第三像素的特征信息，更新第二像素的特征信息；第四像素是第一像素在第二假设深度下在第一辅助视图上对应的像素；根据第一像素的特征信息和第二像素更新后的特征信息，得到第一假设深度的概率。在该方法中，可以将相邻采样点之间的像素的特征汇聚到附近的采样点的特征中，并据此确定相应的假设深度是主视图像素真实深度的可能性，提高了深度预测的准确率。预测的准确率。预测的准确率。

【技术实现步骤摘要】
一种图像深度预测方法及电子设备


[0001]本申请涉及图像处理
，具体涉及一种图像深度预测方法及电子设备。

技术介绍

[0002]图像的三维(three
‑
dimensional，3D)重建技术具有广泛的应用，例如地质勘测、地图测绘、增强现实(augmented reality，AR)、虚拟现实(Virtual Reality，VR)等。特别是AR技术的发展，手机等移动终端也具备了AR功能，由此使得基于AR技术的环境交互、信息推送、虚拟娱乐等应用(application，APP)开始涌现。进而也对三维重建技术有了更多的需求。
[0003]就目前而言，三维重建技术主要分为如下三种。
[0004]a，激光采集，其重建效果最好，可直接输出点云结果，但是采集设备昂贵，采集流程难度较高，不适合面向普通消费者。
[0005]b，深度相机采集，其可直接获取所拍摄场景的深度信息，成本相对激光采集较低。
[0006]但三维重建效果一般。
[0007]c，RGB图像结合稠密重建(multi
‑
view stereo matching，MVS)算法，成本低廉，重建效果仅次于激光采集。因此，相对于激光采集和深度相机采集，具有综合优势。特别是基于深度学习(deep learning)的稠密重建算法具有较高的精度及计算速度，已被广泛采用。
[0008]稠密重建算法包括深度预测和点云融合两个部分，其中，深度预测预测到的图像深度直接决定了点云的精度。深度预测的原理为设置多个假设深度，并通过单因性变化，找到主视图像素在各假设深度下在辅助视图上的采样点，然后计算主视图像素和各假设深度下的采样点之间的相似度，并由此确定各假设深度是主视图像素真实深度的概率，并将概率最大的假设深度作为预测结果。因此，如何使主视图像素在真实深度下在辅助视图上对应的像素，参与深度预测，对提升深度预测的效果具有重要意义。

技术实现思路

[0009]本申请实施例提供了一种图像深度预测方法及电子设备，以提升深度预测的效果。
[0010]第一方面，本申请实施例提供了一种图像深度预测方法，包括：获取主视图和第一辅助视图，主视图和所述第一辅助视图是相机以不同角度面对第一物体时拍摄的图像，主视图包括第一像素，第一像素在第一假设深度下对应第二像素，第二像素位于第一辅助视图上；根据第二像素的特征信息和至少一个第三像素的特征信息，更新第二像素的特征信息；至少一个第三像素位于第二像素和第四像素之间的连线上，第四像素是第一像素在第二假设深度下在第一辅助视图上对应的像素，第二假设深度和第一假设深度在预设的D个假设深度中相邻，D为大于1的正整数；根据第一像素的特征信息和第二像素更新后的特征信息，得到第一假设深度的概率，第一假设深度的概率用于表示第一假设深度是第一像素的真实深度的可能性。
[0011]在该方法中，可以将相邻采样点之间的像素的特征汇聚到附近的采样点的特征中，并据此确定相应的假设深度是主视图像素真实深度的可能性，从而使得真实深度对应的像素特征可以更大概率地参与深度预测，提高了深度预测的准确率。
[0012]其中，可以利用单应性变换(homography)，确定第一像素在第一假设深度下对应第二像素。在单应性变换中，可以将第一像素在主视图上的坐标转换为假设深度下的物点在相机坐标系的坐标，再将物点在相机坐标系的坐标转换到辅助视图上的像素坐标，该像素坐标对应的像素第二像素。其中，单应性变换的具体实现过程可以参考现有技术的介绍，此处不再赘述。
[0013]假设深度是指为在深度预测过程中，为像素假设的深度，其可以是基于主视图以及辅助视图的相机参数，人为设定的深度。
[0014]真实深度是指像素的实际深度，其具体为该像素对应的物点到记录图像的平面之间的距离。
[0015]第二像素和第四像素之间的连线是指以第二像素为一侧端点，第四像素为另一侧端点的线段。即该连线为第二像素和第四像素为端点的线段。
[0016]在一种可能的实现方式中，该方法还包括：根据第四像素的特征信息和至少一个第五像素的特征信息，更新第四像素的特征信息；该至少一个第五像素位于第二像素和第四像素之间的连线上；根据第一像素的特征信息和第四像素更新后的特征信息，得到第二假设深度的概率，第二假设深度的概率用于表示第二假设深度是第一像素的真实深度的可能性。
[0017]在一种可能的实现方式中，该至少一个第五像素和该至少一个第三像素互不相同，该至少一个第五像素比该至少一个第三像素靠近第四像素；或者，包含于该至少一个第五像素但不包含于该至少一个第三像素的像素，比包含于该至少一个第三像素但不包含于该至少一个第五像素的像素，靠近第四像素。
[0018]也就是说，在该实现方式中，对极线上采样点之外的像素的特征可以汇聚到最近采样点的特征中，以参与深度预测，由此可以避免或减少图像深度预测中的误判。
[0019]在一种可能的实现方式中，该至少一个第五像素和该至少一个第三像素的并集包括第二像素和第三像素之间的所有像素。
[0020]也就是说，相邻采样点之间的所有像素可以参与深度预测，从而可以保障真实深度对应的像素特征可以参与深度预测，提高了深度预测的准确率。
[0021]在一种可能的实现方式中，所述方法还包括：缩小D个假设深度对应的取值区间的大小，得到第一区间的大小，第一区间用作第一像素深度再次预测时的假设深度的取值区间。其中，D个假设深度对应的取值区间是指包括了该D个假设深度的深度值得区间，在该取值区间取D个深度值，得到了该D个假设深度。
[0022]其中，可以将由D个假设深度的概率确定的预测深度作为该第一区间的中值，由此可以确定具有特定上下限的区间，以便再次预测第一像素的深度。其中，在一个例子中，可以将D个假设深度中概率最大的假设深度作为该预测深度。在另一个例子中，可以将D个假设深度中的每个假设深度乘以其概率，得到一个深度值。D个假设深度可以得到D个深度值，将该D个深度值进行加和，得到该预测深度。
[0023]也就是说，在该实现方式中，可以缩小假设深度所在的取值区间，并以预测到的深
度为缩小后的取值区间的中值，由此可以在降低计算复杂度的同时，提高深度预测的准确率。
[0024]在一种可能的实现方式中，D个假设深度对应的取值区间缩小的幅度与D个假设深度的概率之间的离散程度负相关。
[0025]可以理解，多个概率的离散度越高，假设深度是或不是像素真实深度的不确定性越高，在这种情况下，小幅度缩小假设深度所在的取值区间，可以使缩小后的取值区间可以大概率包括真实深度。
[0026]在一种可能的实现方式中，D个假设深度对应的取值区间缩小的幅度与第一像素在D个假设深度下的熵值负相关。在信息学，熵值(可以简称为熵)用于表示多个概率(概率也可以称为概率值)之间的离散程度，其反映了某个指标的不确定性。熵值越大，不确定性越大，用于描述这种不确定性的信息量也越大。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像深度预测方法，其特征在于，包括：获取主视图和第一辅助视图，所述主视图和所述第一辅助视图是相机以不同角度面对第一物体时拍摄的图像，所述主视图包括第一像素，所述第一像素在第一假设深度下对应第二像素，所述第二像素位于所述第一辅助视图上；根据第二像素的特征信息和至少一个第三像素的特征信息，更新所述第二像素的特征信息；所述至少一个第三像素位于所述第二像素和第四像素之间的连线上，所述第四像素是所述第一像素在第二假设深度下在所述第一辅助视图上对应的像素，所述第二假设深度和所述第一假设深度在预设的D个假设深度中相邻，D为大于1的正整数；根据所述第一像素的特征信息和所述第二像素更新后的特征信息，得到所述第一假设深度的概率，所述第一假设深度的概率用于表示所述第一假设深度是所述第一像素的真实深度的可能性。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述第四像素的特征信息和至少一个第五像素的特征信息，更新所述第四像素的特征信息；所述至少一个第五像素位于所述第二像素和所述第四像素之间的连线上；根据所述第一像素的特征信息和所述第四像素更新后的特征信息，得到所述第二假设深度的概率，所述第二假设深度的概率用于表示所述第二假设深度是所述第一像素的真实深度的可能性。3.根据权利要求2所述的方法，其特征在于，所述至少一个第五像素和所述至少一个第三像素互不相同，所述至少一个第五像素比所述至少一个第三像素靠近所述第四像素；或者，包含于所述至少一个第五像素但不包含于所述至少一个第三像素的像素，比包含于所述至少一个第三像素但不包含于所述至少一个第五像素的像素，靠近所述第四像素。4.根据权利要求2或3所述的方法，其特征在于，所述至...

【专利技术属性】
技术研发人员：龚玥，马鑫军，何佳男，陈雷，于璠，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：