等矩形投影立体匹配的两阶段深度估计机器学习算法和球面扭曲层制造技术

公开了一种具有端到端两阶段深度估计深度学习框架的系统和方法，该框架取得一个球面彩色图像并估计稠密球面深度图。设想的框架可以包括视图合成（阶段1）和多视图立体匹配（阶段2）。两阶段过程的组合可以提供来自立体匹配的几何约束的优势，以提高深度图质量，而不需要附加的输入数据。还设想，对于多视图球面立体匹配阶段，球面扭曲层可以用于将多个球面特征体积集成到具有均匀采样的逆深度的一个成本体积中。两阶段球面深度估计系统和方法可以用在包括虚拟现实、自主驾驶和机器人的各种应用中。用中。用中。

【技术实现步骤摘要】
等矩形投影立体匹配的两阶段深度估计机器学习算法和球面扭曲层


[0001]本公开涉及一种系统和方法，其具有用于等矩形投影立体匹配的端到端两阶段深度估计机器学习框架和球面扭曲层。

技术介绍

[0002]三维（3D）场景理解可能与像虚拟现实（VR）、增强现实（AR）、自主驾驶或机器人的应用相关。例如，全向3D数据的快速且可靠采集被认为是此类应用的有用构建块，以使得能够实现用户与数字环境的交互。

技术实现思路

[0003]公开了一种用于采用两阶段深度估计深度机器学习算法的系统和方法，该两阶段深度估计深度机器学习算法包括第一阶段，该第一阶段向可操作来估计粗略深度图的粗略单目深度估计机器学习算法提供等矩形投影（ERP）图像。第一阶段还包括基于可微分深度图像的渲染（DIBR）算法，该算法接收粗略深度图并生成一个或多个合成图像。
[0004]第二阶段可以将ERP图像和所述一个或多个合成图像提供给多视图立体匹配机器学习算法，该多视图立体匹配机器学习算法包括两个级联阶段，用于在从粗略到精细的领地中进行视差预测。多视图立体匹配机器学习算法也可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于采用深度估计深度机器学习算法的方法，包括：从传感器接收等矩形投影（ERP）图像；使用粗略单目深度估计机器学习算法从ERP图像估计粗略深度图；使用基于可微分深度图像的渲染（DIBR）算法生成一个或多个合成图像；和使用所述ERP图像和所述一个或多个合成图像，使用多视图立体匹配机器学习算法生成最终球面深度图。2.根据权利要求1所述的方法，进一步包括：使用球面特征提取机器学习算法将所述一个或多个合成图像与所述ERP图像配对。3.根据权利要求2所述的方法，其中所述球面特征提取机器学习算法生成一个或多个特征图。4.根据权利要求3所述的方法，其中所述一个或多个特征图具有32乘以所述ERP图像的宽度的四分之一和所述ERP图像的高度的四分之一的分辨率。5.根据权利要求3所述的方法，使用成本体积构建算法聚合从所述ERP图像和所述一个或多个合成图像提取的一个或多个球面特征。6.根据权利要求5所述的方法，进一步包括：使用均匀采样的深度假设生成成本体积。7.根据权利要求6所述的方法，进一步包括：使用所述一个或多个特征图生成所述成本体积。8.根据权利要求6所述的方法，其中使用新的间隔在指定的级别上均匀地采样深度假设。9.根据权利要求7所述的方法，使用成本聚合机器学习算法聚合成本体积。10.根据权利要求9所述的方法，其中，使用包括沙漏编码和解码过程的一个或多个3维卷积神经网络来实现所述成本聚合机器学习算法。11.根据权利要求9所述的方法，进一步包括：针对每个指定级别逐像素地回归视差值。12.根据权利要求1所述的方法，其中所述粗略单目深度估计机器学习算法被实现为利用坐标卷积来实施360度感知的轻量级机器学习网络。13.根据权利要求12所述的方法，其中，所述DIBR算法以完全可微分的方式将来自所述ERP图像的第一像素集变换成目标图像上的第二像素集。14.根据权利要求13所述的方法，其中所述DIBR算法可操...

【专利技术属性】
技术研发人员：闫志鑫，任骝，李语嫣，段叶，
申请(专利权)人：罗伯特，
类型：发明
国别省市：