等矩形投影立体匹配的两阶段深度估计机器学习算法和球面扭曲层制造技术

公开了一种具有端到端两阶段深度估计深度学习框架的系统和方法，该框架取得一个球面彩色图像并估计稠密球面深度图。设想的框架可以包括视图合成（阶段1）和多视图立体匹配（阶段2）。两阶段过程的组合可以提供来自立体匹配的几何约束的优势，以提高深度图质量，而不需要附加的输入数据。还设想，对于多视图球面立体匹配阶段，球面扭曲层可以用于将多个球面特征体积集成到具有均匀采样的逆深度的一个成本体积中。两阶段球面深度估计系统和方法可以用在包括虚拟现实、自主驾驶和机器人的各种应用中。用中。用中。

【技术实现步骤摘要】
等矩形投影立体匹配的两阶段深度估计机器学习算法和球面扭曲层


[0001]本公开涉及一种系统和方法，其具有用于等矩形投影立体匹配的端到端两阶段深度估计机器学习框架和球面扭曲层。

技术介绍

[0002]三维（3D）场景理解可能与像虚拟现实（VR）、增强现实（AR）、自主驾驶或机器人的应用相关。例如，全向3D数据的快速且可靠采集被认为是此类应用的有用构建块，以使得能够实现用户与数字环境的交互。

技术实现思路

[0003]公开了一种用于采用两阶段深度估计深度机器学习算法的系统和方法，该两阶段深度估计深度机器学习算法包括第一阶段，该第一阶段向可操作来估计粗略深度图的粗略单目深度估计机器学习算法提供等矩形投影（ERP）图像。第一阶段还包括基于可微分深度图像的渲染（DIBR）算法，该算法接收粗略深度图并生成一个或多个合成图像。
[0004]第二阶段可以将ERP图像和所述一个或多个合成图像提供给多视图立体匹配机器学习算法，该多视图立体匹配机器学习算法包括两个级联阶段，用于在从粗略到精细的领地中进行视差预测。多视图立体匹配机器学习算法也可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于在球面立体匹配网络内采用球面扭曲层机器学习算法的方法，包括：从传感器接收一个或多个等矩形投影（ERP）图像；从球面特征提取机器学习算法接收特征图；和将逆深度假设转换为球面坐标域中的位移，其中所述位移是使用跨所述一个或多个ERP图像的一个或多个纬度值的余弦角、一个或多个基线值以及所述特征图的高度来生成的。2.根据权利要求1所述的方法，其中所述逆深度假设覆盖整个深度范围。3.根据权利要求1所述的方法，进一步包括：将来自一个或多个合成图像的一个或多个像素映射到所述ERP图像。4.根据权利要求3所述的方法，其中所述球面立体匹配网络包括用于以从粗略到精细的方式进行视差预测的两个级联阶段，其中多视图立体匹配机器学习算法可操作来生成最终球面深度图。5.根据权利要求4所述的方法，其中所述球面立体匹配网络进一步包括球面特征提取算法，所述球面特征提取算法可操作来将所述一个或多个合成图像与所述ERP图像配对。6.根据权利要求5所述的方法，其中所述球面立体匹配网络生成一个或多个特征图。7.根据权利要求6所述的方法，其中所述一个或多个特征图具有32乘以所述ERP图像的宽度的四分之一和所述ERP图像的第二高度的四分之一的分辨率。8.根据权利要求6所述的方法，其中所述球面立体匹配网络进一步包括成本体积构建算法，所述成本体积构建算法聚合从所述ERP图像和所述一个或多个合成图像提取的球面特征。9.根据权利要求8所述的方法，其中，所述成本体积构建算法使用均匀采样的深度假设来生成成本体积。10.根据权利要求9所述的方法，其中，由所述成本体积构建算法使用所述一个或多个特征图来生成所述成本体积。11.根据权利要求9所述的方法，其中，使用新的间隔在指定的级别对深度假设进行均匀采样。12.根据权利要求1...

【专利技术属性】
技术研发人员：闫志鑫，任骝，李语嫣，段叶，
申请(专利权)人：罗伯特，
类型：发明
国别省市：