用于车辆中深度估计的系统和方法技术方案

用于训练用于车辆中深度估计的神经网络的方法和系统。该方法和系统从至少两个摄像机接收相应的训练图像数据。至少两个摄像机的相邻摄像机的视场部分重叠。通过提供深度数据和语义分割数据作为输出的神经网络来处理相应的训练图像数据。基于损失函数来训练神经网络。损失函数组合多个损失项，所述损失项至少包括语义分割损失项和全景损失项。全景损失项包括关于各个图像数据的重叠图像块的相似性度量，每个重叠图像块对应于相邻相机的重叠视场区域。语义分割损失项量化了地面真实语义分割数据和从神经网络输出的语义分割数据之间的差异。的差异。的差异。

【技术实现步骤摘要】
用于车辆中深度估计的系统和方法


[0001]本公开总体上涉及基于来自安装在车辆上的摄像机的图像数据的深度估计，并且更具体地涉及用于基于环绕视图图像数据估计深度的方法和系统。

技术介绍

[0002]精确的深度数据对于现有和未来的许多车辆系统都很重要。从障碍物预测到信息丰富的用户界面，深度数据有助于车辆的使用。获取深度数据的一种方法是将激光雷达添加到车辆传感器套件中。采用的另一种方法是使用一对紧密放置的前置摄像头并求解深度。
[0003]激光雷达增加了车辆的硬件和维护成本，并有很大的功率需求。此外，激光雷达提供稀疏的深度测量，因此仍然需要额外的处理来将其转换为密集数据。立体摄像机还需要在车辆上安装额外的传感器。
[0004]因此，期望提供能够以最小的硬件成本向已经包括覆盖车辆周围的摄像机的车辆提供密集深度数据的系统和方法。此外，结合附图和前述
和
技术介绍
，从随后的详细描述和所附权利要求中，本专利技术的其他期望特征和特性将变得显而易见。

技术实现思路

[0005]本专利技术公开了一种控制车辆的方法，该方法包括：经本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种控制车辆的方法，该方法包括：经由至少一个处理器从至少两个摄像机接收相应的图像数据，其中所述至少两个摄像机的相邻摄像机的视场部分重叠，并且其中所述至少两个摄像机安装在所述车辆上；通过神经网络处理相应的图像数据，其中所述神经网络被训练以提供深度数据和语义分割数据作为输出，并且其中所述神经网络使用损失函数来训练，该损失函数组合多个损失项，所述多个损失项至少包括语义分割损失项和全景损失项，其中所述全景损失项包括关于相应图像数据的重叠块的相似性度量，每个重叠块对应于相邻相机的重叠视场的区域；基于所述深度数据，经由所述至少一个处理器控制所述车辆的功能。2.根据权利要求1所述的方法，其中至少四个摄像机安装在所述车辆上，以提供所述车辆的环绕视图。3.根据权利要求1所述的方法，其中所述多个损失项包括视差损失项，其中视差是深度的倒数。4.根据权利要求1所述的方法，其中所述多个损失项包括视差平滑度损失项，其中视差是深度的倒数。5.根据权利要求4所述的方法，其中所述视差平滑度损失项是可变的，以便在图像边缘处更低。6.根据权利要求1所述的方法，包括基于所述深度数据和所述语义分割数据，经由所述至少一个处理器控制所述车辆的功能。7.根据权利要求1所述的方法，包括基于所述深度数据和所述语义分割数据执行障碍物检测和回避处理，以及基于所述障碍物检测和回避处理的输出来控制所述车辆的转向、制动和推进中的至少一个。8.一种训练神经网络并使用训练的神经网络来...

【专利技术属性】
技术研发人员：A沙鲁莫夫，M斯卢茨基，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：