借助具有空间先验的类别平衡自训练的区域适应制造技术

本发明专利技术提供一种对车辆进行导航的车辆、系统和方法。所述车辆和系统包括用于捕获车辆目标区域的目标图像的数码相机；以及处理器。该处理器配置用于：确定用于训练神经网络的目标分割损失以便对目标区域中的目标图像执行语义分割，通过在对目标区域的训练进行监控的同时减小所述目标分割损失来确定所述目标图像的伪标记的值，使用训练的神经网络对所述目标图像执行语义分割以分割所述目标图像并对所述目标图像中的对象进行分类，以及基于所述目标图像中分类的对象对所述车辆进行导航。

Regional adaptation with self-training of class balance with spatial priori

The invention provides a vehicle, system and method for navigation of a vehicle. The vehicle and system comprises a digital camera for capturing the target image of the vehicle target area and a processor. The processor is configured to determine the target segmentation loss for training the neural network in order to perform semantic segmentation on the target image in the target area, determine the value of the pseudo-label of the target image by reducing the target segmentation loss while monitoring the training of the target area, and perform semantic segmentation on the target image using the trained neural network to segment the target image. The target image is described and the objects in the target image are classified, and the vehicle is navigated based on the objects classified in the target image.

【技术实现步骤摘要】
借助具有空间先验的类别平衡自训练的区域适应
本公开涉及一种用于使神经网络适应于对从各区域捕获的图像执行语义分割的系统和方法，用于自主驾驶和高级驾驶员辅助系统(ADAS)。
技术介绍
在自主车辆和ADAS中，一个目标是了解周围环境，以便可以将信息提供给驾驶员或车辆本身来相应地做出决策。实现这一目标的一种方法是使用车载数码相机捕获环境的数字图像，然后使用计算机视觉算法识别数字图像中的对象和可行驶空间。这种识别任务可以通过语义分割来实现，其中对数字图像中的像素进行归类，并密集地分配与预先定义的语义类别(例如汽车、行人、道路、建筑物等)集合相对应的标记。可以使用具有人类注释标记的训练图像训练神经网络用于语义分割。通常，由于注释资源的限制，训练图像可能仅覆盖世界各地的一小部分，可能包含特定天气和一天中特定时段的图像，并且可能是被特定类型的照相机采集的。这些训练图像来源的限制是训练图像的区域所特有的。然而，车辆在不同的区域运行是很常见的。由于不同的区域可以具有不同的照明、街道风格、看不见的对象等，因此在一个区域训练的神经网络在另一个区域并不总是工作得很好。因此，期望提供一种使训练用于在一个区域语本文档来自技高网...

【技术保护点】
1.一种对车辆进行导航的方法，包含：确定用于训练神经网络的目标分割损失以便对目标区域图像执行语义分割；通过在对所述目标区域的训练进行监控的同时减小所述目标分割损失来确定所述目标图像的伪标记的值；使用所述训练的神经网络对所述目标图像进行语义分割以分割所述目标图像并对所述目标图像中的对象进行分类；以及基于所述目标图像中所分类的对象对所述车辆进行导航。

【技术特征摘要】
2017.10.27 US 62/578005;2018.04.10 US 15/9495191.一种对车辆进行导航的方法，包含：确定用于训练神经网络的目标分割损失以便对目标区域图像执行语义分割；通过在对所述目标区域的训练进行监控的同时减小所述目标分割损失来确定所述目标图像的伪标记的值；使用所述训练的神经网络对所述目标图像进行语义分割以分割所述目标图像并对所述目标图像中的对象进行分类；以及基于所述目标图像中所分类的对象对所述车辆进行导航。2.根据权利要求1所述的方法，进一步包含确定用于训练所述神经网络的源分割损失以便对源区域图像执行语义分割，以及在对目标区域的训练进行监控的同时减小所述源分割损失和所述目标分割损失的总和，其中减小所述总和包含通过调整所述神经网络的参数和所述伪标记的值。3.根据权利要求1所述的方法，进一步包含通过在对多个分割类别中的每一个进行监控的同时减小所述多个分割类别的所述目标分割损失来确定所述目标图像的所述伪标记的值。4.根据权利要求1所述的方法，其中确定所述目标分割损失进一步包含将用于所述分割类别的空间先验分布与所述分割类别中像素的类别概率相乘。5.根据权利要求1所述的方法，进一步包含使用以下之一训练所述神经网络：(i)...

【专利技术属性】
技术研发人员：V·巴佳瓦图拉，Y·邹，Z·于，王劲松，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国,US