对象分割制造技术

本公开提供了“对象分割”。通过将第一传感器数据和第二传感器数据输入到深度神经网络来组合第一传感器数据和第二传感器数据。包括标记的片段的来自所组合的传感器数据的分割映射图可以基于所组合的第一传感器数据和第二传感器数据在深度神经网络中确定，其中标记的片段包括(a)与所组合的传感器数据中的对象相对应的像素，(b)包括在分割映射图中的相应标记的片段的危险概率。可以输出分割映射图和危险概率。危险概率。危险概率。

【技术实现步骤摘要】
对象分割


[0001]本公开涉及车辆中的深度神经网络。

技术介绍

[0002]深度神经网络可被训练来执行各种计算任务。例如，可以训练神经网络以从图像中提取数据。计算装置可以使用由深度神经网络从图像中提取的数据来操作系统，所述系统包括车辆、机器人、安全性、产品制造和产品跟踪。图像可以由包括在系统中的传感器获取并使用深度神经网络进行处理以确定关于系统周围环境中的对象的数据。系统的操作可以通过获取关于系统环境中的对象的准确且及时的数据而得到支持。

技术实现思路

[0003]可以训练深度神经网络(DNN)以确定由系统中的传感器获取的图像数据中的对象，所述系统包括车辆引导、机器人操作、安全性、制造和产品跟踪。车辆引导可以包括车辆在包括多个对象的环境中在自主或半自主模式下操作。机器人引导可以包括引导机器人末端执行器(例如夹持器)来拾取零件并对零件进行取向以在包括多个零件的环境中进行组装。安全系统包括其中计算机从观察安全区域的相机获取视频数据以向授权用户提供访问权限并检测包括多个用户的环境中的未经授权进入的特征。在制造系统中，DNN可以确定包括多个零件的环境中的一个或多个零件的位置和取向。在产品跟踪系统中，深度神经网络可以确定包括多个包裹的环境中的一个或多个包裹的位置和取向。
[0004]车辆引导在本文中将被描述为使用DNN来检测交通场景中的对象(例如，车辆和行人)并确定轨迹和与轨迹相对应的不确定性的非限制性示例。交通场景是交通基础设施系统或车辆周围的环境，其可以包括道路的一部分以及包括车辆和行人等的对象。例如，交通基础设施中的计算装置可以被编程为从包括在交通基础设施系统中的一个或多个传感器获取一个或多个图像并使用DNN来检测图像中的对象。图像可以从静态相机或摄像机获取并且可以包括从包括激光雷达传感器的距离传感器获取的距离数据。图像还可以从包括在车辆中的传感器获取。可以训练DNN以标记和定位对象并确定图像数据或距离数据中的轨迹和不确定性。包括在交通基础设施系统中的计算装置可以使用检测到的对象的轨迹和不确定性来确定以自主或半自主模式操作车辆的车辆路径。车辆可以基于车辆路径通过确定命令来指示车辆的动力传动系统、制动和转向部件操作车辆以沿着所述路径行驶而操作。
[0005]基于由深度神经网络确定的车辆路径操作的车辆可以受益于检测车辆路径上或附近的对象并确定是在车辆路径上继续、停止还是确定避开对象的新车辆路径。例如，可以安全地驶过诸如塑料袋、纸板箱或其他小的柔软对象的对象。在其他示例中，不应驶过小动物、尖锐对象或可能会受到伤害或损坏车辆的其他对象，并且车辆应停止或确定避开小动物或尖锐对象的新车辆路径。基于深度神经网络的对象检测和图像分割技术可以依赖于基于对象标签的手动分析和用户共识的训练来注释训练数据集。训练深度神经网络所需的数据集在编译方面可能是昂贵且耗时的，并且往往会受到标签模糊性和分布外问题的影响。
标签模糊性是指由于多个用户在训练图像中手动标记对象而导致的意见差异。分布外问题是指某些类型的对象未包括在训练数据集中。标签模糊性和分布外问题使得难以训练深度神经网络以在真实世界中使用，在真实世界中输入数据不断变化并且包括先前未见过的对象类型。
[0006]因为真实世界包括不断变化且先前未见过的对象类型，所以训练数据集不可能是详尽的，并且经过训练的深度神经网络将遇到深度神经网络未针对其进行过训练的对象。向深度神经网络呈现深度神经网络未针对其进行过训练的数据可能会导致不可预测的结果。此外，在不利条件下被成像为图像中的少量像素的小而远的对象可能难以由深度神经网络可靠地检测到。在由多云或下雨的大气条件引起的弱光下获取的朦胧或模糊的图像(包括由水坑或冰和雪引起的反射)可能对检测对象造成困难，其中对象检测包括标记和定位图像中的对象。在其他示例中，传感器的透镜或透镜盖上的水滴、雪或冰可能会遮挡传感器视野中的小对象，并且在检测对象时造成困难。
[0007]本文讨论的技术通过训练深度神经网络以基于将诸如雷达、激光雷达和超声的传感器与图像传感器组合来执行类别不可知的对象检测来改进对车辆的视野中的对象的检测。类别不可知的对象检测是不依赖于标记检测到的对象，而仅估计大小和位置的对象检测。例如，车辆周围的环境(在本文中称为交通场景)可以包括诸如车辆、行人、道路、人行道、建筑物、植物等的对象。本文讨论的技术可以分割交通场景的图像以识别对应于对象的图像的区域，而不标记对象。另外，本文讨论的技术估计检测到的对象对应于可能受到伤害或损坏车辆的危险的概率，同时保持实时性能。本文讨论的技术通过检测高概率对应于不会被经过训练的深度神经网络标记和定位的危险的对象来改善车辆操作。
[0008]公开了一种方法，其包括：通过将第一传感器数据和第二传感器数据输入到深度神经网络来组合第一传感器数据和第二传感器数据；在深度神经网络中基于所组合的第一传感器数据和第二传感器数据来确定包括标记的片段的来自所组合的传感器数据的分割映射图，其中标记的片段包括(a)与所组合的传感器数据中的对象相对应的像素，(b)包括在分割映射图中的相应标记的片段的危险概率；以及输出分割映射图和危险概率。可以基于分割映射图和危险概率来操作车辆。可以通过控制车辆动力传动系统、车辆制动和车辆转向中的一者或多者来操作车辆。第一传感器数据可以是图像数据。图像数据可以包括以图像像素的矩形阵列布置的红色像素、绿色像素和蓝色像素。
[0009]第一传感器数据可以是雷达数据。雷达数据可以包括以雷达像素的矩形阵列布置的方位角、距离和雷达横截面。雷达数据可以包括在不同时间获取并通过补偿运动而组合的多个雷达扫描。深度神经网络可以是包括以沙漏配置布置的卷积层、最大池化层和上采样层的卷积神经网络。可以基于相机校准矩阵来组合第一传感器数据和第二传感器数据。可以基于地面实况分割映射图和地面实况危险概率来训练深度神经网络。危险概率可以分组为两个或更多个级别。所组合的传感器数据中的对象可以包括行人、车辆、道路、建筑物和树叶。可以基于分割映射图和危险概率确定车辆路径来操作车辆。
[0010]还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的部分或全部的程序指令。还公开了一种计算机，所述计算机被编程为执行部分或全部上述方法步骤，所述计算机包括计算机设备，所述计算机设备被编程为：通过将第一传感器数据和第二传感器数据输入到深度神经网络来组合第一传感器数据和第二传感器数据；在
深度神经网络中基于所组合的第一传感器数据和第二传感器数据来确定包括标记的片段的来自所组合的传感器数据的分割映射图，其中标记的片段包括(a)与所组合的传感器数据中的对象相对应的像素，(b)包括在分割映射图中的相应标记的片段的危险概率；并且输出分割映射图和危险概率。可以基于分割映射图和危险概率来操作车辆。可以通过控制车辆动力传动系统、车辆制动和车辆转向中的一者或多者来操作车辆。第一传感器数据可以是图像数据。图像数据可以包括以图像像素的矩形阵列布置的红色像素、绿色像素和蓝色像素。
[0011]计算机可以包括雷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，其包括：通过将第一传感器数据和第二传感器数据输入到深度神经网络来组合所述第一传感器数据和所述第二传感器数据；在所述深度神经网络中基于所组合的所述第一传感器数据和所述第二传感器数据来确定包括标记的片段的来自所述组合的传感器数据的分割映射图，其中所述标记的片段包括(a)与所述组合的传感器数据中的对象相对应的像素，(b)包括在所述分割映射图中的相应标记的片段的危险概率；以及输出所述分割映射图和所述危险概率。2.如权利要求1所述的方法，其还包括基于所述分割映射图和所述危险概率操作车辆。3.如权利要求2所述的方法，其还包括通过控制车辆动力传动系统、车辆制动和车辆转向中的一者或多者来操作所述车辆。4.如权利要求1所述的方法，其中所述第一传感器数据是图像数据。5.如权利要求4所述的方法，其中所述图像数据包括以图像像素的矩形阵列布置的红色像素、绿色像素和蓝色像素。6.如权利要求1所述的方法，其中所述第一传感器数据是雷达数据。7.如权利要求6...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：