车辆神经网络训练制造技术

本公开提供了“车辆神经网络训练”。一种计算机，包括：处理器和存储器，所述存储器包括由所述处理器执行以进行以下操作的指令：确定第一视频图像中的第一对象的六自由度(DoF)数据；以及基于所述六DoF数据生成与所述第一视频图像相对应的合成视频图像，所述合成视频图包括合成对象和合成对象标签。所述指令可以包括用于进行以下操作的另外的指令：基于配对的第一视频图像和合成视频图像来训练生成式对抗网络(GAN)以生成修改的合成图像，并且训练深度神经网络以基于合成对象在修改的合成视频图像中定位合成对象。所述指令可以包括用于进行以下操作的另外的指令：将训练过的深度神经网络下载到车辆中的计算装置。

Vehicle neural network training

【技术实现步骤摘要】
车辆神经网络训练
本公开总体上涉及车辆神经网络。
技术介绍
车辆可配备有计算装置、网络、传感器和控制器以获取关于车辆的环境的数据并基于所述数据来操作车辆。车辆传感器可提供有关在车辆的环境中要行驶的路线和要避开的对象的数据。车辆的操作可依赖于在车辆正在道路上进行操作时获取关于车辆的环境中的对象的准确且及时的数据。
技术实现思路
车辆可被配备为以自主模式和乘员驾驶模式两者操作。半自主或完全自主模式意指其中车辆可由作为具有传感器和控制器的系统的一部分的计算装置部分地或完全地驾驶的操作模式。车辆可被占用或未被占用，但是在任何一种情况下，都可在没有乘员辅助的情况下部分地或完全地驾驶车辆。出于本公开的目的，自主模式被限定为其中车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制的模式；在半自主模式中，一个或多个车辆计算机控制车辆推进、制动和转向中的一者或两者。在非自主模式中，这些都不由计算机控制。可以训练深度神经网络以基于由车辆传感器获取的图像数据来识别和确定包括车辆周围环境中的其他车辆的对象的位置。车辆中的计算装置可以基于由深度神经网络输出的所识别的对象位置来确定在其上操作车辆的车辆路径。通过确定命令来引导车辆的动力传动系统、制动和转向部件以操作车辆沿着路径行驶，车辆可基于车辆路径在道路上操作。可以训练深度神经网络以使用所标记的训练数据来识别和定位视频数据中的对象，其中视频数据中的对象在用深度神经网络处理之前被识别和定位。提供所标记的真实世界视频数据可能是昂贵且耗时的。训练深度神经网络可以通过使用所标记的合成视频数据来改进。合成视频数据是由产生所标记的合成视频数据的真实感(photorealistic)渲染软件生成的视频数据。所标记的合成数据可能提供不令人满意的训练结果，因为在一些示例中，合成视频数据不能足够逼真地对真实世界视频数据进行建模到使得能够训练深度神经网络来识别和定位真实视频数据中的对象的程度。本文描述的技术通过确定所获取的真实世界视频数据中的对象的六自由度(DoF)位置和取向数据并使用所述六DoF数据来基于所述六DoF数据生成所标记的合成视频数据来改进深度神经网络训练。来自所标记的合成视频数据的标签可以被传递到真实世界视频数据以生成配对的真实和合成标记的视频数据。配对的真实标记的视频数据和合成标记的视频数据可以用于训练生成式对抗网络(generativeadversarialnetwork，GAN)，以产生比未修改的合成视频数据更接近地对应于真实视频数据的修改的合成视频数据。基于修改的合成视频数据训练深度神经网络通过生成与真实世界视频数据准确地对应的大量(>1000个)合成视频图像来改进对深度神经网络的训练。用训练过的GAN修改合成视频图像可以生成大量的修改的合成图像，所述修改的合成图像可以用于在比基于所标记的真实世界视频数据训练深度神经网络更少的时间内以更高的准确性和更低的成本来训练深度神经网络。由包括激光雷达、雷达和超声的其他成像模态生成的图像数据可以用于训练深度神经网络以操作车辆。由其他成像模态生成的图像数据可以通过合成数据以与可以通过本文描述的技术增强视频数据的方式相同的方式来增强。可以与激光雷达、雷达或超声数据并行地获取关于车辆的六DoF数据，并且可以通过与每个模态相对应的GAN来生成修改的合成图像数据。所得的修改的图像数据可以用于训练深度神经网络以基于如本文所述的激光雷达、雷达或超声数据来操作车辆。除了通过利用包括在车辆中的视频传感器获取视频图像数据来操作车辆之外，本文描述的技术也可以用于训练深度神经网络以处理由交通基础设施系统中所包括的固定传感器获取的数据。交通基础设施系统可以从包括视频、激光雷达、雷达和超声中的一者或多者的传感器模态获取图像数据，并使用本文描述的技术处理所获取的图像数据。交通基础设施系统可以使用处理所获取的图像数据的结果来确定交通场景中所包括的对象的标识和位置。关于交通场景中的对象的标识和位置的数据可以用于确定交通场景中的车辆的车辆路径。例如，可以将关于车辆路径的数据下载到交通场景中的车辆以辅助车辆中的计算装置操作车辆。本文公开了一种方法，所述方法包括：确定第一视频图像中的第一对象的六自由度(DoF)数据；基于所述六DoF数据生成与所述第一视频图像相对应的合成视频图像，所述合成视频图包括合成对象和合成对象标签。可以基于配对的第一视频图像和合成视频图像来训练生成式对抗网络(GAN)以生成修改的合成图像，可以训练深度神经网络以基于合成对象标签定位修改的合成图像中的对象，并且可以将训练过的深度神经网络下载到车辆中的计算装置。合成视频图像可以通过真实感渲染过程生成以与第一视频图像相对应，包括基于六DoF数据将合成对象渲染为与第一视频图像中的第一对象的位置相对应。六DoF数据可以包括三维(3-D)空间中的位置和3-D空间中的取向，这两者都是相对于正交三维轴确定的，其中正交三维轴是相对于全球坐标系确定的。全球坐标系是基于纬度、经度和海拔，可以x坐标、y坐标和z坐标测量位置，并且通过相对于全球坐标系指定的侧倾、俯仰和横摆测量取向。六DoF数据可以通过使用机器视觉技术处理第一视频图像来确定，以确定第一视频图像中的第一对象上的第一数据点的位置与通过测量第一对象或第一对象的工程制图中的一者或多者上的数据点的位置确定的测量数据点的位置之间的对应关系。可以通过凭借非线性曲线拟合将第一数据点的位置与测量数据点的位置之间的差异最小化来确定六DoF数据。可以基于第一对象的工程制图和虚拟相机视角来确定六DoF数据。虚拟相机视角可以包括虚拟相机的光轴的六DoF数据和虚拟相机的放大倍数数据。GAN可以包括生成式网络和对抗网络。GAN可以将来自第一视频图像的图像特征数据添加到合成视频图像以生成修改的合成视频图像。深度神经网络可以包括卷积层和全连接层。可以训练深度神经网络以通过将反向传播的输出状态与合成对象标签进行比较来定位第一对象。可以通过使用下载的深度神经网络处理所获取的视频数据以在所获取的视频数据中定位一个或多个对象来操作车辆。可以通过基于所获取的视频数据中的一个或多个对象的位置控制车辆动力传动系统、转向和制动来操作车辆。还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述一些或所有方法步骤的程序指令。还公开了一种被编程用于执行上述一些或所有方法步骤的计算机，所述计算机包括计算机设备，所述计算机设备被编程为：确定第一视频图像中的第一对象的六自由度(DoF)数据；基于所述六DoF数据生成与所述第一视频图像相对应的合成视频图像，所述合成视频图包括合成对象和合成对象标签。可以基于配对的第一视频图像和合成视频图像来训练生成式对抗网络(GAN)以生成修改的合成图像，可以训练深度神经网络以基于合成对象标签定位修改的合成图像中的对象，并且可以将训练过的深度神经网络下载到车辆中的计算装置。合成视频图像可以通过真实感渲染过程生成以与第一视频图像相对应，包括基于六DoF数据将合成对象渲染为与第一视频图像中的第一本文档来自技高网...

【技术保护点】
1.一种方法，其包括：/n确定用于第一视频图像中的第一对象的六自由度(DoF)数据；/n基于所述六DoF数据生成与所述第一视频图像相对应的合成视频图像，所述合成视频图包括合成对象和合成对象标签；/n基于配对的第一视频图像和合成视频图像来训练生成式对抗网络(GAN)以生成修改的合成图像；/n训练深度神经网络以基于所述合成对象标签在所述修改的合成图像中定位对象；以及/n将所述训练过的深度神经网络下载到车辆中的计算装置。/n

【技术特征摘要】
20200124 US 16/751,8421.一种方法，其包括：
确定用于第一视频图像中的第一对象的六自由度(DoF)数据；
基于所述六DoF数据生成与所述第一视频图像相对应的合成视频图像，所述合成视频图包括合成对象和合成对象标签；
基于配对的第一视频图像和合成视频图像来训练生成式对抗网络(GAN)以生成修改的合成图像；
训练深度神经网络以基于所述合成对象标签在所述修改的合成图像中定位对象；以及
将所述训练过的深度神经网络下载到车辆中的计算装置。


2.如权利要求1所述的方法，其中所述合成视频图像通过真实感渲染过程生成以与所述第一视频图像相对应，包括基于所述六DoF数据将所述合成对象渲染为与所述第一视频图像中的所述第一对象的位置相对应。


3.如权利要求1所述的方法，其中所述六DoF数据包括三维(3-D)空间中的位置和3-D空间中的取向，这两者都是相对于正交三维轴确定的，其中所述正交三维轴是相对于全球坐标系确定的。


4.如权利要求3所述的方法，其中所述全球坐标系是基于纬度、经度和海拔，以x坐标、y坐标和z坐标进行测量位置，并且通过相对于所述全球坐标系指定的侧倾、俯仰和横摆测量取向。


5.如权利要求1所述的方法，其还包括通过使用机器视觉技术处理所述第一视频图像来确定所述六DoF数据，以确定所述第一视频图像中的所述第一对象上的第一数据点的位置与通过测量所述第一对象或所述第一对象的工程制图中的一者或多者上的数据点的位置确...

【专利技术属性】
技术研发人员：普纳杰·查克拉瓦蒂，阿什利·伊丽莎白·米克斯，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国;US