车辆图像验证制造技术

本公开提供了“车辆图像验证”。一种计算机包括处理器和存储器，所述存储器包括将由所述处理器执行以执行以下操作的指令：利用图像合成引擎生成一对合成立体图像和相应的合成深度图，其中所述合成立体图像对应于由立体相机获取的真实立体图像，并且所述合成深度图是对应于由所述立体相机查看到的3D场景的三维(3D)映射图；以及使用生成对抗网络(GAN)独立地处理所述一对合成立体图像中的每个图像以生成伪图像，其中所述伪图像对应于所述合成立体图像中的一者。

【技术实现步骤摘要】
车辆图像验证
本公开总体上涉及车辆计算机和传感器。
技术介绍
车辆可以被配备为以自主模式和乘员驾驶模式两者进行操作。车辆可以配备有计算装置、网络、传感器和控制器以获取关于车辆环境的信息并且基于所述信息来操作车辆。车辆的安全且舒适的操作可以取决于获取关于车辆环境的准确且及时的信息。车辆传感器可以提供关于在车辆环境中要行驶的路线和要避开的对象的数据。车辆的安全且有效的操作可以取决于当车辆在道路上操作时获取关于在车辆环境中的路线和对象的准确且及时的信息。
技术实现思路
车辆可以被配备为以自主模式和乘员驾驶模式两者进行操作。就半自主或完全自主模式而言，意指其中车辆可以由计算装置部分或完全进行驾驶的操作模式，所述计算装置作为具有传感器和控制器的信息系统的一部分。车辆可以被乘坐或者未被乘坐，但在任一情况下，可以在没有乘员辅助的情况下部分或完全地驾驶车辆。出于本公开的目的，自主模式被定义为其中车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制的模式；在半自主模式中，一个或多个车辆计算机控制车辆推进、制动和转向中的一者或两者。在非自主车辆中，这些都不由计算机控制。车辆中的计算装置可以被编程为获取关于车辆外部环境的数据并使用所述数据来确定车辆路径以在所述车辆路径上以自主或半自主模式操作车辆。基于车辆路径通过确定命令以引导车辆的动力传动系统、制动和转向部件操作车辆以沿着所述路径行驶，车辆可以在道路上操作。关于外部环境的数据可以包括车辆周围环境中的一个或多个移动对象(例如，车辆和行人等)的位置，并且可以由车辆中的计算装置用来操作车辆。基于移动对象数据来操作车辆可以包括确定避开移动对象的车辆路径。预测包括移动对象的未来位置的移动对象的路径可以允许计算装置确定避开移动对象的车辆路径。计算装置可以通过训练车辆中包括的深度神经网络(DNN)来预测移动对象的未来位置，从而操作车辆。计算装置可以基于所预测的未来位置来确定避开移动对象的车辆路径以在所述车辆路径上操作车辆。本文讨论的技术可以通过创建较大数量(>1000)的通过将大气效果添加到合成图像而生成的训练图像来改进训练DNN。使用包括每种类型的移动对象的许多不同示例和大气效果的许多不同示例的较大的训练图像数据集可以使DNN更稳健，其中稳健意指DNN可能够正确识别并定位先前在真实世界输入图像中看不见的移动对象实例。一种方法，包括：利用图像合成引擎生成一对合成立体图像和相应的合成深度图，其中合成立体图像对应于由立体相机获取的真实立体图像，并且合成深度图是对应于由立体相机查看到的三维(3D)场景的3D映射图；以及使用生成对抗网络(GAN)处理一对合成立体图像中的每个图像以生成伪图像，其中伪图像对应于合成立体图像中的一者的逼真估计。立体的伪图像对可以被处理以形成伪深度图，并且伪深度图可以被使用孪生单样本神经网络与合成深度图进行比较。深度神经网络可以被训练以使用由GAN生成的伪图像中的一者或多者来确定对象，并且车辆可以基于所述对象被操作。图像合成引擎可以基于三维场景的数学描述来生成逼真的合成立体图像对和相应的合成深度图。逼真的合成立体图像对中的逼真图像中的每一者均保留深度和3D形状约束。伪深度图可以通过计算伪立体图像对的相应特征之间的立体视差来形成。合成立体图像对的相应特征可以通过确定边缘和纹理来确定。合成立体图像对中的每个图像可以被使用GAN进行处理以生成伪立体图像对，从而通过修改伪立体图像中的数据以通过对包括阴天和黑暗的环境照明及包括雨、雪和雾的天气条件的效果进行仿真来实现域自适应。通过使用由立体相机获取的真实立体图像来训练GAN，GAN可以被训练以在由GAN生成的伪立体图像和真实立体图像之间进行区分。通过使用合成深度图来训练孪生单样本神经网络，孪生单样本神经网络可以被训练以测试伪深度图。伪深度图测试可以包括确定伪深度图和合成深度图之间的差异。伪深度图和合成深度图之间的差异可以在训练期间输入到GAN。可以基于确定对象相对于车辆的位置来操作车辆，其中所述对象可以包括车辆和行人中的一者或多者。可以确定对象的方向和速度。可以基于根据对象的位置确定车辆路径来操作车辆。可以基于获取视频图像并输入到深度神经网络来确定对象。还公开了计算机可读介质，其存储用于执行上述方法步骤中的一些或全部的程序指令。还公开了一种计算机，其被编程为执行上述方法步骤中的一些或全部并且包括计算机设备，所述计算机设备被编程为：利用图像合成引擎生成一对合成立体图像和相应的合成深度图，其中合成立体图像对应于由立体相机获取的真实立体图像，并且合成深度图是对应于由立体相机查看到的三维(3D)场景的3D映射图；以及使用生成对抗网络(GAN)处理一对合成立体图像中的每个图像以生成伪图像，其中伪图像对应于合成立体图像中的一者的逼真估计。立体的伪图像对可以被处理以形成伪深度图，并且伪深度图可以被使用孪生单样本神经网络与合成深度图进行比较。深度神经网络可以被训练以使用由GAN生成的伪图像中的一者或多者来确定对象，并且车辆可以基于所述对象被操作。图像合成引擎可以基于三维场景的数学描述来生成逼真的合成立体图像对和相应的合成深度图。逼真的合成立体图像对中的逼真图像中的每一者均保留深度和3D形状约束。伪深度图可以通过计算伪立体图像对的相应特征之间的立体视差来形成。计算机还可以被编程为通过确定边缘和纹理来确定合成立体图像对的相应特征。合成立体图像对中的每个图像可以被使用GAN进行处理以生成伪立体图像对，从而通过修改伪立体图像中的数据以通过对包括阴天和黑暗的环境照明及包括雨、雪和雾的天气条件的效果进行仿真来实现域自适应。通过使用由立体相机获取的真实立体图像来训练GAN，GAN可以被训练以在由GAN生成的伪立体图像和真实立体图像之间进行区分。通过使用合成深度图来训练孪生单样本神经网络，孪生单样本神经网络可以被训练以测试伪深度图。伪深度图测试可以包括确定伪深度图和合成深度图之间的差异。伪深度图和合成深度图之间的差异可以在训练期间输入到GAN。可以基于确定对象相对于车辆的位置来操作车辆，其中所述对象可以包括车辆和行人中的一者或多者。可以确定对象的方向和速度。可以基于根据对象的位置确定车辆路径来操作车辆。可以基于获取视频图像并输入到深度神经网络来确定对象。附图说明图1是示例性交通基础设施系统的框图。图2是交通场景的示例性图像的图示。图3是交通场景的示例性图像的图示。图4是示例性立体视差计算的图示。图5是示例性生成对抗网络系统的图示。图6是生成用于训练深度神经网络以操作车辆的图像的过程的流程图。具体实施方式图1是交通基础设施系统100的图示，所述交通基础设施系统100包括可以自主(“自主”本身在本公开中意指“完全自主”)模式、半自主模式和乘员驾驶(也称为非自主)模式操作的车辆110。一个或多个车辆110计算装置115可以从传感器116接收关于车辆110操作的信息。计算装置115可以以自主模式、本文档来自技高网...

【技术保护点】
1.一种方法，其包括：/n利用图像合成引擎生成一对合成立体图像和相应的合成深度图，其中所述合成立体图像对应于由立体相机获取的真实立体图像，并且所述合成深度图是对应于由所述立体相机查看到的三维场景的三维映射图；/n使用生成对抗网络处理所述一对合成立体图像中的每个图像以生成伪图像，其中所述伪图像对应于所述合成立体图像中的一者的逼真估计；/n处理立体的伪图像对以形成伪深度图；/n使用孪生单样本神经网络将所述伪深度图与所述合成深度图进行比较；/n使用由所述生成对抗网络生成的所述伪图像中的一者或多者训练深度神经网络以确定对象；以及/n基于所述对象操作车辆。/n

【技术特征摘要】
20190508 US 16/406,4661.一种方法，其包括：
利用图像合成引擎生成一对合成立体图像和相应的合成深度图，其中所述合成立体图像对应于由立体相机获取的真实立体图像，并且所述合成深度图是对应于由所述立体相机查看到的三维场景的三维映射图；
使用生成对抗网络处理所述一对合成立体图像中的每个图像以生成伪图像，其中所述伪图像对应于所述合成立体图像中的一者的逼真估计；
处理立体的伪图像对以形成伪深度图；
使用孪生单样本神经网络将所述伪深度图与所述合成深度图进行比较；
使用由所述生成对抗网络生成的所述伪图像中的一者或多者训练深度神经网络以确定对象；以及
基于所述对象操作车辆。


2.如权利要求1所述的方法，其中所述图像合成引擎基于三维场景的数学描述来生成逼真的合成立体图像对和相应的合成深度图。


3.如权利要求2所述的方法，其中所述逼真的合成立体图像对中的逼真图像中的每一者均保留深度和三维形状约束。


4.如权利要求1所述的方法，其还包括通过计算所述一对伪立体图像的相应特征之间的立体视差来形成所述伪深度图。


5.如权利要求4所述的方法，其还包括通过确定边缘和纹理来确定一对合成立体图像的相应特征。


6.如权利要求1所述的方法，其还包括使用所述生成对抗网络来处理所述一对合成立体图像中的每个图像以生成所述一对伪立体图像，从而通...

【专利技术属性】
技术研发人员：尼基塔·斋普里亚，古萨姆·肖林格，维迪亚·纳里亚曼特穆拉里，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国;US