利用合成图像训练深度神经网络制造技术

本公开提供了“利用合成图像训练深度神经网络”。本公开公开了一种系统和方法。所述系统和所述方法经由深度神经网络基于模拟图像生成第一合成图像，基于所述合成图像生成分割掩模，将所述分割掩模与所述合成图像的地面实况掩模进行比较，基于所述比较来更新所述深度神经网络，以及经由所述更新的深度神经网络基于所述模拟图像生成第二合成图像。

【技术实现步骤摘要】
利用合成图像训练深度神经网络
本公开总体上涉及深度神经网络。
技术介绍
深度神经网络(DNN)可用于执行许多图像理解任务，包括分类、分割和生成字幕。通常，DNN需要大量的训练图像(数万至数百万)。另外，为了训练和预测的目的，通常需要对这些训练图像进行注解。
技术实现思路
一种系统，所述系统包括计算机，所述计算机包括处理器和存储器，并且所述存储器包括指令，使得所述处理器被编程为：经由深度神经网络基于模拟图像生成第一合成图像；基于所述合成图像生成分割掩模；将所述分割掩模与所述合成图像的地面实况掩模进行比较；基于所述比较来更新所述深度神经网络；以及经由所述更新的深度神经网络，基于所述模拟图像生成第二合成图像。在其他特征中，所述处理器还被编程为经由孪生神经网络将所述分割掩模与所述地面实况掩模进行比较。在其他特征中，所述模拟图像描绘多个对象。在其他特征中，所述分割掩模包括将所述多个对象中的相似对象分类为单个实例的二进制掩模。在其他特征中，所述模拟图像由游戏引擎生成。在其他特征中，所述深度神经网络包括解卷积神经网络。在其他特征中，所述处理器还被编程为：基于所述比较来确定对比损失；以及基于所述对比损失来更新所述深度神经网络。在其他特征中，所述处理器还被编程为更新与所述深度神经网络的神经元相关联的至少一个权重。在其他特征中，所述处理器还被编程为：评估所述第二合成图像；以及生成指示所述第二合成图像是机器生成的还是源自真实数据分布的预测。在其他特征中，所述处理器还被编程为：基于所述预测生成反馈；以及当所述预测指示所述第二合成图像是机器生成的时，更新与所述深度神经网络的神经元相关联的至少一个权重。在其他特征中，所述处理器还被编程为经由卷积神经网络评估所述第二合成图像。一种方法包括：经由深度神经网络基于模拟图像生成第一合成图像；基于所述合成图像生成分割掩模；将所述分割掩模与所述合成图像的地面实况掩模进行比较；基于所述比较来更新所述深度神经网络；以及经由所述更新的深度神经网络，基于所述模拟图像生成第二合成图像。在其他特征中，所述方法包括经由孪生神经网络将所述分割掩模与所述地面实况掩模进行比较。在其他特征中，所述模拟图像描绘多个对象。在其他特征中，所述分割掩模包括将所述多个对象中的相似对象分类为单个实例的二进制掩模。在其他特征中，所述模拟图像由游戏引擎生成。在其他特征中，所述深度神经网络包括解卷积神经网络。在其他特征中，所述方法包括：基于所述比较来确定对比损失；以及基于所述对比损失来更新所述深度神经网络。在其他特征中，所述方法包括更新与所述深度神经网络的神经元相关联的至少一个权重。在其他特征中，所述方法包括：评估所述第二合成图像；以及生成指示所述第二合成图像是机器生成的还是源自真实数据分布的预测。附图说明图1是用于训练对抗网络的示例性系统的图示。图2是系统内的示例性服务器的图示。图3是示例性对抗网络的图示。图4是示例性深度神经网络的图示。图5是示出用于训练对抗网络的示例性过程的流程图。图6是示出用于确定图像是源自真实数据分布还是机器生成的示例性过程的流程图。具体实施方式自主车辆通常采用感知算法或代理来感知车辆周围的环境。然而，训练感知算法通常需要大量数据。可使用游戏引擎来模拟向感知算法描绘感兴趣的对象的数据，诸如合成图像。感兴趣的对象可包括其他车辆、挂车、行人、街道标记、标志等。然而，合成数据可能看起来不是“真实的”。因此，使用合成数据的感知算法的训练可能不对应于使用真实(即，非生成的)数据的感知算法的训练。在一些情况下，生成式对抗网络(GAN)用于变换模拟数据以使其看起来更逼真。然而，在变换期间并不保留模拟数据内的对象的位置、大小和/或形状，这可能使得从模拟生成的地面实况标签不可用于训练目的。本公开公开了一种对抗神经网络，所述对抗神经网络将分割掩模与地面实况掩模进行比较以改善图像转换，诸如模拟到真实。例如，本公开的对抗神经网络可从模拟图像生成逼真图像并且维护地面实况以用于训练目的。如本文所讨论的，对抗神经网络可包括生成器，所述生成器基于模拟输入图像生成合成图像。分割器基于合成图像生成分割掩模，并且孪生网络(Siamesenetwork)将分割掩模与模拟输入图像的地面实况掩模进行比较。基于所述比较，所述孪生网络生成对比损失输出，所述对比损失输出被提供给生成器。可基于对比损失输出更新生成器，以减轻图像转换期间的对象地面实况损失，诸如对象的大小、位置和形状。虽然本公开描述了车辆系统和服务器，但应理解，可使用任何合适的计算机系统来执行本文描述的对抗神经网络的技术和/或功能。另外，本文描述的技术可包括训练生成器以用于图像生成目的，这可导致车辆系统内的处理效率提高。例如，可利用本文描述的生成器来训练在车辆系统内使用的一个或多个神经网络，以改善神经网络的性能。图1是示例性车辆系统100的框图。系统100包括车辆105，所述车辆是陆地车辆，诸如汽车、卡车等。车辆105包括计算机110、车辆传感器115、用于致动各种车辆部件125的致动器120以及车辆通信模块130。经由网络135，通信模块130允许计算机110与服务器145通信。计算机110包括处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储可由计算机110执行以执行各种操作(包括如本文所公开的操作)的指令。计算机110可以自主模式、半自主模式或非自主(手动)模式来操作车辆105。出于本公开的目的，自主模式被限定为其中由计算机110控制车辆105推进、制动和转向中的每一者的模式；在半自主模式下，计算机110控制车辆105推进、制动和转向中的一者或两者；在非自主模式下，人类操作员控制车辆105推进、制动和转向中的每一者。计算机110可包括编程以操作车辆105制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆的加速)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算机110(而非人类操作员)是否以及何时控制此类操作。另外，计算机110可被编程为确定人类操作员是否以及何时控制此类操作。计算机110可包括一个以上的处理器，或者例如经由如以下进一步描述的车辆105通信模块130而通信地耦合到所述一个以上的处理器，所述一个以上的处理器例如包括在车辆105中所包括的用于监测和/或控制各种车辆部件125的电子控制器单元(ECU)等(例如动力传动系统控制器、制动控制器、转向控制器等)中。此外，计算机110可经由车辆105通信模块130与使用全球定位系统(GPS)的导航系统通信。作为示例，计算机110可请求并接收车辆105的位置数据。位置数据可以是已知的形式，例如地理坐标(纬度坐标和经度坐标)。计算机110通常被布置用于依靠车辆105通信模块130并且还利用车辆本文档来自技高网...

【技术保护点】
1.一种系统，其包括计算机，所述计算机包括处理器和存储器，所述存储器包括指令，使得所述处理器被编程为：/n经由深度神经网络基于模拟图像生成第一合成图像；/n基于所述合成图像生成分割掩模；/n将所述分割掩模与所述合成图像的地面实况掩模进行比较；/n基于所述比较来更新所述深度神经网络；以及/n经由所述更新的深度神经网络，基于所述模拟图像生成第二合成图像。/n

【技术特征摘要】
20191108 US 16/678,7081.一种系统，其包括计算机，所述计算机包括处理器和存储器，所述存储器包括指令，使得所述处理器被编程为：
经由深度神经网络基于模拟图像生成第一合成图像；
基于所述合成图像生成分割掩模；
将所述分割掩模与所述合成图像的地面实况掩模进行比较；
基于所述比较来更新所述深度神经网络；以及
经由所述更新的深度神经网络，基于所述模拟图像生成第二合成图像。


2.如权利要求1所述的系统，其中所述处理器还被编程为：
经由孪生神经网络将所述分割掩模与所述地面实况掩模进行比较。


3.如权利要求1所述的系统，其中所述模拟图像描绘多个对象。


4.如权利要求3所述的系统，其中所述分割掩模包括将所述多个对象中的相似对象分类为单个实例的二进制掩模。


5.如权利要求1所述的系统，其中所述模拟图像由游戏引擎生成。

【专利技术属性】
技术研发人员：尼基塔·斋普里亚，罗汉·巴辛，舒博·古普塔，古萨姆·肖林格，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国;US