训练生成神经网络的设备和方法技术

公开了一种训练生成神经网络的设备和方法，其中训练生成神经网络的方法包括：使用应用于数字图像的边缘检测来生成边缘图像，该边缘图像包括被确定为表示数字图像中一个或多个数字对象的边缘的多个边缘像素；从多个边缘像素中选择边缘像素；使用数字图像提供分割图像，分割图像包括多个第一像素，第一像素的位置对应于所选边缘像素的位置；针对分割图像中的每个第一像素选择一个或多个第二像素；使用应用于分割图像的二维失真来生成失真的分割图像；以及使用失真的分割图像作为输入图像来训练生成神经网络以估计数字图像。训练生成神经网络以估计数字图像。训练生成神经网络以估计数字图像。

【技术实现步骤摘要】
训练生成神经网络的设备和方法
[0001]各种实施例通常涉及训练生成神经网络的设备和方法。
[0002]通过示例方式，机器学习图像分类器可以在各种系统中用于对数字图像进行分类。例如，在自主驾驶中，诸如相机传感器和/或视频传感器的成像传感器可以用于提供车辆周围的数字图像（例如，图示对象，诸如汽车、自行车、行人、街道标志等）；机器学习图像分类器可以用于对检测到的数字图像进行分类，并且可以使用分类的数字图像来控制车辆。为了训练机器学习图像分类器，可能必要覆盖宽范围的分类任务（例如，各种驾驶场景，例如，各种对象）的数字图像。然而，可能难以获取示出诸如接近事故的驾驶场景之类的极端情况的数字图像，和/或示出与稀有对象（例如，野生动物）相关联的稀有类别的数字图像。此外，由于隐私原因（例如，示出人的数字图像），一些获取的数字图像的使用可能被禁止。因此，可能有必要综合生成数字图像（例如来扩增数据），以对机器学习图像分类器进行训练。
[0003]在Verma等人的Manifold mixup: Better representations by interpolating hidden states, Proceedings of the 36th International Conference on Machine Learning, p.6438
‑
6447, 2019中，描述了一种通过混合来自不同类别的样本并插值它们的标签来创建扩增图像的方法。
[0004]在Antoniou等人的Data augmentation generative adversarial networks（arXiv:1711.04340, 2017）中，描述了一种使用生成对抗网络生成扩增图像的方法。
[0005]在Arjovsky等人的Towards principled methods for training generative adversarial networks, International Conference on Learning Representations, 2017中，描述了一种扩增方法，其中通过向图像添加噪声来改进生成对抗网络的训练稳定性。
[0006]然而，已经被训练为生成用于语义分割图像的合成图像的生成神经网络可能不能够生成详细的合成图像；例如，生成的合成图像可能包括不令人满意的伪像，并且可能缺少局部结构和/或细节。因此，可能有必要提供能够生成包括局部形状和结构细节的合成图像的生成神经网络。
[0007]具有独立权利要求1（第一示例）和独立权利要求8（第十三示例）的特征的方法和设备使得生成神经网络能够被训练以生成具有改进的局部形状和结构细节的数字图像的合成图像。
[0008]生成神经网络可以是针对语义分割图像生成合成图像的任何种类的神经网络。例如，生成神经网络可以包括编码器神经网络和解码器神经网络。神经网络可以包括任何数量的层，并且神经网络的训练、即对神经网络的层进行适配可以基于任何种类的训练原理，诸如反向传播，即反向传播算法。
[0009]使用失真分割图像来训练生成神经网络可能具有如下效果：使用训练的生成神经网络针对分割图像生成的合成图像中的伪影被显著减少。例如，对应于与分割图像中的区段相关联的语义类别，合成图像中示出的数字对象的细粒度结构细节得到改进。此外，可以增强合成图像的感知真实性。
[0010]该方法可以进一步包括使用应用于训练分割图像的训练生成神经网络生成训练图像；以及使用生成的训练图像来训练图像分类器，以对训练图像进行分类。本段中提到的特征与第一示例相组合提供了第二示例。
[0011]该方法可以进一步包括使用应用于训练分割图像的训练生成神经网络生成训练图像；使用应用于生成的训练图像的训练图像分类器生成分类图像；以及使用生成的分类图像和训练分割图像来确定训练图像分类器的性能。本段中提到的特征与第一示例相组合提供了第三示例。
[0012]边缘图像可以是二值图像。本段中提到的特征与第一示例至第三示例中的任何一个相组合提供了第四示例。
[0013]从多个边缘像素中选择边缘像素可以包括使用统计概率分布从多个边缘像素中选择边缘像素。本段中提到的特征与第一示例至第四示例中的任何一个相组合提供了第五示例。
[0014]应用于分割图像的二维失真可以包括薄板样条变换（thin
‑
plate spline transformation）。本段中提到的特征与第一示例至第五示例中的任何一个相组合提供了第六示例。
[0015]针对第一像素选择第二像素可以包括向第一像素的位置添加位移以确定第二像素的位置。本段中提到的特征与第一示例至第六示例中的任何一个相组合提供了第七示例。
[0016]可以使用概率分布来确定位移。本段中提到的特征与第七示例相组合提供了第八示例。
[0017]每个第二像素的位置可以包括第一位置值和第二位置值。每个第一像素的位置可以包括第一位置值和第二位置值。通过将位移添加到对应的第一像素的位置来确定第二像素的位置可以包括将由第一概率分布确定的第一值添加到第一像素的第一位置值以确定第二像素的第一位置值，以及将由第二概率分布确定的第二值添加到第一像素的第二位置值以确定第二像素的第二位置值。本段中提到的特征与第七示例或第八示例相组合提供了第九示例。
[0018]使用失真分割图像作为输入图像来训练生成神经网络以估计数字图像可以包括：使用应用于失真分割图像的生成神经网络来估计数字图像；将第一损失函数应用于估计的数字图像和数字图像，以确定生成损失值；将第二损失函数应用于估计的数字图像和边缘图像，以确定边缘损失值；以及训练生成神经网络以降低生成损失值和边缘损失值。本段中提到的特征与第一示例至第九示例中的任何一个相组合提供了第十示例。
[0019]通过使用边缘损失来训练生成神经网络可以具有如下效果：训练的生成神经网络可以能够针对分割图像生成合成图像，使得合成图像包括分割图像中缺失的结构细节（例如，类别特定的结构细节）。
[0020]使用失真分割图像作为输入图像来训练生成神经网络以估计数字图像可以包括：使用应用于失真分割图像的生成神经网络来估计数字图像；确定估计图像是现实图像的概率；以及训练生成神经网络以增加概率。本段中提到的特征与第一示例至第十示例中的任何一个相组合提供了第十一示例。
[0021]估计图像是现实图像的概率可以是使用鉴别性神经网络确定的第一概率。使用失真分割图像作为输入图像来训练生成神经网络以估计数字图像进一步包括使用鉴别性模型来确定数字图像是现实图像的第二概率，以及使用第一概率和第二概率来训练鉴别性神经网络。本段中提到的特征与第十一示例相组合提供了第十二示例。
[0022]计算机程序可以包括指令，所述指令如果由计算机执行，则使得计算机执行根据第一示例至第十二示例中的任何一个的方法。本段提到的计算机程序提供了第十四示例。
[0023]计算机可读介质可以存储指令，所述指令如果由本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练生成神经网络的方法，所述方法包括：
●ꢀ
使用应用于数字图像的边缘检测来生成边缘图像，数字图像包括一个或多个数字对象，边缘图像包括被确定为表示数字图像中的所述一个或多个数字对象的边缘的多个边缘像素；
●ꢀ
从所述多个边缘像素中选择边缘像素；
●ꢀ
使用数字图像提供分割图像，分割图像包括表示所述一个或多个数字对象的一个或多个区段，其中分割图像包括多个第一像素，分割图像中的第一像素的位置对应于所选边缘像素在边缘图像中的位置；
●ꢀ
针对分割图像中的每个第一像素选择一个或多个第二像素；
●ꢀ
使用应用于分割图像的二维失真来生成失真分割图像，其中二维失真使用第一像素和第二像素来确定失真分割图像中每个像素的像素值；和
●ꢀ
使用失真分割图像作为输入图像来训练生成神经网络以估计数字图像。2.根据权利要求1所述的方法，进一步包括：
●ꢀ
使用应用于训练分割图像的训练生成神经网络生成训练图像；和
●ꢀ
使用生成的训练图像来训练图像分类器，以对训练图像进行分类。3.根据权利要求1所述的方法，进一步包括：
●ꢀ
使用应用于训练分割图像的训练生成神经网络生成训练图像；
●ꢀ
使用应用于生成的训练图像的...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：罗伯特，
类型：发明
国别省市：