用于高质量图像处理的机器学习制造技术

能够通过使用机器学习和真实值数据训练来帮助用于修复的系统或方法。通过使用真实值图像数据来训练机器学习修复模型可以增加图像修复领域的效率和精度。此外，机器学习修复模型能够帮助各种数据类型的非确定性预测，并且能够适用于各种数据类型的移除和/或替换。由于通过训练调整的校准参数，使得经训练的模型能够在没有真实值保证的情况下进行预测。型能够在没有真实值保证的情况下进行预测。型能够在没有真实值保证的情况下进行预测。

【技术实现步骤摘要】
【国外来华专利技术】用于高质量图像处理的机器学习


[0001]本公开总体上涉及处理图像数据。更具体地，本公开涉及一种用于能够借助于真实值数据来训练的高质量图像修复的机器学习的模型。

技术介绍

[0002]图像(例如，照片)和其他形式的数据通常包括不想要的数据。作为一个示例，不想要的数据可以与由处理图像以减少图像中的噪声而产生的伪像相对应。作为另一示例，不想要的数据可以与风景前景中的人类或家庭照片背景中的未知人相对应。作为另一示例，不想要的数据可以与另外情况下的原始背景中的难看对象相对应。
[0003]因此，不想要的数据能够与遮挡或模糊图像的其他部分——诸如所描绘的场景——的对象相对应。然而，利用替换数据(例如，描绘被不想要的数据遮挡的图像的被遮挡部分的替换图像数据，也被称为“修复”的过程)替换不想要的数据是本质上非确定性的具有挑战性的问题。换句话说，可以从相同图像确定多个可能的解决方案，从而导致困难的问题。

技术实现思路

[0004]本公开的实施例的方面和优点将在以下描述中部分地阐述，或者能够从描述中学习，或者能够通过实施例的实践来学习。
[0005]本公开提供了用于基于数据特性和真实值训练技术利用替换数据替换不想要的数据的系统和方法。根据本公开的计算系统能够被配置为接收给定的增强数据集合、掩码和真实值数据集合；对所述增强数据和掩码进行编码；对所述真实值数据进行编码；对从两个编码接收的数据都进行编译；对所述编码进行解码；将输出与真实值数据进行比较；以及修改系统参数。通过使用真实值编码，可以进一步帮助计算系统替换数据。以该方式，本公开的实施方式可以用于创建替换数据来代替不想要的数据。
[0006]本公开的一个示例方面针对训练机器学习图像修复模型的计算机实现的方法。所述方法能够包括条件变分自编码器。所述方法能够包括获得训练样本，所述训练样本包括：真实值图像数据、从将不想要的图像数据添加到所述真实值图像数据导出的增强图像数据，以及可以指示所述不想要的图像数据在所述增强图像数据内的一个或多个位置的掩码。所述方法能够进一步包括利用所述条件变分自编码器的第一编码器模型来处理所述增强数据和掩码，以生成用于所述图像数据的嵌入，并且能够包括利用第二编码器模型处理所述真实值图像数据和所述掩码以生成一个或多个分布值。此外，所述方法能够包括利用所述条件变分自编码器的解码器模型来处理所述嵌入和所述一个或多个分布值，以生成预测图像数据，所述预测图像数据可以包括由所述掩码指示的所述一个或多个位置处的替换图像数据，其中，所述替换图像数据可以替换所述不想要的图像数据。附加地，所述方法能够包括基于所述预测图像数据与所述真实值图像数据的比较来评估一个或多个损失函数，然后至少部分地基于所述一个或多个损失函数修改所述条件变分自编码器的一个或多个
参数值。
[0007]本公开的另一示例方面针对计算系统，所述计算系统包括至少一个处理器、机器学习的图像修复模型以及存储指令的至少一个有形的、非暂时性计算机可读介质，所述指令在由所述至少一个处理器执行时可以使所述至少一个处理器执行操作。所述系统能够包括：编码器，其中，所述编码器能够被配置为对图像数据进行编码；以及解码器，其中，所述解码器能够被配置为对图像数据进行解码。所述机器学习的图像修复模型能够被训练以将图像数据和掩码输入到所述编码器中，其中，所述图像数据能够包括不想要的图像数据，并且其中，所述掩码能够指示所述不想要的图像数据的位置和大小；此外，所述机器学习的图像修复模型能够被训练为从所述编码器接收嵌入，其中，所述嵌入能够包括所述经编码的图像数据。所述机器学习的图像修复模型能够被训练为将所述嵌入和条件向量输入到所述解码器中。所述机器学习的图像修复模型能够进一步被训练为接收预测图像数据作为所述解码器的输出，其中，所述预测图像数据能够至少部分地基于所述图像数据和所述条件向量，利用预测替换数据替换所述不想要的图像数据。
[0008]本公开的另一示例方面针对一个或多个非暂时性计算机可读介质，所述介质可以共同存储指令，所述指令使一个或多个计算设备执行操作。所述操作能够包括条件变分自编码器。所述操作能够包括获得训练样本，所述训练样本包括真实值数据、从将不想要的图像数据添加到所述真实值图像数据导出的增强数据以及可以指示所述不想要的数据在所述增强数据内的一个或多个位置的掩码。所述操作能够进一步包括利用所述条件变分自编码器的第一编码器模型来处理所述增强数据和掩码，以生成用于所述数据的嵌入，并且能够包括利用第二编码器模型处理所述真实值数据和所述掩码以生成一个或多个分布值。此外，所述操作能够包括利用所述条件变分自编码器的解码器模型来处理所述嵌入和所述一个或多个分布值，以生成预测数据，所述预测数据可以包括由所述掩码指示的所述一个或多个位置处的替换数据，其中，所述替换图像数据能够替换所述不想要的数据。附加地，所述操作能够进一步包括基于所述预测数据与所述真实值数据的比较来评估一个或多个损失函数，然后至少部分地基于所述一个或多个损失函数修改所述条件变分自编码器的一个或多个参数值。所述操作能够进一步包括基于所述预测图像数据与所述真实值数据的比较来评估一个或多个损失函数。此外，所述操作能够包括至少部分地基于所述一个或多个损失函数来修改所述条件变分自编码器的一个或多个参数值。
[0009]本公开的其他方面针对各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书中并构成本说明书的一部分的附图图示了本公开的示例实施例，并且与说明书一起用于解释相关原理。
附图说明
[0010]在参考附图的说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，其中：
[0011]图1A描绘了根据本公开的示例实施例的示例计算系统的框图。
[0012]图1B描绘了根据本公开的示例实施例的示例计算设备的框图。
[0013]图1C描绘了根据本公开的示例实施例的示例计算设备的框图。
[0014]图2描绘了根据本公开的示例实施例的用于训练机器学习的模型的示例训练过程的框图。
[0015]图3描绘了根据本公开的示例实施例的使用机器学习的模型来推断替换数据的示例推断过程的框图。
[0016]图4描绘了根据本公开的示例实施例的训练机器学习的模型的示例方法的流程图。
[0017]图5描绘了根据本公开的示例实施例的使用机器学习的模型来推断替换数据的示例方法的流程图。
[0018]图6描绘了根据本公开的示例实施例的示例双编码判别训练方法的框图。
[0019]跨多个附图重复的附图标记旨在标识各种实施方式中的相同特征。
具体实施方式
[0020]通常，本公开涉及使用机器学习来执行修复的系统和方法，其能够指代利用替换数据替换不想要的数据。作为一个示例，在图像数据的场境中，修复能够包括从图像中移除人类或其他不期望的对象，以及使用替换数据在移除的数据的位置处填充图像。根据本公开的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于训练条件变分自编码器以执行图像处理的计算机实现的方法，所述方法包括：由一个或多个计算设备获得训练示例，所述训练示例包括真实值图像数据、从将不想要的图像数据添加到所述真实值图像数据导出的增强图像数据以及指示所述不想要的图像数据在所述增强图像数据内的一个或多个位置的掩码；由所述一个或多个计算设备利用所述条件变分自编码器的第一编码器模型来处理所述增强图像数据和所述掩码，以生成用于所述图像数据的嵌入；由所述一个或多个计算设备利用第二编码器模型处理所述真实值图像数据和所述掩码以生成一个或多个分布值；由所述一个或多个计算设备利用所述条件变分自编码器的解码器模型来处理所述嵌入和所述一个或多个分布值，以生成预测图像数据，所述预测图像数据包括由所述掩码指示的所述一个或多个位置处的替换图像数据，其中，所述替换图像数据替换所述不想要的图像数据；由所述一个或多个计算设备基于所述预测图像数据与所述真实值图像数据的比较来评估一个或多个损失函数；以及由所述一个或多个计算设备至少部分地基于所述一个或多个损失函数修改所述条件变分自编码器的一个或多个参数值。2.根据权利要求1所述的计算机实现的方法，其中，所述真实值图像数据包括二维照片。3.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述真实值图像数据包括真实值三维点云，所述增强图像数据包括添加到所述真实值三维点云的一个或多个不想要的点，并且所述掩码标识所述一个或多个不想要的点。4.根据前述权利要求中的任一项所述的计算机实现的方法，其中，评估所述一个或多个损失函数包括评估所述预测图像数据与所述真实值图像数据之间的L1损失。5.根据前述权利要求中的任一项所述的计算机实现的方法，其中，评估所述一个或多个损失函数包括评估基于判别器输出生成的对抗损失，所述判别器输出由判别器模型基于所述预测图像数据和所述真实值图像数据生成。6.根据权利要求5所述的计算机实现的方法，其中，所述判别器模型包括：第一纹理级网络，所述第一纹理级网络处理所述真实值图像数据的在由所述掩码标识的所述一个或多个位置处的部分，以生成第一纹理判别器输出；第二纹理级网络，所述第二纹理级网络处理所述预测图像数据的在由所述掩码标识的所述一个或多个位置处的部分，以生成第二纹理判别器输出；以及语义级网络，所述语义级网络包括共享网络，所述共享网络处理已从其中移除了所述不想要的数据的所述真实值图像数据，以生成语义判别器输出；其中，所述语义级网络基于所述第一纹理判别器输出、所述第二纹理判别器输出和所述语义判别器输出来生成所述判别器输出。7.根据前述权利要求中的任一项所述的计算机实现的方法，其中，所述分布值包括平均值和标准偏差值。8.根据权利要求7所述的计算机实现的方法，其中，所述分布值由KL散度损失函数惩
罚。9.根据前述权利要求中的任一项所述的计算机实现的方法，进一步包括：将所述分布值乘以随机值以生成修改的分布值，其中，所述判别器模型处理所述修改的分布值以生成所述预测图像数据。10.根据前述权利要求中的任一项所述的计算机实现的方法，其中，获得所述增强图像数据包括：标识不想要的数据的集合；确定所述不想要的数据遮挡所述真实值数据的位置；利用所述不想要的数据的集合替换所述位置处的所述真实值数据的一部分。11.根据前述权利要求中的任一项所述的计算机实现的方法，其中：所述真实值图像数据描绘场景；所述不想要的图像数据包括遮挡对象；以及所述替换图像数据描绘由被遮挡对象遮挡的场景的一个或多个部分。12.根据权利要求11所述的计算机实现的方法，...

【专利技术属性】
技术研发人员：金沢伦次，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：