数据的自主修改的方法和系统技术方案

本发明专利技术涉及一种数据的自主修改的方法和系统。提供一种用于使用生成式对抗网络来修改数据集中的模式的计算机实现的方法。所述方法包括提供数据样本对。每个所述对包括基础数据样本和修改数据样本。所述修改模式是通过对所述基础数据样本应用随机修改来确定的。所述方法包括使用对抗训练方法并且使用数据样本对作为输入来训练所述生成器以构建所述生成器的模型，其中，所述判别器接收数据集的数据集对作为输入，每个所述数据集对包括所述生成器的基于基础数据样本和所述对应的修改数据样本的预测输出，由此优化用于所述生成器和所述判别器的联合损失函数，以及在没有所述判别器的情况下，针对未知数据样本作为所述生成器的输入来预测输出数据集。

【技术实现步骤摘要】
数据的自主修改的方法和系统
本专利技术一般地涉及自主更改数据模式，更具体地说，涉及用于使用生成式对抗网络来修改数据集中的模式的计算机实现的方法。本专利技术还涉及用于使用生成式对抗网络来修改数据集中的模式的对应的机器学习系统以及计算机程序产品。
技术介绍
采取特殊机器学习形式的人工智能(AI)被广泛引入企业部署中并且作为企业应用的一部分。当前，软件开发正在经历从线性编程到机器学习(ML)模型训练的转型过程。然而，事实证明，机器学习系统的训练并不轻松，它是一个高度复杂的过程，成败取决于训练数据的可用性。机器学习系统的预测结果仅与训练数据的结果一样好。但是，良好的训练数据通常需要良好的注释或标记(labeling)才能被机器学习系统正确解释以便开发成功的模型。因此，如今编程不再是该过程中最耗时的部分。随着机器学习的兴起，标记成为新型工具开发的重要组成部分。实际上，基于机器学习的过程所需的样本数量随输入的复杂性而伸缩。例如，LSVRC-2010ImageNet训练集包括被组织成1000个类别的130万个图像(Sutskever，Hinton和Krizhevsky，2012年)。在这种情况下，生成式对抗网络(GAN)作为一种捕获数据集固有分布的方式而开始获得关注(Goodfellow等人所著，2014年)，从而导致诸如数据增强之类的应用(Antoniou、Storkey和Edwards，2018年)，在这些应用中，可以使用合成生成的样本来训练其它AI模型。
技术实现思路
根据本专利技术的一方面，可以提供一种用于使用生成式对抗网络来修改数据集中的模式的计算机实现的方法。所述生成式对抗网络可以包括生成器和判别器。所述方法可以包括提供数据样本对。每个所述对可以包括具有模式的基础数据样本和具有对应的修改模式的修改数据样本。所述修改模式可以通过对所述基础数据样本应用至少一个随机修改来确定。所述方法可以还包括使用对抗训练方法并且使用所述数据样本对作为输入来训练所述生成器以构建所述生成器的模型。从而，所述判别器可以接收数据集的数据集对作为输入，其中，每个所述数据集对可以包括所述生成器的基于基础数据样本和所述对应的修改数据样本的预测输出，由此能够优化用于所述生成器和所述判别器的联合损失函数。此外，所述方法可以包括在没有所述判别器(即，可以去除所述判别器)的情况下，针对未知数据样本作为所述生成器的输入来预测输出数据集。根据本专利技术的另一方面，可以提供一种用于使用生成式对抗网络来修改数据集中的模式的机器学习系统。所述生成式对抗网络可以包括生成器网络系统和判别器网络系统。所述机器学习系统可以包括接收单元，其适于提供数据样本对。每个所述对可以包括具有模式的基础数据样本和具有对应的修改模式的修改数据样本。所述修改模式可以通过对所述基础数据样本应用至少一个随机修改来确定。所述系统可以还包括训练模块，其适于控制使用对抗训练方法并且使用所述数据样本对作为输入来训练所述生成器网络系统以构建所述生成器网络系统的模型。从而，所述判别器网络系统可以接收数据集的数据集对作为输入。每个所述数据集对可以包括所述生成器的基于基础数据样本和所述对应的修改数据样本的预测输出。由此，能够优化用于所述生成器和所述判别器的联合损失函数。所述系统另外可以包括预测单元，其适于在没有所述判别器的情况下，针对未知数据样本作为所述生成器的输入来预测输出数据集。此外，实施例可以采取可从计算机可用或计算机可读介质访问的相关计算机程序产品的形式，所述计算机可用或计算机可读介质提供了由计算机或任何指令执行系统使用或与计算机或任何指令执行系统结合的程序代码。出于本说明书的目的，计算机可用或计算机可读介质可以是任何可以包含用于存储、传送、传播或传输程序以供指令执行系统、装置、或设备使用或与之结合使用的部件的装置。附图说明应当注意，本专利技术的实施例是参考不同的主题进行描述的。特别地，一些实施例是参考方法型权利要求描述的，而其它实施例是参考装置型权利要求描述的。然而，本领域技术人员将从上文和下文的描述中理解，除非另外指出，否则除了属于一种类型主题的特征的任何组合之外，还将与不同主题相关的特征之间(尤其是方法型权利要求的特征之间以及装置型权利要求的特征之间)的任何组合视为在本文中公开。本专利技术的上述定义的方面以及其它方面从以下将描述的实施例的示例而变得显而易见，并且参考实施例的示例进行了说明，但本专利技术不限于这些实施例的示例。将仅通过举例的方式并参考以下附图来描述本专利技术的优选实施例，这些附图是：图1示出了用于使用生成式对抗网络来修改数据集中的模式的本专利技术的计算机实现的方法的实施例的框图；图2示出了由所提出的方法使用的本文提出的系统的一般设置；图3示出了主要处理步骤；图4示出了要修改的模式以及修改输出的地面实况(groundtruth)数据和修改输出的地面实况的示例；图5示出了将损坏的输入图像变换为修改输出1和修改输出2的示例；图6是相位图的重建的示例600；图7示出了涉及表单的另一示例700；图8和9示出了非常嘈杂的扫描文档的极具挑战性的数据集的其它示例；图10和11示出了涉及被训练为从文档中“分离”噪声的与生成器串联的另一生成器的示例；图12示出了用于使用生成式对抗网络来修改数据集中的模式的本专利技术的机器学习系统的实施例的框图；图13示出了包括根据图12的机器学习系统的计算系统的框图。具体实施方式在本说明的上下文中，可以使用以下约定、术语和/或表达：术语“生成式对抗网络”(GAN)表示一类机器学习系统。两个神经网络可以在零和博弈框架中相互竞争。该技术可以生成例如具有许多真实特征的照片，这些照片对于人类观察者而言至少表面上看起来是真实的。它可以表示一种形式的无监督学习。生成式网络或生成器网络可以生成候选者，而判别网络评估这些候选者。竞赛可以在数据分布方面进行。通常，生成式网络可以学习从隐藏空间映射到感兴趣的数据分布，而判别网络可以将生成器生成的候选者与真实数据分布区分开。生成式网络的训练目标可以是通过产生判别器可能认为是非合成(即，是真实数据分布的一部分)的新候选者来增加判别网络的错误率(即，“愚弄”判别器网络)。已知的数据集可以用作判别器的初始训练数据。训练涉及呈现来自训练数据集的模式，直到达到可接受的准确性。可以基于生成器是否成功愚弄判别器来训练生成器。通常，可以使用从预定义的隐藏空间(例如，多元正态分布)中采样的随机输入来作为生成器的种子。此后，判别器可以评估由生成器合成的候选者。可以在两个网络中应用后向传播，以便生成器生成更好的图像，而判别器在标记合成图像方面可能变得更加熟练。生成器通常可以是反卷积神经网络，而判别器是卷积神经网络。术语“神经网络”可以表示受构成动物大脑的生物神经网络启发的计算系统。神经网络本身不仅可以是一种算法，而且可以作为使许多不同的ML算法一起工作并处理复杂数据输入的框架本文档来自技高网...

【技术保护点】
1.一种用于修改数据集中的模式的计算机实现的方法，所述方法使用包括生成器和判别器的生成式对抗网络，所述方法包括：/n提供数据样本对，每个所述对包括具有模式的基础数据样本和具有对应的修改模式的修改数据样本，其中，所述修改模式是通过对所述基础数据样本应用至少一个随机修改来确定的，/n使用对抗训练方法并且使用所述数据样本对作为输入来训练所述生成器以构建所述生成器的模型，其中，所述判别器接收数据集的数据集对作为输入，每个所述数据集对包括所述生成器的基于基础数据样本和所述对应的修改数据样本的预测输出，由此优化用于所述生成器和所述判别器的联合损失函数，以及/n在没有所述判别器的情况下，针对未知数据样本作为所述生成器的输入来预测输出数据集。/n

【技术特征摘要】
20190425 US 16/3944931.一种用于修改数据集中的模式的计算机实现的方法，所述方法使用包括生成器和判别器的生成式对抗网络，所述方法包括：
提供数据样本对，每个所述对包括具有模式的基础数据样本和具有对应的修改模式的修改数据样本，其中，所述修改模式是通过对所述基础数据样本应用至少一个随机修改来确定的，
使用对抗训练方法并且使用所述数据样本对作为输入来训练所述生成器以构建所述生成器的模型，其中，所述判别器接收数据集的数据集对作为输入，每个所述数据集对包括所述生成器的基于基础数据样本和所述对应的修改数据样本的预测输出，由此优化用于所述生成器和所述判别器的联合损失函数，以及
在没有所述判别器的情况下，针对未知数据样本作为所述生成器的输入来预测输出数据集。


2.根据权利要求1所述的方法，其中，所述联合损失函数是Wasserstein损失函数。


3.根据权利要求1所述的方法，还包括：使用所述对抗训练方法并且使用所述数据样本对作为输入来训练所述生成器网络的不同模型，其中，所述修改数据样本是根据不同的方面来修改的。


4.根据权利要求1所述的方法，其中，所述生成器是输出节点与输入节点一样多并且隐藏层节点少于输入节点数量的神经网络。


5.根据权利要求1所述的方法，其中，所述判别器是输入节点与所述生成器具有的输出节点一样多并且具有两个输出节点的神经网络。


6.根据权利要求1所述的方法，其中，所述判别器是PatchGAN。


7.根据权利要求1所述的方法，其中，所述联合损失函数是损失函数的加权组合。


8.根据权利要求1所述的方法，其中，所述损失函数与所述基础数据样本的内容损失有关，并且其中，所述内容损失是使用预先训练的神经网络的特征图来确定的。


9.根据权利要求1所述的方法，其中，与相关的数据样本相比，所述修改数据样本包括实线而不是虚线，包括黑白模式而不是等效的彩色模式，包括无文本模式而不是具有文本的模式，以及包括无线条图像而不是混合线条/文本图像。


10.根据权利要求1所述的方法，其中，提供数据样本对包括：
提供具有模式的图像集，
确定要被修改的至少一个模式，
使用随机数生成器来随机修改所述图像的所述至少一个模式，以及
将所述图像集中的一个图像和相关图像与定义包括所述基础数据样本和所述修改数据样本的所述对中的一个对的所述至少一个模式相关。


11.根据权利要求1所述的方法，其中，当比较当前迭代与先前迭代的结果时，如果所述联合损失函数的结果小于相对阈值，则所述生成式对抗网络的训练终止。


12.根据权利要求1所述的方法，其中，所述基础数据样本和修改数据样本是图像。


13.一种用于使用生成...

【专利技术属性】
技术研发人员：A·乔万尼尼，A·F·罗德里格斯，M·加布拉尼，A·克里斯塔利迪斯，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US