当前位置: 首页 > 专利查询>英特尔公司专利>正文

使用生成式对抗网络的鉴别器的新奇检测制造技术

技术编号:19693865 阅读:166 留言:0更新日期:2018-12-08 11:41
本发明专利技术涉及使用生成式对抗网络的鉴别器的新奇检测。一种用于检测新奇数据的示例装置包括使用生成器训练的鉴别器,其要接收待分类的数据。鉴别器还可以被训练成响应于检测到所接收的数据不对应于已知的数据类别而将所接收的数据分类为新奇数据。

【技术实现步骤摘要】
使用生成式对抗网络的鉴别器的新奇检测对相关申请的交叉引用本申请要求2017年5月18日提交的美国临时专利申请号62/508,016的申请日的权益,该申请通过引用结合到本文中。
技术介绍
人工智能(AI)系统的任务之一可以是要输出关于其周围事物的高级信息。例如,给定输入图像,AI目标可以是要编写计算机程序,该计算机程序输出关于所捕获的图像的一些高级信息,诸如对图像中是什么、哪些对象在图像中以及这些对象在图像上的何处等的描述。在一些示例中,基于机器学习(ML)的方法、并且更具体地使用监督学习(SL)范式开发的算法可以用于输出这样的高级信息。例如,监督学习算法可以分析训练数据并产生推断函数,其可以用于映射新的示例。附图说明图1是图示出用于经由用生成器训练的鉴别器检测新奇数据的示例系统的框图;图2是图示出用于用生成器训练鉴别器以检测新奇数据的示例方法的流程图;图3是图示出用于经由训练过的鉴别器检测新奇数据的示例方法的过程流程图;图4是图示出可以经由训练过的鉴别器检测新奇数据的示例计算设备的框图;以及图5是示出存储用于经由鉴别器训练和检测新奇数据的代码的计算机可读介质的框图。在整个公开内容和各图中,相同的标号用于引用相似的组件和特征。100系列中的标号指的是最初在图1中见到的特征;200系列中的标号指的是最初在图2中见到的特征;以此类推。具体实施方式如上所讨论的,机器学习算法可以用于输出关于输入图像中的对象的信息。例如,输入可以是图像或音频信号,并且输出可以是检测到的对象或语音音素。训练数据可以是点对的集合T={(X,Y)i},其中输入空间中的每个点xi在输出空间中具有对应的点yi。例如,在图像分类任务中,输入空间{xi}可以是图像的空间,并且输出空间{yi}可以是该图像中的对象的标签,诸如“猫”或“帽子”或“狗”之类。作为另一示例,在语音识别任务中,输入可以是音频信号,并且输出可以是语音的音素。然而,虽然可以训练监督学习(SL)算法来计算多个输出,但是它们可能无法识别新的输入类型。例如,一些SL算法可能能够对对象进行概括,以推理或分类与训练数据合理类似的示例。例如,如果用1000个椅子样本来训练识别椅子,并且然后请求关于第1001个椅子进行推断,则一些SL算法可能能够这样做。然而,例如,如果没有训练识别猫,则这样的算法可能无法识别猫。经常可能没有对于分类器应该如何对在实质上不同于训练期间可用的数据的新的输入类型做出反应的要求。相反,算法可能会从其它已知的类产生一些错误输出,有时却具有高置信度得分。生成式对抗网络(GAN)框架可以用作用于生成自然图像的逼真样本的生成式框架。例如,生成式对抗网络可以是用于生成式建模的方法,其中同时训练两个模型:生成器G和鉴别器D。鉴别器可以被委派以将其输入分类为生成器的输出(在本文中称为“伪造”数据)或来自底层数据分布的实际样本(在本文中称为“真实”数据)。生成器的目标可以是要产生被鉴别器分类为来自于底层数据分布的真实数据的输出。在GAN的一些示例中,可以训练鉴别器D以将真实数据不仅分类到“真实”数据和“伪造”数据两个类中,而是分类到多个类中。在这样的示例中,如果“真实”数据由K个类组成,则鉴别器D的输出可以是K+1个类概率,其中K个概率对应于K个已知类,并且第K+1个概率对应于“伪造”生成的类。此外,在一些示例中,可以以半监督学习(SSL)方式来训练这样的GAN。例如,真实数据的一些示例可以具有标签,并且真实数据的其它示例可以是未标记的。然而,可以预先知道这些未标记的示例是已知类中的一个的示例。本公开内容一般涉及用于新奇数据检测的技术。具体来说,本文中描述的技术包括用于训练生成式对抗网络的鉴别器并使用训练过的鉴别器检测新奇数据的装置、方法和系统。一种示例装置包括用以训练生成器以生成新奇数据的网络训练器以及鉴别器,所述鉴别器用以响应于检测到所述数据与任何已分类的类别都不对应而将接收到的新奇数据分类为新奇。例如,新奇数据可以是与训练数据不同的数据。本文中描述的技术还提供同时的分类和新奇检测。如本文中所使用的,新奇检测可以被定义为识别测试数据以某种方式与训练期间可用的数据不同的任务。特别地,可以训练鉴别器网络以使用在训练期间生成的新奇示例来检测新奇数据。在一些示例中,本文中描述的技术可以使用生成式对抗网络(GAN)的生成器来生成新奇示例以用于训练GAN的鉴别器,以同时分类数据并检测新奇数据。例如,本文中描述的技术可以用于确定输入是来自已知的类的集合以及来自哪个具体的类,还是来自未知源而不属于已知类中的任何。新奇检测器因此可以是利用多类鉴别器训练生成式对抗网络(GAN)的副产品。例如,GAN的生成器可以从“真实”数据分布和未知的“伪造”数据分布的混合中生成样本。使用所述未知分布作为新奇数据输入,然后可以将GAN的鉴别器训练为新奇检测器。本文中描述的技术可以使用多类GAN的鉴别器以进行同时的分类和新奇检测。例如,在训练期间,生成器可以生成有名称(nominal)或真实数据和新奇数据的混合,并且鉴别器学习鉴别它们。例如,新奇数据可以包括噪声图像、干扰图像和新奇对象。在训练之后,鉴别器可以将真实数据分类到任何数量的已知的K个类或分类到第K+1类,该第K+1类可以表示新奇数据。例如,第K+1类可能代表了训练期间的“伪造”数据,并且因此用于检测新奇示例或者并非来自K个有名称类中的一个的示例。因此,当与仅可以使用已标记的数据输入的技术进行比较时,本文中描述的技术使得能够使用更广范围的训练数据输入来训练网络。在一些情况下,输入训练数据中的至少一些可以是未标记的。本文中描述的技术还可以节省标记输入数据(诸如图像、声音、标志等)的时间和代价。使用本文中描述的技术执行的实验已经凭经验示出,本文中描述的技术胜过用于新奇检测的传统方法。本文中描述的技术提供了用于新奇检测任务的生成式对抗网络框架的简单但强大的应用。此外,本文中描述的技术可以被设备用来同时地分类已知对象并检测新奇对象。例如,除了可能已经包括在训练数据集中的已知对象之外,这些技术还可以用于与可能尚未被包括在任何训练数据集中的对象进行交互。此外,本文中描述的技术可以在人工神经网络的设置中来执行并且可以不需要任何背景样本。此外,分类器识别新奇输入的能力可用于许多不同的基于分类的系统中。在一个示例中,本文中描述的技术可以用于由机器人真空吸尘器检测对象。例如,机器人可以检测要真空吸尘的对象和要绕过或移到旁边的对象。可以在大量的常见对象、但不是每一个可能的对象上训练对象识别系统。例如,这样的训练可能并不实际,因为收集这样的训练集可能花费大量时间和金钱。此外,当前的机器学习系统在未知对象的情况下可能具有显著的错误,其中该对象以高确定度被辨识为一不同的对象。例如,机器人可能会把钻石戒指误认为需要被真空吸尘的一些废弃物,并因此在这样的情况下做出错误的决定。这样的系统的可能回退可以是要绕过未知的对象类型。因此,该系统可以使用训练过的鉴别器108来检测新奇数据,并因此绕过与检测到的新奇数据相关联的未知对象类型。图1是图示出用于经由用生成器训练的鉴别器检测新奇数据的示例系统的框图。示例系统一般通过参考标号100来指代,并且可以使用下面图2的训练方法200和下本文档来自技高网...

【技术保护点】
1.一种用于检测新奇数据的装置,包括:生成式对抗网络的鉴别器,其是使用所述生成式对抗网络的生成器训练的,其要:接收待分类的数据;以及响应于检测到所接收的数据不对应于已知的数据类别而将所接收的数据分类为新奇数据。

【技术特征摘要】
2017.05.18 US 62/508016;2017.06.19 US 15/6264571.一种用于检测新奇数据的装置,包括:生成式对抗网络的鉴别器,其是使用所述生成式对抗网络的生成器训练的,其要:接收待分类的数据;以及响应于检测到所接收的数据不对应于已知的数据类别而将所接收的数据分类为新奇数据。2.根据权利要求1所述的装置,其中基于训练数据用所述生成器迭代地训练所述鉴别器,其中所述生成器要使用损失函数基于所述训练数据生成新奇数据。3.根据权利要求1所述的装置,其中基于边界寻找损失函数来训练所述生成器。4.根据权利要求1所述的装置,其中基于特征匹配损失函数来训练所述生成器。5.根据权利要求1所述的装置,其中基于以边界寻找损失函数和特征匹配损失函数为基础的组合损失函数来训练所述生成器。6.根据权利要求1-5的任何组合所述的装置,其中基于由所述生成器基于训练数据生成的新奇数据样本来训练所述鉴别器。7.根据权利要求1-5的任何组合所述的装置,其中所所述鉴别器要响应于检测到所接收的数据对应于已知的数据类而将所接收的数据分类为特定类。8.根据权利要求1-5的任何组合所述的装置,其中所述鉴别器要响应于检测到所接收的数据包括比其它类更高的特定类的概率得分而将所接收的数据分类为所述特定类。9.根据权利要求1-5的任何组合所述的装置,其中所述新奇数据包括与所述训练数据不同的数据。10.根据权利要求1-5的任何组合所述的装置,其中所接收的数据包括视觉数据、文本、语音、基因序列、生物医学信号、标志或其任何组合。11.一种用于训练鉴别器的方法,包括:经由处理器接收训练数据;经由所述处理器用所述鉴别器迭代地训练生成器,以基于所述训练数据生成新奇数据样本;以及经由所述处理器用所述生成器迭代地训练所述鉴别器,以基于所述训练数据和所述新奇数据样本将数据分类到已分类类别或新奇类别中。12.根据权利要求11所述的方法,包括:经由所述鉴别器接收待分类的数据;响应于检测到所接收的数据不对应于已知的数据类别而经由所述鉴别器将所接收的数据分类为新奇数据;以及经由所述处理器显示包括...

【专利技术属性】
技术研发人员:M克利格S弗莱什曼
申请(专利权)人:英特尔公司
类型:发明
国别省市:美国,US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1