经由多预测模型架构进行异常检测的系统和方法技术方案

在一些实施例中，可以经由多模型架构来利于异常检测。在一些实施例中，第一模型可以被配置成生成与概念相对应的数据项的隐藏表示。第二模型可以被配置成根据隐藏表示生成数据项的重构。第一模型可以被配置成针对数据项评估重构并且基于重构的评估更新第一模型的配置。在第一模型的更新之后，第一模型可以根据第一数据项生成第一数据项的隐藏表示。第二模型可以根据隐藏表示生成第一数据项的重构。可以基于第一数据项与重构之间的差异来检测第一数据项中的异常。

【技术实现步骤摘要】
【国外来华专利技术】经由多预测模型架构进行异常检测的系统和方法相关申请本申请要求以下优先权：(i)2018年7月9日提交的标题为《经由多预测模型架构进行异常检测的系统和方法(SystemandMethodforAnomalyDetectionviaaMulti-Prediction-ModelArchitecture)》的美国专利申请第16/029,747号，(ii)2018年6月18日提交的标题为《经由多预测模型架构进行异常检测的系统和方法(SystemandMethodforAnomalyDetectionviaaMulti-Prediction-ModelArchitecture)》的美国专利申请第16/011,136号，以及(iii)2017年11月17日提交的标题为《用于异常检测的系统和方法(SystemandMethodforDetectionofAnomaly)》的美国临时申请第62/587,738号，将该三者中的每一个整体以引用方式并入本文中。
本专利技术涉及概念或异常的识别或检测，包括例如经由一个或多个神经网络或其它预测模型的异常检测。
技术介绍
近年来，由于计算机硬件的性能、训练集的大小、对人工智能的理论理解的进步以及其它进步，人工智能和机器学习领域经历了复兴。这种复兴在其它
取得了许多进步，包括识别或其它预测系统。现有的机器学习系统可以对数据进行分类，诸如x射线图像、磁共振图像、体积扫描(例如，CT扫描)或用于诊断目的的其它数据。这类机器学习系统通常依赖于通过标签呈现已知异常。例如，视网膜病理学的分类取决于向学习系统呈现与已知病理学相对应的数百万个图像，并帮助学习系统将每个图像分类为与已知病理学中的一个相对应。然而，当呈现与未知病理学相对应的图像时，即使在图像与任何已知病理学都不匹配的情况下，学习系统也会将该图像分类为与已知病理学中的一个相对应。存在这些和其它缺点。
技术实现思路
本专利技术各方面涉及用于经由神经网络或其它预测模型来利于对概念或异常的识别或检测的方法、装置和/或系统。在一些实施例中，可以训练一个预测模型以将训练数据集(例如，相对于给定概念的“正常”数据集)的数据项映射到随机分布的潜在矢量空间中，并且可以训练另一预测模型以生成类似于训练数据集的数据项的输出数据(例如，根据矢量空间的潜在矢量的输入)。在一些实施例中，可以将两个预测模型布置在预测模型架构中，其中(i)将数据项作为输入提供给将数据项转换为潜在矢量的预测模型，(ii)将潜在矢量作为输入提供给预测模型，该预测模型基于潜在矢量生成数据项的重构，使得该重构类似于原始数据项。应注意，预测模型的前述架构布置并不是典型的自动编码器，它会生成具有输入数据项每个细节的重构。作为示例，前述架构被配置成在训练过程期间根据与输入数据紧密匹配的“正常”集产生数据项。在一些实施例中，第一预测模型可以被配置成生成数据项的隐藏表示，并且第二预测模型可以被配置成基于数据项的隐藏表示生成数据项的重构。在一些实施例中，第一预测模型被配置成基于由第二预测模型生成的数据项的重构更新其配置，目标是生成数据项的隐藏表示，第二预测模型可以用该隐藏表示来生成与数据项更相似的更好重构。当针对与同一概念(例如，健康的大脑、患有肿瘤的大脑、健康的心脏、患有某种疾病的患病心脏、猫、狗或其它概念)相对应的数据项集合进行适当训练时，第一和第二预测模型的组合被配置成生成与对应的输入数据项非常相似的重构。当提供的数据项与概念不对应(对其训练了第一和第二预测模型的组合)时，模型组合可能会尝试生成数据项的重构，但是该重构会在模型组合偏向于生成与对应于已知训练集概念的数据项相似的重构的情况下，可能与数据项具有足够的差异。这类差异可以用于检测数据项中是否存在异常。在一些实施例中，第三预测模型可以被配置成指示(i)两个或更多个数据项(例如，输入数据项及其对应的重构)之间的相似性或差异，(ii)两个数据项是相似还是不同(例如，两个数据项的某些特性是否在一个或多个阈值范围内，诸如经由训练学习的阈值或手动预定义的阈值)，(iii)数据项中是否存在异常(例如，基于第三预测模型对数据项的评估以及它们之间的重构)，(iv)数据项是否具有与训练集的“正常”相对应的分类(或概念)，或(v)其它信息。在一些实施例中，可以训练第三预测模型以最小化网络偏差以优化对异常(例如，包括小的异常)的检测。在一些实施例中，可以获得与同一概念相对应的数据项的集合(例如，对其训练了第一和第二预测模型)并将其提供给第一和第二预测模型的组合以使该组合生成相应输入数据项的重构。可以将每个数据项及其对应的重构提供给第三预测模型，以训练第三预测模型以将对应对的数据项及其重构识别为相似(例如，指示相对于训练后的“正常”)。作为示例，对于每个对应对，可以将反馈提供给第三预测模型，第三预测模型将其用作参考以评估其关于数据输入及其重构是否相似或如何不同的预测。基于其评估，第三预测模型可以更新其配置中的一个或多个。反馈可以例如指示集合的每个数据项及其重构是相似的或不存在异常。在一些实施例中，与常规统计技术(例如，需要程序员手动调整相似性阈值)相比，第三预测模型被配置成自动调整对某些相似性和差异给予多少权重(如果有的情况下)。以此方式，例如，第三预测模型产生更准确的结果(例如，经由前述训练考虑网络偏差)。通过本专利技术的具体实施方式和所附的附图，本专利技术的各种其它方面、特征和优点将变得显而易见。还应该理解，前面的一般描述和下面的具体实施方式都是示例性的，并不限制本专利技术的范围。如说明书和权利要求书中所使用，单数形式的“一”、“一个”和“该”包括复数个指示，除非上下文另外明确指出。另外，如说明书和权利要求书中所使用，术语“或”表示“和/或”，除非上下文另外明确指出。附图说明图1A至图1B示出了根据一个或多个实施例的用于经由神经网络或其它预测模型来利于概念或异常的识别或检测的系统。图2示出了根据一个或多个实施例的包括用于异常或概念检测的两个机器学习模型的架构。图3A至图3B示出了根据一个或多个实施例的关于图2的架构的输入和输出。图4示出了根据一个或多个实施例的包括用于异常或概念检测的三个机器学习模型的架构。图5A至图5B示出了根据一个或多个实施例的关于图4的架构的输入和输出。图6A至图6C示出了根据一个或多个实施例的关于识别异常的多模型架构随时间的进展。图7示出了根据一个或多个实施例的包括用于概念或异常的识别或检测的机器学习模型的多个子系统的架构。图8示出了根据一个或多个实施例的经由多ML模型架构来利于异常检测的方法的流程图。图9示出了根据一个或多个实施例的经由机器学习模型来利于异常检测的方法的流程图，该机器学习模型被训练为评估数据项与其ML模型衍生的重构之间的差异。具体实施方式在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供对本专利技术的实施例的透彻理解。然而，本领域技术人员将认识到，可以在没有这些具体细节或具有等效布置的情本文档来自技高网...

【技术保护点】
1.一种经由多神经网络架构来利于异常检测的方法，所述方法由计算机系统实现，所述计算机系统包括一个或多个执行计算机程序指令的处理器，所述计算机程序指令在被执行时执行所述方法，所述方法包括：/n获得与概念相对应的数据项；/n将所述数据项提供给第一神经网络，以使所述第一神经网络根据所述数据项来生成所述数据项的隐藏表示；/n将所述数据项的隐藏表示提供给第二神经网络，以使所述第二神经网络根据所述数据项的隐藏表示来生成所述数据项的重构；/n将所述数据项的重构作为参考反馈提供给所述第一神经网络，以使所述第一神经网络针对所述数据项来评估所述数据项的重构，所述第一神经网络基于所述第一神经网络对所述数据项的重构的评估来更新所述第一神经网络的一个或多个与表示生成相关的配置；/n在提供所述数据项的重构之后，执行以下操作：/n将第一数据项提供给所述第一神经网络，以使所述第一神经网络根据所述第一数据项来生成所述第一数据项的隐藏表示；/n将所述第一数据项的隐藏表示提供给所述第二神经网络，以使所述第二神经网络根据所述第一数据项的隐藏表示来生成所述第一数据项的重构；以及/n基于所述第一数据项与所述第一数据项的重构之间的差异来检测所述第一数据项中的异常。/n...

【技术特征摘要】
【国外来华专利技术】20171117 US 62/587,738;20180618 US 16/011,136;20181.一种经由多神经网络架构来利于异常检测的方法，所述方法由计算机系统实现，所述计算机系统包括一个或多个执行计算机程序指令的处理器，所述计算机程序指令在被执行时执行所述方法，所述方法包括：
获得与概念相对应的数据项；
将所述数据项提供给第一神经网络，以使所述第一神经网络根据所述数据项来生成所述数据项的隐藏表示；
将所述数据项的隐藏表示提供给第二神经网络，以使所述第二神经网络根据所述数据项的隐藏表示来生成所述数据项的重构；
将所述数据项的重构作为参考反馈提供给所述第一神经网络，以使所述第一神经网络针对所述数据项来评估所述数据项的重构，所述第一神经网络基于所述第一神经网络对所述数据项的重构的评估来更新所述第一神经网络的一个或多个与表示生成相关的配置；
在提供所述数据项的重构之后，执行以下操作：
将第一数据项提供给所述第一神经网络，以使所述第一神经网络根据所述第一数据项来生成所述第一数据项的隐藏表示；
将所述第一数据项的隐藏表示提供给所述第二神经网络，以使所述第二神经网络根据所述第一数据项的隐藏表示来生成所述第一数据项的重构；以及
基于所述第一数据项与所述第一数据项的重构之间的差异来检测所述第一数据项中的异常。


2.根据权利要求1所述的方法，还包括：
在提供所述数据项的重构之后，执行以下操作：
将第二数据项提供给所述第一神经网络，以使所述第一神经网络根据所述第二数据项生成所述第二数据项的隐藏表示；以及
将所述第二数据项的隐藏表示提供给所述第二神经网络，以使所述第二神经网络根据所述第二数据项的隐藏表示生成所述第二数据项的重构，
其中基于所述第二数据项与所述第二数据项的重构之间的差异，在所述第二数据项中未检测到异常。


3.根据权利要求1所述的方法，其中没有将所述第一神经网络的输出作为参考反馈提供给所述第二神经网络。


4.根据权利要求1所述的方法，还包括：
在提供所述数据项的重构之后，执行以下操作：
获得与所述概念相对应的附加数据项；
将所述附加数据项提供给所述第一神经网络，以使所述第一神经网络根据所述附加数据项来生成所述附加数据项的隐藏表示；
将所述附加数据项的隐藏表示提供给所述第二神经网络，以使所述第二神经网络根据所述附加数据项的隐藏表示来生成所述附加数据项的重构；
将所述附加数据项、所述附加数据项的重构、以及给定参考反馈提供给第三神经网络，以使所述第三神经网络基于所述附加数据项、所述附加数据项的重构以及所述给定参考反馈进行训练以生成以下指示：所述附加数据项中的每个附加数据项和与所述附加数据项相对应的重构是相似的；以及
将所述第一数据项和所述第一数据项的重构提供给所述第三神经网络，以使所述第三神经网络评估所述第一数据项与所述第一数据项的重构之间的差异，所述第三神经网络基于所述第一数据项与所述第一数据项的重构之间的差异生成以下指示：所述第一数据项和所述第一数据项的重构不相似，
其中
检测所述异常包括基于由所述第三神经网络生成的所述指示来检测所述第一数据项中的异常。


5.根据权利要求1所述的方法，其中所述第一神经网络被配置成在更新所述第一神经网络之后，根据所述数据项来生成所述数据项的附加隐藏表示，所述方法还包括：
将所述数据项的附加隐藏表示提供给所述第二神经网络，以使所述第二神经网络根据所述数据项的附加隐藏表示来生成所述数据项的附加重构；以及
将所述数据项的附加重构作为参考反馈提供给所述第一神经网络，以使所述第一神经网络针对所述数据项来评估所述数据项的附加重构，所述第一神经网络基于所述第一神经网络对所述数据项的附加重构的评估进一步更新所述第一神经网络的一个或多个与表示生成相关的配置。


6.根据权利要求5所述的方法，还包括：
将所述数据项、所述数据项的附加重构、以及给定参考反馈提供给第三神经网络，以使所述第三神经网络基于所述数据项、所述数据项的附加重构以及所述给定参考反馈进行训练以生成以下指示：所述数据项中的每个数据项以及与所述数据项相对应的附加重构是相似的；以及
将所述第一数据项和所述第一数据项的重构提供给所述第三神经网络，以使所述第三神经网络评估所述第一数据项与所述第一数据项的重构之间的差异，所述第三神经网络基于所述第一数据项与所述第一数据项的重构之间的差异生成以下指示：所述第一数据项和所述第一数据项的重构不相似，
其中检测所述异常包括基于由所述第三神经网络生成的所述指示来检测所述第一数据项中的异常。


7.根据权利要求6所述的方法，
其中所述第三神经网络生成一个或多个以下指示：所述第一数据项的哪些部分与所述第一数据项的重构不相似，并且
其中检测所述异常包括基于由所述第三神经网络生成的所述一个或多个指示来检测所述第一数据项中的异常。


8.根据权利要求7所述的方法，
其中所述第三神经网络生成一个或多个以下附加指示：所述第一数据项的哪些部分与所述第一数据项的重构是相似的，并且
其中检测所述异常包括基于由所述第三神经网络生成的所述一个或多个指示以及所述一个或多个附加指示来检测所述第一数据项中的异常。


9.根据权利要求5所述的方法，还包括：
确定对，使得所述对中的每对包括所述数据项中的一个数据项、和所述数据项中的另一个数据项的附加重构；
将所述对提供给第三神经网络，以使所述第三神经网络针对所述对中的每对生成以下指示：所述对的所述对应数据项和附加重构是否相似；
将给定参考反馈提供给所述第三神经网络，以使所述第三神经网络针对所述给定参考反馈来评估所述生成的指示，所述给定参考反馈指示所述对中的每对的所述对应数据项和附加重构不相似，所述第三神经网络基于所述第三神经网络对所述生成的指示的评估更新所述第三神经网络的一个或多个配置；以及
将所述第一数据项和所述第一数据项的重构提供给所述第三神经网络，以使所述第三神经网络评估所述第一数据项与所述第一数据项的重构之间的差异，所述第三神经网络基于所述第一数据项与所述第一数据项的重构之间的差异生成以下指示：所述第一数据项和所述第一数据项的重构不相似，
其中检测所述异常包括基于由所述第三神经网络生成的所述指示来检测所述第一数据项中的异常。


10.根据权利要求1所述的方法，还包括：
确定数据项子集，使得所述数据项子集中的每一个包括所述数据项中的至少两个数据项；...

【专利技术属性】
技术研发人员：鲍勃·舒城·胡，
申请(专利权)人：艾维泰有限责任公司，
类型：发明
国别省市：美国;US