数据处理方法和电子设备技术

本公开的实施例涉及一种数据处理方法和电子设备，涉及计算机领域，该方法包括：待检测数据；以及利用经训练的异常检测模型确定待检测数据的属性，指示待检测数据是否为异常数据，其中异常检测模型是基于重构数据项与正常数据项之间的差异以及第一输出数据项与重构数据项之间的差异而被训练的，其中在训练过程中正常数据项被输入到异常检测模型的生成子模型以得到重构数据项，重构数据项被输入到生成子模型以得到第一输出数据项。以此方式，本公开的实施例中的方案能够学习到上下文对抗信息，从而得到的经训练的异常检测模型精度更高，具有更高的召回率。具有更高的召回率。具有更高的召回率。

【技术实现步骤摘要】
数据处理方法和电子设备


[0001]本公开的实施例主要涉及计算机领域，并且更具体地，涉及数据处理方法、模型训练方法、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]异常检测(Anomaly detection)旨在检测显著地偏离正常数据分布的异常数据实例。异常检测已经被广泛地应用于医学诊断、欺诈检测、结构缺陷等诸多领域。由于有监督的异常检测模型需要大量标注的训练数据，成本较高，因此目前常用的异常检测模型是通过无监督、半监督或弱监督方式得到的。
[0003]然而，目前的异常检测模型会将许多正常数据检测为异常，而将一些真实但复杂的异常数据检测为正常，因此目前的异常检测模型存在召回率低的问题。特别地，在异常数据样本稀缺的情况下，异常检测模型的召回率可能会更低，这是不期望的。

技术实现思路

[0004]根据本公开的示例实施例，提供了一种数据处理的方案，能够利用经训练的异常检测模型确定待检测数据是否异常。
[0005]在本公开的第一方面，提供了一种数据处理方法，包括：获取待检测数据；以及利用经训练的异常检测模型确定待检测数据的属性，属性指示待检测数据是否为异常数据，其中异常检测模型是基于重构数据项与正常数据项之间的差异以及第一输出数据项与重构数据项之间的差异而被训练的，其中在训练过程中正常数据项被输入到异常检测模型的生成子模型以得到重构数据项，重构数据项被输入到生成子模型以得到第一输出数据项。
[0006]在本公开的第二方面，提供了一种异常检测模型的训练方法，包括：将训练集中的正常数据项输入到异常检测模型的生成子模型得到重构数据项；将重构数据项输入到生成子模型得到第一输出数据项；以及基于重构数据项与正常数据项之间的差异以及第一输出数据项与重构数据项之间的差异来训练异常检测模型。
[0007]在本公开的第三方面，提供了一种电子设备，包括：至少一个处理单元；至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，该指令当由至少一个处理单元执行时使得电子设备执行动作，动作包括：获取待检测数据；以及利用经训练的异常检测模型确定待检测数据的属性，属性指示待检测数据是否为异常数据，其中异常检测模型是基于重构数据项与正常数据项之间的差异以及第一输出数据项与重构数据项之间的差异而被训练的，其中在训练过程中正常数据项被输入到异常检测模型的生成子模型以得到重构数据项，重构数据项被输入到生成子模型以得到第一输出数据项。
[0008]在本公开的第四方面，提供了一种电子设备，包括：至少一个处理单元；至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，该指令当由至少一个处理单元执行时使得电子设备执行动作，动作包括：将训练
集中的正常数据项输入到异常检测模型的生成子模型得到重构数据项；将重构数据项输入到生成子模型得到第一输出数据项；以及基于重构数据项与正常数据项之间的差异以及第一输出数据项与重构数据项之间的差异来训练异常检测模型。
[0009]本公开的第五方面，提供了一种电子设备，包括：存储器和处理器；其中存储器用于存储一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据本公开的第一方面或第二方面所描述的方法。
[0010]本公开的第六方面，提供了一种计算机可读存储介质，该计算机可读存储介质具有在其上存储的机器可执行指令，该机器可执行指令在由设备执行时使该设备执行根据本公开的第一方面或第二方面所描述的方法。
[0011]本公开的第七方面，提供了一种计算机程序产品，包括计算机可执行指令，其中计算机可执行指令在被处理器执行时实现根据本公开的第一方面或第二方面所描述的方法。
[0012]本公开的第八方面，提供了一种电子设备，包括：处理电路装置，被配置为执行根据本公开的第一方面或第二方面所描述的方法。
[0013]提供
技术实现思路
部分是为了以简化的形式来介绍一系列概念，它们在下文的具体实施方式中将被进一步描述。
技术实现思路
部分不旨在标识本公开的关键特征或必要特征，也不旨在限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
[0014]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
[0015]图1示出了根据本公开的实施例的示例环境的框图；
[0016]图2示出了根据本公开的实施例的示例训练过程的流程图；
[0017]图3示出了根据本公开的实施例的基于正常数据项的训练过程的示意图；
[0018]图4示出了根据本公开的实施例的基于异常数据项的训练过程的示意图；
[0019]图5示出了根据本公开的实施例的示例使用过程的流程图；
[0020]图6示出了根据本公开的实施例的异常检测的结果的示意图；
[0021]图7示出了根据本公开的实施例的异常检测的结果的示意图；以及
[0022]图8示出了可以用来实施本公开的实施例的示例设备的框图。
具体实施方式
[0023]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0024]在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
[0025]在本公开的实施例中所描述的各个方法和过程可以被应用于各种电子设备，如终
端设备、网络设备等。本公开的实施例还可以在测试设备中执行，例如信号发生器、信号分析仪、频谱分析仪、网络分析仪、测试终端设备、测试网络设备、信道仿真器等。
[0026]在本公开的实施例的描述中，术语“电路”可以指硬件电路和/或硬件电路和软件的组合。例如，电路可以是模拟和/或数字硬件电路与软件/固件的组合。作为另外的示例，电路可以是具有软件的硬件处理器的任何部分，包括(多个)数字信号处理器、软件和(多个)存储器，(多个)数字信号处理器、软件和(多个)存储器一起工作以使诸如计算设备之类的装置能够工作，以执行各种功能。在又一示例中，电路可以是硬件电路和/或处理器，诸如微处理器或微处理器的一部分，其需要软件/固件以进行操作，但是当不需要软件以进行操作时软件可以不存在。如本文所使用的，术语“电路”也涵盖仅硬件电路或(多个)处理器或硬件电路或(多个)处理器的一部分及它(或它们)附带的软件和/或固件的实现。
[0027]异常本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：获取待检测数据；以及利用经训练的异常检测模型确定所述待检测数据的属性，所述属性指示所述待检测数据是否为异常数据，其中所述异常检测模型是基于重构数据项与正常数据项之间的差异以及第一输出数据项与所述重构数据项之间的差异而被训练的，其中在训练过程中所述正常数据项被输入到所述异常检测模型的生成子模型以得到所述重构数据项，所述重构数据项被输入到所述生成子模型以得到所述第一输出数据项。2.根据权利要求1所述的方法，其中所述异常检测模型基于第一损失函数而被训练，其中所述第一损失函数基于所述重构数据项与所述正常数据项之间的差异以及所述第一输出数据项与所述重构数据项之间的差异而被构建，所述第一损失函数包括第一子函数和第二子函数，所述第一子函数基于所述重构数据项与所述正常数据项之间的差异得到，所述第二子函数基于所述第一输出数据项与所述重构数据项之间的差异得到，其中对所述第一子函数和所述第二子函数的训练目标是相反的。3.根据权利要求2所述的方法，其中所述异常检测模型还基于第二损失函数而被训练，其中所述第二损失函数包括第三子函数，且对所述第三子函数的训练目标与对所述第二子函数的训练目标是一致的，所述第三子函数基于第二输出数据项与训练集中的异常数据项之间的差异得到，所述第二输出数据项是通过将所述训练集中的异常数据项输入到所述生成子模型而得到的。4.根据权利要求1至3中任一项所述的方法，其中所述经训练的异常检测模型还包括判别子模型，所述判别子模型用于确定所述重构数据项为真或假。5.根据权利要求4所述的方法，其中所述经训练的异常检测模型是通过所述生成子模型和所述判别子模型以对抗的方式训练得到的。6.根据权利要求1至5中任一项所述的方法，其中确定所述待检测数据的属性包括：利用所述经训练的异常检测模型，确定所述待检测数据的评分值，所述评分值表示所述异常检测模型对所述待检测数据进行重构所得到的数据与所述待检测数据之间的差异；如果所述评分值不高于预设阈值，则确定所述待检测数据的第一属性，所述第一属性指示所述待检测数据为正常数据；如果所述评分值高于所述预设阈值，则确定所述待检测数据的...

【专利技术属性】
技术研发人员：史鉴，张霓，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：