异常数据的识别方法和装置制造方法及图纸

本发明专利技术公开了一种异常数据的识别方法和装置。其中，该方法包括：获取待检测的目标数据；将目标数据输入到目标神经网络模型中，其中，目标神经网络模型为使用目标样本数据训练原始神经网络模型得到的模型，目标神经网络模型的判定阈值为目标判定阈值，判定阈值为根据目标样本数据的重构误差的绝对值、重构误差分布的均值和协方差得到的阈值，判定阈值用于识别目标样本数据为正常数据或异常数据，在判定阈值为目标判定阈值的情况下，目标神经网络模型的目标分值最高；根据目标神经网络模型输出的识别结果确定目标数据为正常数据或异常数据。本发明专利技术解决了识别异常数据准确度低的技术问题。

【技术实现步骤摘要】
异常数据的识别方法和装置
本专利技术涉及计算机领域，具体而言，涉及一种异常数据的识别方法和装置。
技术介绍
现有技术中，在使用模型识别异常数据的过程中，通常需要确定出一个用于识别的判定阈值。而现有技术中，确定判定阈值时，通常需要人为的参数，确定出的判定阈值不够准确，进一步造成模型识别准确度低，造成识别异常数据的准确度低。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种异常数据的识别方法和装置，以至少解决识别异常数据准确度低的技术问题。根据本专利技术实施例的一个方面，提供了一种异常数据的识别方法，包括：获取待检测的目标数据；将上述目标数据输入到目标神经网络模型中，其中，上述目标神经网络模型为使用目标样本数据训练原始神经网络模型得到的模型，上述目标神经网络模型的判定阈值为目标判定阈值，上述判定阈值为根据上述目标样本数据的重构误差的绝对值、重构误差分布的均值和协方差得到的阈值，上述判定阈值用于识别上述目标样本数据为正常数据或异常数据，在上述判定阈值为上述目标判定阈值的情况下，上述目标神经网络模型的目标分值最高，上述目标分值为上述目标神经网络模型的准确度与覆盖率的加权求和结果；根据上述目标神经网络模型输出的识别结果确定上述目标数据为正常数据或异常数据。根据本专利技术实施例的另一方面，还提供了一种异常数据的识别装置，包括：第一获取单元，用于获取待检测的目标数据；输入单元，用于将上述目标数据输入到目标神经网络模型中，其中，上述目标神经网络模型为使用目标样本数据训练原始神经网络模型得到的模型，上述目标神经网络模型的判定阈值为目标判定阈值，上述判定阈值为根据上述目标样本数据的重构误差的绝对值、重构误差分布的均值和协方差得到的阈值，上述判定阈值用于识别上述目标样本数据为正常数据或异常数据，在上述判定阈值为上述目标判定阈值的情况下，上述目标神经网络模型的目标分值最高，上述目标分值为上述目标神经网络模型的准确度与覆盖率的加权求和结果；第一确定单元，用于根据上述目标神经网络模型输出的识别结果确定上述目标数据为正常数据或异常数据。在本专利技术实施例中，采用了获取待检测的目标数据；将上述目标数据输入到目标神经网络模型中，其中，上述目标神经网络模型为使用目标样本数据训练原始神经网络模型得到的模型，上述目标神经网络模型的判定阈值为目标判定阈值，上述判定阈值为根据上述目标样本数据的重构误差的绝对值、重构误差分布的均值和协方差得到的阈值，上述判定阈值用于识别上述目标样本数据为正常数据或异常数据，在上述判定阈值为上述目标判定阈值的情况下，上述目标神经网络模型的目标分值最高，上述目标分值为上述目标神经网络模型的准确度与覆盖率的加权求和结果；根据上述目标神经网络模型输出的识别结果确定上述目标数据为正常数据或异常数据的方法，由于在上述方法中，目标神经网络模型的目标判定阈值是从多个判定阈值中确定出的，而多个判定阈值又是根据上述目标样本数据的重构误差的绝对值、重构误差分布的均值和协方差得到的阈值，从而可以为目标神经网络模型确定出最准确的目标判定阈值，提高了确定异常数据的准确度的效果，进而解决了识别异常数据准确度低的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种可选的异常数据的识别方法的应用环境的示意图；图2是根据本专利技术实施例的另一种可选的异常数据的识别方法的应用环境的示意图；图3是根据本专利技术实施例的一种可选的异常数据的识别方法的流程的示意图；图4是根据本专利技术实施例的一种可选的异常数据的识别方法的时序数据的示意图；图5是根据本专利技术实施例的一种可选的异常数据的识别方法的LSTM网络单元的示意图；图6是根据本专利技术实施例的一种可选的异常数据的识别方法的展开的LSTM单元的示意图；图7是根据本专利技术实施例的一种可选的异常数据的识别方法的LSTM自编码器的示意图；图8是根据本专利技术实施例的一种可选的异常数据的识别装置的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。根据本专利技术实施例的一个方面，提供了一种异常数据的识别方法，可选地，作为一种可选的实施方式，上述异常数据的识别方法可以但不限于应用于如图1所示的环境中。如图1所示，终端设备102包括了存储器104，用于存储终端设备102运行过程中产生的各项数据、处理器106，用于处理运算上述各项数据、显示器108，用于显示识别结果。终端设备102可以通过网络110与服务器112之间进行数据交互。服务器112包括数据库114，用于存储各项数据，处理引擎116，用于处理上述各项数据。如步骤S102到步骤S106。终端设备102将目标数据发送到服务器112，服务器112对目标数据进行识别，并返回识别结果。作为一种可选的实施方式，上述异常数据的识别方法可以但不限于应用于如图2所示的环境中。如图2所示，终端设备202包括了存储器204，用于存储终端设备202运行过程中产生的各项数据、处理器206，用于处理运算上述各项数据、显示器208，用于显示识别结果。终端设备202可以执行步骤S202到S206。与图1的区别在于，终端设备202完成异常数据的识别。可选地，在本实施例中，上述终端设备可以是配置有目标客户端的终端设备，可以包括但不限于以下至少之一：手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(MobileInternetDevices，移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本文档来自技高网...

【技术保护点】
1.一种异常数据的识别方法，其特征在于，包括：/n获取待检测的目标数据；/n将所述目标数据输入到目标神经网络模型中，其中，所述目标神经网络模型为使用目标样本数据训练原始神经网络模型得到的模型，所述目标神经网络模型的判定阈值为目标判定阈值，所述判定阈值为根据所述目标样本数据的重构误差的绝对值、重构误差分布的均值和协方差得到的阈值，所述判定阈值用于识别所述目标样本数据为正常数据或异常数据，在所述判定阈值为所述目标判定阈值的情况下，所述目标神经网络模型的目标分值最高，所述目标分值为所述目标神经网络模型的准确度与覆盖率的加权求和结果；/n根据所述目标神经网络模型输出的识别结果确定所述目标数据为正常数据或异常数据。/n

【技术特征摘要】
1.一种异常数据的识别方法，其特征在于，包括：
获取待检测的目标数据；
将所述目标数据输入到目标神经网络模型中，其中，所述目标神经网络模型为使用目标样本数据训练原始神经网络模型得到的模型，所述目标神经网络模型的判定阈值为目标判定阈值，所述判定阈值为根据所述目标样本数据的重构误差的绝对值、重构误差分布的均值和协方差得到的阈值，所述判定阈值用于识别所述目标样本数据为正常数据或异常数据，在所述判定阈值为所述目标判定阈值的情况下，所述目标神经网络模型的目标分值最高，所述目标分值为所述目标神经网络模型的准确度与覆盖率的加权求和结果；
根据所述目标神经网络模型输出的识别结果确定所述目标数据为正常数据或异常数据。


2.根据权利要求1所述的方法，其特征在于，在将所述目标数据输入到目标神经网络模型中之前，所述方法还包括：
获取所述目标样本数据；
对所述目标样本数据进行重构，确定所述目标样本数据中每一个目标样本数据的所述重构误差的绝对值、所述重构误差分布的均值和协方差；
根据所述重构误差的绝对值、所述重构误差分布的均值和协方差确定所述每一个目标样本数据的重构分值；
根据所述重构分值确定出多个所述判定阈值；
从多个所述判定阈值中确定出所述目标判定阈值。


3.根据权利要求2所述的方法，其特征在于，所述根据所述重构分值确定出多个所述判定阈值包括：
将每一个所述重构分值确定为一个所述判定阈值；或者
对所述重构分值按照大小进行排序，将排序后的所述重构分值中，每两个相邻的重构分值的平均值确定为一个所述判定阈值；
或者将所述重构分值的分位数作为所述判定阈值。


4.根据权利要求2所述的方法，其特征在于，所述从多个所述判定阈值中确定出所述目标判定阈值包括：
确定出多个所述判定阈值中，每一个所述判定阈值对应的所述目标神经网络模型的目标分值；
将所述目标分值最大的判定阈值确定为所述目标判定阈值。


5.根据权利要求4所述的方法，其特征在于，所述确定出多个所述判定阈值中，每一个所述判定阈值对应的所述目标神经网络模型的目标分值包括：
获取所述目标样本数据的第一数量、所述目标样本数据被识别为异常数据的第二数量和所述目标样本数据所在的样本数据集中的样本数据的总数量；
将所述第二数量与所述第一数量的比值确定为所述精准度，将所述第二数量与所述总数量的比值确定为所述覆盖率；
将所述准确度与所述覆盖率输入到预定公式中确定出所述目标分值。


...

【专利技术属性】
技术研发人员：郑方兰，李琨，何玥颖，田江，向小佳，丁永建，李璠，
申请(专利权)人：光大科技有限公司，
类型：发明
国别省市：北京;11