一种多维数据异常检测方法及装置制造方法及图纸

本发明专利技术公开了一种多维数据异常检测方法及装置，涉及移动通信大数据领域，所述方法包括：将待检测多维数据输入经训练的数据重构模型；利用所述经训练的数据重构模型，对所述待检测多维数据进行数据重构，得到多维重构数据；根据所述多维重构数据，确定所述待检测多维数据是否异常。本发明专利技术能够检测出由于数据特征之间的关系异常所导致的数据异常。

A method and device for multidimensional data anomaly detection

The invention discloses a multi-dimensional data anomaly detection method and device, which involves the large data field of mobile communication. The method includes: input the trained data reconfiguration model to the tested multidimensional data, use the trained data reconfiguration model, reconfigure the multidimensional data to be detected, and obtain multidimensional weight. According to the multi-dimensional reconstruction data, whether the detected multidimensional data is abnormal is determined. The invention can detect data anomalies caused by abnormal relationship between data characteristics.

【技术实现步骤摘要】
一种多维数据异常检测方法及装置
本专利技术涉及移动通信大数据领域，特别涉及一种多维数据异常检测方法及装置。
技术介绍
信息技术和互联网的迅猛发展和普及应用，数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。企业的数据质量与业务绩效之间存在着直接联系，高质量的数据可以使公司保持竞争力并在经济动荡时期立于不败之地。有了普遍深入的数据质量，企业在任何时候都可以信任满足所有需求的所有数据。在日常维护过程中，监控是很棘手的问题，对于许多公司而言，服务模块数量众多，针对每个服务或组件，都有各种各样的性能指标，而当这些指标数据规模成长到百万、千万级别时，对于只有几十或几百人的工程师团队来讲，即使有各种美观的图表展示，也可能花费较长的时间。传统监控系统的出现解决了一部分问题，工程师或专家可以去配置一些指标的异常阈值，当数据超出阈值时系统就会触发警报。但是，如果某个指标没有被监控覆盖到(不管是系统还是人)，那么它表现异常后就可能没有人会知道，造成不可预期的问题或故障。另外，许多问题不是靠人工设定阈值就能够解决的，特别是在对超大规模的性能指标进行监控时，很难依靠人工配置完成监控。异常检测的核心问题是如何准确快速的建立一个检测模型，通过对数据的学习建立主观检测模型，一些新理论通过揭示数据本身的规律能够建立客观检测模型。将学习方法与新理论应用到异常检测中，对于解决异常检测面临的问题，提高检测准确度与速度具有重要的意义。常见异常检测方法，例如统计方法、基于邻近度的离群点检测、基于密度的离群点检测、基于聚类的技术等，都不能很好的检测数据的各维度或特征间具有某种比较稳定的关系，而当这种关系发生异常所导致的数据异常。本专利技术的方法能够很好的解决该问题。
技术实现思路
本专利技术实施例提供的一种多维数据异常检测方法及装置，能够在数据的多维特征间具有某种未知关系时，解决数据的异常检测问题。根据本专利技术实施例提供的一种多维数据异常检测方法，包括：将待检测多维数据输入经训练的数据重构模型；利用所述经训练的数据重构模型，对所述待检测多维数据进行数据重构，得到多维重构数据；根据所述多维重构数据，确定所述待检测多维数据是否异常。优选地，在所述将待检测多维数据输入经训练的数据重构模型之前，还包括：利用多维训练数据对数据重构模型进行训练，确定一组使所述数据重构模型的重构损失函数值最小的参数作为所述数据重构模型的参数，从而得到经训练的数据重构模型。优选地，在得到所述经训练的数据重构模型之后，还包括：利用训练数据集中每个多维训练数据与其多维重构训练数据的误差，确定误差阈值区间。优选地，所述利用所述经训练的数据重构模型，对所述待检测多维数据进行数据重构，得到多维重构数据包括：利用所述经训练的数据重构模型，对所述待检测多维数据进行编码处理，得到维数下降的编码数据，并对所述维度下降的编码数据进行解码处理，得到与所述待检测多维数据维数相同的多维重构数据。优选地，所述根据所述多维重构数据，确定所述待检测多维数据是否异常包括：若所述多维重构数据与所述待检测多维数据的误差不在误差阈值区间内，则确定所述待检测多维数据异常。优选地，所述经训练的数据重构模型是至少含有一个隐含层的神经网络。根据本专利技术实施例提供的存储介质，其存储用于实现上述多维数据异常检测方法的程序。根据本专利技术实施例提供的一种多维数据异常检测装置，包括：输入模块，用于将待检测多维数据输入经训练的数据重构模型；重构模块，用于利用所述经训练的数据重构模型，对所述待检测多维数据进行数据重构，得到多维重构数据；判决模块，用于根据所述多维重构数据，确定所述待检测多维数据是否异常。优选地，所述重构模块具体用于利用所述经训练的数据重构模型，对所述待检测多维数据进行编码处理，得到维数下降的编码数据，并对所述维度下降的编码数据进行解码处理，得到与所述待检测多维数据维数相同的多维重构数据。优选地，所述判决模块在所述多维重构数据与所述待检测多维数据的误差不在误差阈值区间内时，确定所述待检测多维数据异常。优选地，所述经训练的数据重构模型是至少含有一个隐含层的神经网络。本专利技术实施例提供的技术方案具有如下有益效果：本专利技术实施例能够检测出由于数据的特征之间的关系异常导致的数据异常问题，适用于高维数据异常检测。附图说明图1是本专利技术实施例提供的多维数据异常检测方法框图；图2是本专利技术实施例提供的多维数据异常检测装置框图；图3是进行数据异常检测的流程说明图；图4是稀疏自编码器的基本结构图；图5是训练数据异常检测模型的结构示意图。具体实施方式以下结合附图对本专利技术的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。图1是本专利技术实施例提供的多维数据异常检测方法框图，如图1所示，步骤包括：步骤S101：将待检测多维数据输入经训练的数据重构模型。步骤S101的经训练的数据重构模型是至少含有一个隐含层的神经网络，隐含层数目与输入数据的维度有关。在执行步骤S101之前，利用多维训练数据对数据重构模型进行训练，确定一组使所述数据重构模型的重构损失函数值最小的参数作为所述数据重构模型的参数，从而得到经训练的数据重构模型。换句话说，训练的目的是得到神经网络的一组参数，在这组参数下进行数据重构时，能够使重构损失函数值最小。在得到经训练的数据重构模型之后，利用训练数据集中每个多维训练数据与其多维重构训练数据的误差，确定误差阈值区间。本专利技术实施例对训练数据集含有少量异常数据的情形具有鲁棒性。步骤S102：利用所述经训练的数据重构模型，对所述待检测多维数据进行数据重构，得到多维重构数据。步骤S102包括：利用所述经训练的数据重构模型，对所述待检测多维数据进行编码处理，得到维数下降的编码数据，并对所述维度下降的编码数据进行解码处理，得到与所述待检测多维数据维数相同的多维重构数据。步骤S103：根据所述多维重构数据，确定所述待检测多维数据是否异常。步骤S103包括：若所述多维重构数据与所述待检测多维数据的误差不在误差阈值区间内，则确定所述待检测多维数据异常。本专利技术实施例能够对数据的异常进行检测与判断，特别是数据具有多维特征，且某些特征之间具有某种未知的关系时的数据异常检测。例如：单从数据的每一个维度来看，数据不存在问题，但是把多维综合在一起数据就可能存在异常的情形，如人的年龄与身高，年龄从0到100之间的任何一个整数都有可能，身高从50厘米到220厘米中的任何数据都有可能，但是如果一个人的年龄是1岁，身高是210厘米就是异常数据。该方法在训练数据集中含有少量异常数据，但不确定哪些是异常数据时，也能很好的进行数据的异常检测，即本专利技术实施例的方法具有鲁棒性。本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，该程序在执行时，包括步骤S101至步骤S103。进一步说，本专利技术还可以提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时至少实现以下步骤：将待检测多维数据输入经训练的数据重构模型；利用所述经训练的数据重构模型，对所述待检测多维数据进行数据重构，得到多维重构数据；根据所述多维重构数据，确定所述待检测多维数据是否异常。本文档来自技高网...

【技术保护点】
1.一种多维数据异常检测方法，包括：将待检测多维数据输入经训练的数据重构模型；利用所述经训练的数据重构模型，对所述待检测多维数据进行数据重构，得到多维重构数据；根据所述多维重构数据，确定所述待检测多维数据是否异常。

【技术特征摘要】
1.一种多维数据异常检测方法，包括：将待检测多维数据输入经训练的数据重构模型；利用所述经训练的数据重构模型，对所述待检测多维数据进行数据重构，得到多维重构数据；根据所述多维重构数据，确定所述待检测多维数据是否异常。2.根据权利要求1所述的方法，在所述将待检测多维数据输入经训练的数据重构模型之前，还包括：利用多维训练数据对数据重构模型进行训练，确定一组使所述数据重构模型的重构损失函数值最小的参数作为所述数据重构模型的参数，从而得到经训练的数据重构模型。3.根据权利要求2所述的方法，在得到所述经训练的数据重构模型之后，还包括：利用训练数据集中每个多维训练数据与其多维重构训练数据的误差，确定误差阈值区间。4.根据权利要求1所述的方法，所述利用所述经训练的数据重构模型，对所述待检测多维数据进行数据重构，得到多维重构数据包括：利用所述经训练的数据重构模型，对所述待检测多维数据进行编码处理，得到维数下降的编码数据，并对所述维度下降的编码数据进行解码处理，得到与所述待检测多维数据维数相同的多维重构数据。5.根据权利要求3所述的方法，所述根据所述多维重构...

【专利技术属性】
技术研发人员：梅国锋，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东,44