大数据环境下面向民生消费领域的分布式跨维度异常数据检测方法技术

一种大数据环境下面向民生消费领域的分布式跨维度异常数据检测方法，具体涉及离群点检测、分布式计算、数据切分、并行计算资源分配及民生消费等领域的知识。特别适用于分析交易大数据，检测海量消费数据中的异常数据。本发明专利技术在现有的异常数据检测技术的基础上，提出了一种大数据环境下面向民生消费领域的分布式跨维度异常数据检测方法，有效克服了现有数据检测技术，在应用于在分布式环境下处理海量民生消费数据的效率和准确性问题，提出的数据切分方法，有助于在分布式并行计算环境下减少系统开销，加速集群的运算，对于大数据分析检测海量民生消费数据中的异常数据这样的复杂问题具有较好的效果。

【技术实现步骤摘要】
大数据环境下面向民生消费领域的分布式跨维度异常数据检测方法
本专利技术包括一种大数据环境下面向民生消费领域的分布式跨维度异常数据检测方法，具体涉及离群点检测、分布式计算、数据切分、并行计算资源分配及民生消费等领域的知识。特别适用于分析交易大数据，检测海量消费数据中的异常数据，如对海量民生消费领域的数据进行分析，发现异常交易及价格等问题。技术背景在大数据时代，各种行为都会以数据形式留下记录，数据的体量正变得越来越大，与此同时异常数据的数量也不可避免地随着数据体量的增大而增多，异常数据不同于数据集中的常规数据，其特性与常规数据相偏离，常用的数据分析方法在遇到异常数据时会存在较明显的误差。在传统的数据挖掘方法中，数据是经过精心挑选的，完整性和一致性有充分保障。但大数据环境下的海量数据，无法进行人工的挑选，因此异常数据检测就有十分重要的作用。同时，随着大数据分析和数据挖掘技术的不断发展，异常数据，也可以体现其价值，如在灾害预警、金融欺诈、信息安全、故障诊断、图像处理分析等领域都是很有价值的数据依据。民生消费关乎老百姓的日常生活，因此格外受人们关注，这个领域在大数据时代也经历了巨大的变革，数据的价值在该领域也越来越受到重视。除了传统商超记录的民生消费数据，电子商务行业也积累了大量的民生消费数据。第一条数据都是民生领域的一个行为，我们可以通过异常检测方法，从这些数据中发现异常的行为，比如价格欺诈、如物价的异常波动、如销售异常，可以发现是否有不法商家和消费者在干扰民生消费品的正常流通，从而为政府及监管部门提供决策依据。现有的异常数据检测技术主要有集中式异常数据点检测和分布式异常数据点检测两种。其中集中式异常数据点检测技术属于传统的数据挖掘领域的技术，这些算法存在可移植性差，对局部数据的异常数据点无能为力，参数设置繁琐，存在人为因素影响较大和无法应用于多维数据集的缺点和问题。而现有的分布式异常数据点检测技术对异构分布式并行计算环境的适配上存在很大程度上的数据切分不合理，数据分配不合理，磁盘I/O和网络I/O较高，开销过大的不足。
技术实现思路
本专利技术要克服现有技术的上述缺点，提出大数据环境下面向民生消费领域的分布式跨维度异常数据检测方法。本专利技术的大数据环境下面向民生消费领域的分布式跨维度异常数据检测方法，包括以下步骤：步骤1.数据的Box切分：民生消费领域的数据量大，在采用分布式计算进行处理前，对输入数据集进行切分，形成Count(b)个Box，且Box集合中各个Box内的数据点pdata个数不等，其中为输入数据的集合。则切分算法可以用如下方式描述为：算法1.SLICE(Boxb,DIMENSIONl).1.取←Boxb在第维度l上的中值；2.以对b沿第l维方向切分为bleft和bright两个子Box；3.IFCOUNTpdata(bleft)≥AVGpdataTHEN4.递归←SLICE(bleft，(j+1)modL)；5.ELSE6.OUTPUTbleft7.ENDIF8.IFCOUNTpdata(bright)≥AVGpdataTHEN9.递归←SLICE(bright，(j+1)modL)；10.ELSE11.OUTPUTbright12.ENDIF并有：其中，和分别为Boxb在维度l上的上下界，COUNTpdata(bleft)，COUNTpdata(bright)，和COUNT(Mnode)分别为两个子Box、输入数据集上的数据点数量和分布式计算环境中运算节点的数量，L为维度数量。步骤2.Box编码树构建：构建非平衡二叉编码树，用以快速定位Box之间的邻接关系。图1为一棵非平衡二叉编码树示意图。其构建步骤为：1.根结点代表数据集的完整区域，其编码记为Ο；2.切分后左右子Box的分别为bleft和bright；3.bleft在编码树中为其父Box的左子结点，其编码为CODEleft＝CODEparent+"0"，CODEparent为父Box的结点编码；4.bright在编码树中为其父Box的右子结点，其编码为CODEright＝CODEparent+"1"，CODEparent为父Box的结点编码；5.继续构建直到切分完成。图2展示了一种根据非平衡二叉编码树，确定一个Box的邻接Box的方法，图中被选Boxbs的编码为1001，对应非平衡二叉编码树，可得其第0维为1、0，合起来为二进制10，十进制为2，其第1维编码的十进制表示为1，据此推导其它Box。找到在该维度分割方向上的编码十进制表示与bs相同的Box为邻接Box。步骤3.Box在各运算节点上的分配：对一个Box集合通常情况下有Count(b)≥COUNT(Mnode)，则分配流程如下：1.以Box集合运算结点集合为输入，对Bset中的Box进行降序排列得2.取前COUNT(Mnode)个Box分别分配给Mset中的每一个结点；3.对于中的每一个未被分配的Boxbiunalloc，计算Mset中的每一个结点现已分配Box所有pdata数量的均值，记为初始化空结点集合Mtmp，将Mset中所有分配到pdata数量不小于的结点加入Mtmp；4.对Mtmp中结点按含pdata数量升序排列，得到根据步骤2)中确定邻接Box的方法，找出与biunalloc邻接Box最多节点mi，将biunaloc分配给mi。步骤4.异常数据检测：输入数据集合Box个数Count(b)，经过分配后在计算节点上执行每个数据点的离群度的计算，其公式如下：其中，和COUNT(pdata)分别为维度l第i、第j个数据点和参与运算的数据点的总数。计算数据点的局部离群量令为参与运算的数据点的最大局部离群量，并计算相对离群量公式如下：从中筛选出的数据点，便得到异常点集合，其中η为事先确定的一个值，通常取值在[0.8,1]之间能取得较好的结果。若考虑政策管控下的民生消费品因素，异常点检测过程相对简单，只要将数据点与政策约束的取值区间进行比对，就能得到异常点集合。本专利技术在现有的异常数据检测技术的基础上，提出了一种大数据环境下面向民生消费领域的分布式跨维度异常数据检测方法，有效克服了现有数据检测技术，在应用于在分布式环境下处理海量民生消费数据的效率和准确性问题，提出的数据切分方法，有助于在分布式并行计算环境下减少系统开销，加速集群的运算，对于大数据分析检测海量民生消费数据中的异常数据这样的复杂问题具有较好的效果。本专利技术的有益效果在于：有效克服了现有异常数据检测技术，在应用于在分布式环境下处理海量民生消费数据的效率和准确性不高的问题，对于大数据分析检测海量民生消费数据中的异常数据这样的复杂问题具有较好的效果。附图说明图1是本专利技术方法的非平衡二叉编码树示意图图2是本专利技术方法的确定一个Box的邻接Box的方法图具体实施方式下面结合附图说明和具体实施方式对本专利技术做进一步详细说明。本专利技术提出的大数据环境下面向民生消费领域的分布式跨维度异常数据检测方法，包括以下步骤：步骤1.数据的Box切分：民生消费领域的数据量大，在采用分布式计算进行处理前，对输入数据集进行切分，形成Count(b)个Box，且Box集合中各个Box内的数据点pdata个数不等，其中为输入数据的集合。则切分算法可以用如下方式描本文档来自技高网...

【技术保护点】
大数据环境下面向民生消费领域的分布式跨维度异常数据检测方法，包括以下步骤：步骤1.数据的Box切分：民生消费领域的数据量大，在采用分布式计算进行处理前，对输入数据集进行切分，形成Count(b)个Box，且Box集合

【技术特征摘要】
1.大数据环境下面向民生消费领域的分布式跨维度异常数据检测方法，包括以下步骤：步骤1.数据的Box切分：民生消费领域的数据量大，在采用分布式计算进行处理前，对输入数据集进行切分，形成Count(b)个Box，且Box集合中各个Box内的数据点pdata个数不等，其中为输入数据的集合。则切分算法可以用如下方式描述为：算法1.SLICE(Boxb,DIMENSIONl).并有：其中，和分别为Boxb在维度l上的上下界，COUNTpdata(bleft)，COUNTpdata(bright)，和COUNT(Mnode)分别为两个子Box、输入数据集上的数据点数量和分布式计算环境中运算节点的数量，L为维度数量。步骤2.Box编码树构建：构建非平衡二叉编码树，用以快速定位Box之间的邻接关系，其构建步骤为：T101.根结点代表数据集的完整区域，其编码记为Ο；T102.切分后左右子Box的分别为bleft和bright；T103.bleft在编码树中为其父Box的左子结点，其编码为CODEleft＝CODEparent+"0"，CODEparent为父Box的结点编码；T104.bright在编码树中为其父Box的右子结点，其编码为CODEright＝CODEparent+"1"，CODEparent为父Box的结点编码；T105.继续构建直到切分完成。确定一个Box的邻接Box的方法，被选Boxbs的编码为1001，对应非平衡二叉编码树，得其第0维为1、0，合起来为二进制10，十进制为2，其第1维编码的十进制表示为1，据此推导其它Box。找到在该维度分割方向上的编码十进制表示与bs相同的Box为邻接Box。步骤3.Box在各运算节点上的分配：对一个Box集合通常情况下有Count(b)≥COUNT(Mnode)，则分配流程如下：T201.以Box集合运算结点集合为输入，对Bset中的Box进行降序排列得T2...

【专利技术属性】
技术研发人员：肖亮，王璐雅，汪澍，
申请(专利权)人：浙江工商大学，浙江理工大学，
类型：发明
国别省市：浙江,33