一种异常数据检测方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术涉及数据处理领域，具体而言，涉及一种异常数据检测方法、装置、设备及可读存储介质，所述方法获取第一信息，所述第一信息至少一个商店的商品销售数据信息；将所述第一信息发送至数据预处理模型，得到第二信息，所述第二信息为对第一信息进行预处理得到的价格特征数据信息和销量特征数据信息；将所述第二信息发送至异常检测模型进行异常数据检测，得到第三信息，所述第三信息为对所述第二信息进行两次聚类筛选得到的异常商品销售数据；将所述第三信息进行校验处理，得到校验参数后的模型筛选到的异常商品销售数据。本申请通过将两种聚类算法的优势进行整合，克服了两种算法的缺点，达到高效、精准的判断异常数据的效果。精准的判断异常数据的效果。精准的判断异常数据的效果。

An abnormal data detection method, device, device and readable storage medium

【技术实现步骤摘要】
一种异常数据检测方法、装置、设备及可读存储介质


[0001]本专利技术涉及数据处理领域，具体而言，涉及一种异常数据检测方法、装置、设备及可读存储介质。

技术介绍

[0002]近年来，互联网技术发展迅速，电子商务行业也踏上了发展的快车道。“网购”因其方便快捷、省时省力、送货上门的特点越来越受到人们的青睐。在各平台规模不断扩大、商品数不断增加的同时，一些不正当的经营行为，例如虚标价格、刷单行为也随之出现，严重违反了电商法，需要对这类商品数据进行准确识别。针对如此庞大的商品数量，如果单纯人工检查筛选，不仅工作量巨大，还会出现遗漏和错误的情况。现需要一种数据检测方法，能够实现对异常商品的准确定位，减少人工干预成本和降低出错率。

技术实现思路

[0003]本专利技术的目的在于提供一种异常数据检测方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本专利技术采取的技术方案如下：
[0004]一方面，本申请提供了一种异常数据检测方法，所述方法包括：获取第一信息，所述第一信息至少一个商店的商品销售数据信息；将所述第一信息发送至数据预处理模型，得到第二信息，所述第二信息为对第一信息进行预处理得到的价格特征数据信息和销量特征数据信息；将所述第二信息发送至异常检测模型进行异常数据检测，得到第三信息，所述第三信息为对所述第二信息进行两次聚类筛选得到的异常商品销售数据；将所述第三信息发送至校验模块进行处理，得到第四信息，所述第四信息为校验参数后的模型筛选到的异常商品销售数据。
[0005]第二方面，本申请实施例提供了一种异常数据检测装置，包括：
[0006]第一获取单元，用于获取第一信息，所述第一信息至少一个商店的商品销售数据信息；
[0007]第一处理单元，用于将所述第一信息发送至数据预处理模型，得到第二信息，所述第二信息为对第一信息进行预处理得到的价格特征数据信息和销量特征数据信息；
[0008]第二处理单元，用于将所述第二信息发送至异常检测模型进行异常数据检测，得到第三信息，所述第三信息为对所述第二信息进行两次聚类筛选得到的异常商品销售数据；
[0009]第三处理单元，用于将所述第三信息发送至校验模块进行处理，得到第四信息，所述第四信息为校验参数后的模型筛选到的异常商品销售数据。
[0010]第三方面，本申请实施例提供了一种异常数据检测设备，所述设备包括存储器和处理器。存储器用于存储计算机程序；处理器用于执行所述计算机程序时实现上述异常数据检测方法的步骤。
[0011]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储有
计算机程序，所述计算机程序被处理器执行时实现上述异常数据检测方法的步骤。
[0012]本专利技术的有益效果为：
[0013]本申请通过提取商品销售收据的特征，并采用两种不同的聚类算法进行二次聚类，能够对商品准确定位，减少了人工干预和降低了出错率，并且本专利技术采用将高效率型的聚类方法对数据进行第一次处理，有效降低需要检测的数据数量，进而采用高精确率的聚类方法对第一次聚类的数据进行处理，这样将两种算法的优势进行整合，克服了两种算法的缺点，达到高效、精准的判断异常数据的效果。
[0014]本专利技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术实施例了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0015]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0016]图1为本专利技术实施例中所述的一种异常数据检测方法流程示意图；
[0017]图2为本专利技术实施例中所述的一种异常数据检测装置结构示意图；
[0018]图3是本专利技术实施例中所述的一种异常数据检测设备结构示意图。
具体实施方式
[0019]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0020]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0021]实施例1
[0022]如图1所示，本实施例提供了一种异常数据检测方法，其所述方法包括步骤S1、步骤S2、步骤S3和步骤S4。
[0023]步骤S1、获取第一信息，所述第一信息至少一个商店的商品销售数据信息；
[0024]步骤S2、将所述第一信息发送至数据预处理模型，得到第二信息，所述第二信息为对第一信息进行预处理得到的价格特征数据信息和销量特征数据信息；
[0025]步骤S3、将所述第二信息发送至异常检测模型进行异常数据检测，得到第三信息，所述第三信息为对所述第二信息进行两次聚类筛选得到的异常商品销售数据；
[0026]步骤S4、将所述第三信息发送至校验模块进行处理，得到第四信息，所述第四信息为校验参数后的模型筛选到的异常商品销售数据。
[0027]可以理解的是上述异常数据为商品销售数据中的异常数据。
[0028]可以理解的是本申请通过提取商品销售收据的特征，并采用两种不同的聚类算法进行二次聚类，能够对商品准确定位，减少了人工干预和降低了出错率，并且本专利技术采用将高效率型的聚类方法对数据进行第一次处理，有效降低需要检测的数据数量，进而采用高精确率的聚类方法对第一次聚类的数据进行处理，这样将两种算法的优势进行整合，克服了两种算法的缺点，达到高效、精准的判断异常数据的效果。
[0029]在本公开的一种具体实施方式中，所述步骤S2包括步骤S21、步骤S22和步骤S23。
[0030]步骤S21、将所述商品销售数据信息中进行数据处理，清除所述第一信息内的无效数据，并将所述第一信息内的残缺数据进行均值填补，得到第一子信息；
[0031]步骤S22、基于所述第一子信息和预设的计算公式，计算得到所述第一信息的特征数据，所述第一信息的特征数据包括价格特征数据和销量特征数据；
[0032]步骤S23、将所述第一信息的特征数据进行归一化处理，并将归本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常数据检测方法，其特征在于，包括：获取第一信息，所述第一信息至少一个商店的商品销售数据信息；将所述第一信息发送至数据预处理模型，得到第二信息，所述第二信息为对第一信息进行预处理得到的价格特征数据信息和销量特征数据信息；将所述第二信息发送至异常检测模型进行异常数据检测，得到第三信息，所述第三信息为对所述第二信息进行两次聚类筛选得到的异常商品销售数据；将所述第三信息发送至校验模块进行处理，得到第四信息，所述第四信息为校验参数后的模型筛选到的异常商品销售数据。2.根据权利要求1所述的异常数据检测方法，其特征在于，将所述第一信息发送至数据预处理模型，得到第二信息，所述第二信息为对第一信息进行预处理后的信息，包括：将所述商品销售数据信息中进行数据处理，清除所述第一信息内的无效数据，并将所述第一信息内的残缺数据进行均值填补，得到第一子信息；基于所述第一子信息和预设的计算公式，计算得到所述第一信息的特征数据，所述第一信息的特征数据包括价格特征数据和销量特征数据；将所述第一信息的特征数据进行归一化处理，并将归一化处理后的特征数据进行平滑处理，得到预处理后的第一信息。3.根据权利要求1所述的异常数据检测方法，其特征在于，将所述第二信息发送至异常检测模型进行异常数据检测，得到第三信息，包括：将所述第二信息内的价格特征数据信息发送至第一聚类模块进行聚类，得到第一聚类信息，所述第一聚类信息为价格特征数据信息中的异常数据信息；将所述第一聚类信息与所述第二信息内的销量特征数据信息进行数据对应映射，得到第二子信息，所述第二子信息包括第一聚类信息对应的销量特征数据信息；将所述第二子信息发送至第二聚类模块进行处理，得到第二聚类信息，所述第二聚类信息为对所述第二信息进行两次聚类筛选得到的异常商品销售数据。4.根据权利要求3所述的异常数据检测方法，其特征在于，将所述第二信息内的价格特征数据信息发送至第一聚类模块进行聚类，得到第一聚类信息，包括：基于预设第一初始参数信息遍历所述价格特征数据信息，并将所述价格特征数据按照BIRCH算法中聚类特征树的生成方法进行处理，得到价格聚类特征树；基于所述价格聚类特征树得到至少一个聚类特征簇，并得到计算每个聚类特征簇对应的阈值范围；对所有的所述阈值范围进行分析，将全部的所述阈值范围中最小阈值范围作为判断正常点的正常阈值范围；基于所述正常阈值范围确定所述价格聚类特征树中的异常点，并基于所述异常点判断所述价格特征数据信息中的异常数据信息。5.一种异常数据检测装置，其特征在于，包括：第一获取单元，用于获取第一信息，所述第一信息至少一个商店的商品销售数据信息；第一处理单元，用于将所述第一信息发送至数据预处理模型，得到第二信息，所述第二信...

【专利技术属性】
技术研发人员：范华琦，刘恒，周杲，蒋挺，向吴优，陈赛，庞苏川，杨柳，
申请(专利权)人：成都交大大数据科技有限公司，
类型：发明
国别省市：