System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于数据挖掘的异常检测方法及系统技术方案_技高网

一种基于数据挖掘的异常检测方法及系统技术方案

技术编号:40878005 阅读:3 留言:0更新日期:2024-04-08 16:47
本申请涉及一种基于数据挖掘的异常检测方法及系统,所述方法包括基于预设的数据提取规则,从数据库中提取特征数据;对所述特征数据进行需求导向初始异常检测和数值初始异常检测,分别获得需求导向异常检测结果和数值异常检测结果;基于所述需求导向异常检测结果和所述数值异常检测结果,获得模拟优化反馈结果;以预设的数据层次分类分析所述模拟优化反馈结果,获得多层次异常指标;基于所述多层次异常指标进行异常检测,获得异常检测结果。本申请具有提高数据异常检测的准确性,并提高检测结果的实用性的效果。

【技术实现步骤摘要】

本专利技术涉及数据异常检测的,尤其是涉及一种基于数据挖掘的异常检测方法及系统


技术介绍

1、目前,数字化技术的发展带来了许多便利,人们在使用各种电子产品和数字化设备时,均会产生大量的数据,收集这些数据并进行检测,能够发现许多潜在的问题。例如,对于智慧饭堂系统,通过对用户在智慧饭堂系统下单时产生的数据进行检测,能够发现用户支付金额明显偏离平均值。

2、相关技术中,对不同的数据进行异常检测时,往往选用预定的指标值或同类数据的平均值判断数据是否异常,但是,用户产生的数据数量庞大,且复杂程度较高,因此,仅通过预定的指标值或同类数据的平均值进行检测时不能够保障检测结果的准确性,进而导致获得的检测结果的实用性降低。


技术实现思路

1、为了提高数据异常检测的准确性,并提高检测结果的实用性,本申请提供一种基于数据挖掘的异常检测方法及系统。

2、第一方面,本申请的上述专利技术目的是通过以下技术方案得以实现的:

3、基于预设的数据提取规则,从数据库中提取特征数据;

4、对所述特征数据进行需求导向初始异常检测和数值初始异常检测,分别获得需求导向异常检测结果和数值异常检测结果;

5、基于所述需求导向异常检测结果和所述数值异常检测结果,获得模拟优化反馈结果;

6、以预设的数据层次分类分析所述模拟优化反馈结果,获得多层次异常指标;

7、基于所述多层次异常指标进行异常检测,获得异常检测结果。

8、通过采用上述技术方案,预设的数据提取规则是指处理数据,将数据转换为能够用于机器学习的数据,例如,对于用户支付金额的数据,机器学习模型学习预先正常订单支付金额的模式,机器学习模型检测异常时需要将用户支付金额的数据转换为订单金额与平均订单金额的比例或订单金额的自然对数等,因此,将用户支付金额的数据进行转换,便于后续的异常检测;异常检测的目的是发现潜在的问题从而进行针对性的调整,因此,在进行异常检测时,除了进行常规的检测外,还需要从当前的需求出发进行检测,例如,当前的需求是提高用户黏度,则将社交媒体数据、活跃用户数据和流失用户数据整合集成为一组数据进行检测,以此,保障检测结果的实用性;另外,多层次异常指标是指在不同维度评价数据是否异常的指标,因此,通过多层次异常指标进行的异常检测结果同样具有多个维度的检测结果,结合多个维度的检测结果进行综合分析,以此提高数据异常检测的准确性。

9、本申请在一较佳示例中可以进一步配置为:所述数据提取规则包括数据格式化规则和特征数据识别规则,所述基于预设的数据提取规则,从数据库中提取特征数据,具体包括:

10、从数据库中提取待检测数据,基于所述数据格式化规则,对所述待检测数据进行整理,获得格式化数据;

11、基于所述特征数据识别规则,从所述格式化数据中提取特征数据。

12、通过采用上述技术方案,待检测数据是指在数据库中需要进行检测的数据,例如,数据库每间隔一段时间会新导入一组新的数据,待检测数据即是指新导入的数据,数据格式化规则是指将数据清洗、转换和加载的规则,即处理数据的缺失值、异常值和重复数据等,确保数据的质量和一致性,并将数据转换为适用于机器学习模型的格式,而特征数据识别规则是指识别数据中与异常检测相关的数据的规则,订单数据中包括订单号、下单时间、顾客标签、菜品名称、菜品数量和规格、总金额和支付状态等,则与异常检测相关的数据包括下单时间、菜品数量和规格、总金额等,因此,通过特征数据识别规则,在进行异常检测前对数据进行整理,去除无用数据以此提高异常检测效率,同时保障异常检测不受干扰,进而保障异常检测的准确性。

13、本申请在一较佳示例中可以进一步配置为:所述对所述特征数据进行需求导向初始异常检测和数值初始异常检测,分别获得需求导向异常检测结果和数值异常检测结果,具体包括:

14、获取系统需求信息,对所述特征数据进行需求导向耦合,获得需求导向特征数据;

15、对所述需求导向特征数据进行需求导向初始异常检测,获得需求导向异常检测结果;

16、对所述特征数据进行数值初始异常检测,获得数值异常检测结果。

17、通过采用上述技术方案,系统需求信息是指根据当前进行的异常检测结果的用途信息,例如,提高利润、增加用户黏度和降本增效等,对应不同的系统需求信息需要检测的数据种类不同,例如,对应用户黏度的系统需求信息的数据种类包括社交媒体数据、活跃用户数据和流失用户数据,而库存数据和菜品数据等则与用户黏度需求无关,因此,通过系统需求信息对特征数据进行需求导向耦合,以此完成符合当前需求的异常检测,使得异常检测结果的实用性增强。

18、本申请在一较佳示例中可以进一步配置为:所述基于所述需求导向异常检测结果和所述数值异常检测结果,获得模拟优化反馈结果,具体包括:

19、分别基于所述需求导向异常检测结果和所述数值异常检测结果,进行模拟优化,分别获得需求导向模拟优化数据和数值模拟优化数据;

20、基于所述需求导向模拟优化数据进行需求导向初始异常检测,获得需求导向模拟优化反馈结果;

21、基于所述数值模拟优化数据进行数值初始异常检测,获得数值模拟优化反馈结果;

22、所述模拟优化反馈结果包括需求导向模拟优化反馈结果和数值模拟优化反馈结果。

23、通过采用上述技术方案,模拟优化是指通过需求导向异常检测结果和数值异常检测结果表示的出现异常的数据,模拟生成优化后的对应该异常数据的用户行为会产生的同类型数据,例如,需求导向异常检测结果对应的数据为订单数据,则模拟生成优化后的订单数据,以此,获得需求导向模拟优化数据和数值模拟优化数据,获得需求导向模拟优化数据和数值模拟优化数据后,会对该需求导向模拟优化数据和数值模拟优化数据再次进行检测,以此判断初始异常检测的准确性,进而保障数据异常检测的准确性。

24、本申请在一较佳示例中可以进一步配置为:所述以预设的数据层次分类分析所述模拟优化反馈结果,获得多层次异常指标,具体包括:

25、基于所述需求导向模拟优化反馈结果,调整所述数据层次分类,获得适应性层次分类;

26、以所述适应性层次分类分析所述模拟优化反馈结果,获得多层次异常指标,所述多层次异常指标包括单点异常指标、直连异常指标和单层面异常指标。

27、通过采用上述技术方案,数据层次分类是在数据异常检测前划分好的分类,可能并不适用于当前的数据异常检测的需求,因此,根据需求导向模拟优化反馈结果,调整数据层次分类,例如,原来的数据层次分类将订单数据与支付数据关联,但需求导向模拟优化反馈结果表示在订单数据出现异常时,营销数据对应出现异常,因此,将订单数据与营销数据关联,以此,保障后续多层次异常指标的准确性,多层次异常指标中的单点异常指标、直连异常指标和单层面异常指标对应适应性层次分类。

28、本申请在一较佳示例中可以进一步配置为:所述基于所述多层次异常本文档来自技高网...

【技术保护点】

1.一种基于数据挖掘的异常检测方法,其特征在于,所述基于数据挖掘的异常检测方法包括:

2.根据权利要求1所述的基于数据挖掘的异常检测方法,其特征在于,所述数据提取规则包括数据格式化规则和特征数据识别规则,所述基于预设的数据提取规则,从数据库中提取特征数据,具体包括:

3.根据权利要求1所述的基于数据挖掘的异常检测方法,其特征在于,所述对所述特征数据进行需求导向初始异常检测和数值初始异常检测,分别获得需求导向异常检测结果和数值异常检测结果,具体包括:

4.根据权利要求1所述的基于数据挖掘的异常检测方法,其特征在于,所述基于所述需求导向异常检测结果和所述数值异常检测结果,获得模拟优化反馈结果,具体包括:

5.根据权利要求4所述的基于数据挖掘的异常检测方法,其特征在于,所述以预设的数据层次分类分析所述模拟优化反馈结果,获得多层次异常指标,具体包括:

6.根据权利要求5所述的基于数据挖掘的异常检测方法,其特征在于,所述基于所述多层次异常指标进行异常检测,获得异常检测结果,具体包括:

7.一种基于数据挖掘的异常检测系统,其特征在于,所述基于数据挖掘的异常检测系统包括:

8.根据权利要求7所述的基于数据挖掘的异常检测系统,其特征在于,所述数据提取规则包括数据格式化规则和特征数据识别规则,所述特征提取模块包括:

9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于数据挖掘的异常检测方法的步骤。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于数据挖掘的异常检测方法的步骤。

...

【技术特征摘要】

1.一种基于数据挖掘的异常检测方法,其特征在于,所述基于数据挖掘的异常检测方法包括:

2.根据权利要求1所述的基于数据挖掘的异常检测方法,其特征在于,所述数据提取规则包括数据格式化规则和特征数据识别规则,所述基于预设的数据提取规则,从数据库中提取特征数据,具体包括:

3.根据权利要求1所述的基于数据挖掘的异常检测方法,其特征在于,所述对所述特征数据进行需求导向初始异常检测和数值初始异常检测,分别获得需求导向异常检测结果和数值异常检测结果,具体包括:

4.根据权利要求1所述的基于数据挖掘的异常检测方法,其特征在于,所述基于所述需求导向异常检测结果和所述数值异常检测结果,获得模拟优化反馈结果,具体包括:

5.根据权利要求4所述的基于数据挖掘的异常检测方法,其特征在于,所述以预设的数据层次分类分析所述模拟优化反馈结果,获得多层次异常指标,具体包括:<...

【专利技术属性】
技术研发人员:张博文祁迎辉
申请(专利权)人:广东优信无限网络股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1