System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于多源数据整合与数据挖掘的监控方法、系统及存储介质技术方案_技高网

基于多源数据整合与数据挖掘的监控方法、系统及存储介质技术方案

技术编号:40955761 阅读:8 留言:0更新日期:2024-04-18 20:32
本发明专利技术公开了基于多源数据整合与数据挖掘的监控方法、系统及存储介质,涉及智能监控技术领域,包括获取监控信息,根据监控数据源信息,获取多源监控数据,根据多源监控数据,基于数据整合,获取监控数据集,根据数据风险评估指数和数据风险评估指数阈值,对数据风险进行预警。本发明专利技术通过对多源监控数据进行数据整合,通过数据规则相关指数,避免了不同数据源的数据在某些属性上存在差异或矛盾造成的数据冲突,提高了数据的准确性,通过关联规则支持度信息和关联规则置信度信息,对关联规则进行筛选,分析监控数据之间的关联信息,通过数据风险评估指数,准确评估监控特征数据的风险程度,及时对分析进行预警。

【技术实现步骤摘要】

本专利技术涉及智能监控,具体是涉及基于多源数据整合与数据挖掘的监控方法、系统及存储介质


技术介绍

1、实时监控技术已广泛应用于各行各业,能够帮助企业和组织掌握关键业务进程,发现潜在问题,进行及时有效处理,通过对监控对象的数据变动情况进行监控,及时对异常情况进行预警,避免异常的发生。

2、然而,目前的监控体系还存在着依赖于单一数据源,难以从不同数据源采集信息,综合判断监控对象的整体状态,容易造成监控的片面性,遗漏关键指标,导致对监控数据的异常预警不及时、准确性不高,对于监控对象的多源数据的处理无法进行合理、适宜的数据整合,无法解决不同属性数据之间数据冲突,无法对于风险进行准确评估的问题。


技术实现思路

1、为解决上述技术问题,提供基于多源数据整合与数据挖掘的监控方法、系统及存储介质,本技术方案解决了上述
技术介绍
中提出的依赖于单一数据源,难以从不同数据源采集信息,综合判断监控对象的整体状态,容易造成监控的片面性,遗漏关键指标,导致对监控数据的异常预警不及时、准确性不高,对于监控对象的多源数据的处理无法进行合理、适宜的数据整合,无法解决不同属性数据之间数据冲突,无法对于风险进行准确评估的问题。

2、为达到以上目的,本专利技术采用的技术方案为:

3、基于多源数据整合与数据挖掘的监控方法,包括:

4、获取监控信息,所述监控信息包括监控对象信息和监控环境信息;

5、根据监控信息,基于实际监控需求,获取监控数据源信息;

6、根据监控数据源信息,获取多源监控数据;

7、根据多源监控数据,基于数据整合,获取监控数据集;

8、获取监控历史数据集,所述监控历史数据集包括监控历史数据和监控数据源信息;

9、根据监控历史数据集,获取监控历史警示信息和监控历史警示数据;

10、根据监控历史警示信息和监控历史警示数据,基于数据关联规则挖掘,获取数据关联信息;

11、根据数据关联信息和监控数据集,获取监控特征数据;

12、根据监控特征数据,基于监控数据风险评估模型,获取数据风险评估指数;

13、基于数据监控需求,获取数据风险评估指数阈值;

14、根据数据风险评估指数和数据风险评估指数阈值,对数据风险进行预警。

15、优选的,所述根据多源监控数据,基于数据整合,获取监控数据集,具体包括:

16、根据多源监控数据,获取多源监控数据格式信息;

17、根据多源监控数据格式信息,基于数据分析需求,获取监控数据标准格式信息;

18、根据监控数据标准格式信息和多源监控数据格式信息,对多源监控数据进行数据格式转换,获取多源监控标准格式数据;

19、根据多源监控标准格式数据,获取多源监控标准格式数据属性信息;

20、根据多源监控标准格式数据属性信息,基于数据集成需求,获取数据属性规则信息和数据公共属性信息;

21、根据数据属性规则信息和多源监控标准格式数据属性信息,获取数据规则相关指数;

22、基于数据分析需求,获取数据规则相关指数阈值;

23、根据数据规则相关指数和数据规则相关指数阈值,对多源监控标准格式数据进行筛选;

24、根据多源监控标准格式数据属性信息和数据公共属性信息,对筛选后的多源监控标准格式数据进行数据映射,获取多源监控属性映射数据;

25、根据多源监控属性映射数据,基于z-score标准化,获取监控数据集;

26、其中,数据规则相关指数的计算公式为:

27、

28、式中,q为数据规则相关指数,为第i个数据属性对数据的影响系数,为第i个数据属性与数据属性规则的相关系数,n为数据属性的总数目。

29、优选的,所述根据监控历史警示信息和监控历史警示数据,基于数据关联规则挖掘,获取数据关联信息,具体包括:

30、根据监控历史警示信息和监控历史警示数据,获取监控历史警示事务集;

31、根据监控历史警示事务集,基于频繁项集生成算法,获取频繁项集信息;

32、根据频繁项集信息,获取关联规则信息,所述关联规则由前件频繁项集和后件频繁项集组成;

33、根据关联规则信息,获取关联规则支持度信息和关联规则置信度信息,所述关联规则支持度为关联规则在监控历史警示事务集中出现的频率,即关联规则的前件频繁项集和后件频繁项集同时出现的概率,关联规则置信度为关联规则在满足前件频繁项集的情况下同时满足后件频繁项集的概率;

34、基于数据关联规则挖掘需求,获取关联规则支持度阈值和关联规则置信度阈值;

35、根据关联规则支持度信息、关联规则置信度信息、关联规则支持度阈值和关联规则置信度阈值,对关联规则进行筛选,获取数据关联信息。

36、优选的,所述根据数据关联信息和监控数据集,获取监控特征数据,具体包括:

37、根据监控数据集,基于哈希去重法,获取监控去重数据;

38、根据监控去重数据,获取监控去重数据箱线图;

39、根据监控去重数据箱线图,获取监控去重数据箱线图数据,所述监控去重数据箱线图数据包括监控去重数据箱线图的最小值、下四分位数、中位数、上四分位数和最大值;

40、基于数据异常检测需求,获取箱线图内限系数;

41、根据箱线图内限系数和监控去重数据箱线图数据,获取箱线图阈值信息;

42、根据监控去重数据箱线图和箱线图阈值信息,获取监控离群数据;

43、根据监控离群数据,对监控去重数据进行离群数据去除,获取监控修正数据;

44、获取标准监控数据,所述标准监控数据为正常标准状态下的监控数据;

45、根据监控修正数据和标准监控数据,获取监控异常数据;

46、根据数据关联信息和监控异常数据,获取监控特征数据,所述监控特征数据包括事件监控特征数据和数据相关特征信息;

47、其中,所述事件监控特征数据表示与风险事件相关的监控特征数据,所述数据相关特征信息为数据之间互相关联的监控特征数据。

48、优选的,所述根据数据风险评估指数和数据风险评估指数阈值,对数据风险进行预警,具体包括:

49、根据监控特征数据,获取数据风险评估指数;

50、基于数据监控需求,获取数据风险评估指数阈值;

51、根据数据风险评估指数和数据风险评估指数阈值,判断数据风险评估指数是否超出数据风险评估指数阈值,若否,则对数据风险评估指数和监控特征数据进行记录,若是,则输出显示数据风险预警信息;

52、其中,数据风险评估指数的计算公式为:

53、

54、式中,r为数据风险评估指数,为第s个特征数据对第j种风险事件的影响系数,为第s个特征数据的权重,为与第s个特征数据有关联的所有特征数据对第j种本文档来自技高网...

【技术保护点】

1.基于多源数据整合与数据挖掘的监控方法,其特征在于,包括:

2.根据权利要求1所述的基于多源数据整合与数据挖掘的监控方法,其特征在于,所述根据多源监控数据,基于数据整合,获取监控数据集,具体包括:

3.根据权利要求1所述的基于多源数据整合与数据挖掘的监控方法,其特征在于,所述根据监控历史警示信息和监控历史警示数据,基于数据关联规则挖掘,获取数据关联信息,具体包括:

4.根据权利要求1所述的基于多源数据整合与数据挖掘的监控方法,其特征在于,所述根据数据关联信息和监控数据集,获取监控特征数据,具体包括:

5.根据权利要求1所述的基于多源数据整合与数据挖掘的监控方法,其特征在于,所述根据数据风险评估指数和数据风险评估指数阈值,对数据风险进行预警,具体包括:

6.基于多源数据整合与数据挖掘的监控系统,用于实现如权利要求1-5任一项所述的监控方法,其特征在于,包括:

7.根据权利要求6所述的基于多源数据整合与数据挖掘的监控系统,其特征在于,所述主控制模块,具体包括:

8.根据权利要求6所述的基于多源数据整合与数据挖掘的监控系统,其特征在于,所述信息获取模块,具体包括:

9.根据权利要求6所述的基于多源数据整合与数据挖掘的监控系统,其特征在于,所述数据挖掘模块,具体包括:

10.一种计算机可读存储介质,其上存储有计算机可读程序,其特征在于,所述计算机可读程序被调用时执行如权利要求1-5任一所述的监控方法。

...

【技术特征摘要】

1.基于多源数据整合与数据挖掘的监控方法,其特征在于,包括:

2.根据权利要求1所述的基于多源数据整合与数据挖掘的监控方法,其特征在于,所述根据多源监控数据,基于数据整合,获取监控数据集,具体包括:

3.根据权利要求1所述的基于多源数据整合与数据挖掘的监控方法,其特征在于,所述根据监控历史警示信息和监控历史警示数据,基于数据关联规则挖掘,获取数据关联信息,具体包括:

4.根据权利要求1所述的基于多源数据整合与数据挖掘的监控方法,其特征在于,所述根据数据关联信息和监控数据集,获取监控特征数据,具体包括:

5.根据权利要求1所述的基于多源数据整合与数据挖掘的监控方法,其特征在于,所述根据数据风险评估指数和数据风...

【专利技术属性】
技术研发人员:杜红阳王淑玉
申请(专利权)人:山东天大清源信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1