一种数据处理方法、装置、计算机设备及可读存储介质制造方法及图纸

技术编号:34774235 阅读:25 留言:0更新日期:2022-08-31 19:42
本发明专利技术涉及异常数据处理领域,尤其涉及一种数据处理方法、装置、计算机设备及可读存储介质。包括:获取异常上报数据;确定异常上报数据对应的缺失数据类型和第一日期;根据第一日期确定目标时间段;根据缺失数据类型和目标时间段,获取至少一个目标基线数据;根据至少一个目标基线数据确定补偿基线数据;根据补偿基线数据对异常上报数据进行补偿。本申请通过使用正常使用时段的目标基线数据对异常上报数据进行补偿,可以使异常上报数据转变为正常的上报数据,由此,可以减少对由于非网络攻击导致的异常上报数据的告警次数,进而减少不准确告警的次数。告警的次数。告警的次数。

【技术实现步骤摘要】
一种数据处理方法、装置、计算机设备及可读存储介质


[0001]本专利技术涉及异常数据处理领域,尤其涉及一种数据处理方法、装置、计算机设备及可读存储介质。

技术介绍

[0002]随着信息化的不断发展和深入,信息技术(Information Technology,IT)系统功能日益强大,涉及的信息种类也日益增多,这导致现有IT系统也逐渐复杂。为及时发现IT系统故障、识别潜在风险及安全隐患,通常需要对IT系统中的数据进行监控,以检测异常行为。
[0003]相关技术采用基线比对的方式进行异常行为检测,具体为:通过将当天统计数据得出的待检上报数据,比对前N天的基准基线数据,确定出符合异常行为阈值的待检上报数据后进行告警。
[0004]但是,相关技术中存在大量误报警的问题。

技术实现思路

[0005]有鉴于此,本专利技术提供一种数据处理方法、装置、计算机设备及可读存储介质,至少部分解决现有技术中存在的大量误报警的问题。
[0006]根据本公开实施例的第一方面,提供一种数据处理方法,包括:
[0007]获取异常上报数据;
[0008]确定所述异常上报数据对应的缺失数据类型和第一日期;
[0009]根据所述第一日期确定目标时间段;
[0010]根据所述缺失数据类型和所述目标时间段,获取至少一个目标基线数据,所述目标基线数据属于所述缺失数据类型;
[0011]根据至少一个目标基线数据确定补偿基线数据;
[0012]根据所述补偿基线数据对所述异常上报数据进行补偿。
[0013]作为本专利技术一种可能的实现方式,所述根据所述缺失数据类型和所述目标时间段,获取至少一个目标基线数据,包括:
[0014]确定所述目标时间段内包含的至少一个第二日期;
[0015]获取每一所述第二日期对应的上报数据中属于所述缺失数据类型的目标基线数据。
[0016]作为本专利技术一种可能的实现方式,所述目标时间段包括至少一个子时间段;
[0017]所述根据所述缺失数据类型和所述目标时间段,获取至少一个目标基线数据,包括:
[0018]根据所述缺失数据类型和至少一个所述子时间段,分别获取每一所述子时间段对应的所述目标基线数据。
[0019]作为本专利技术一种可能的实现方式,所述子时间段包括至少一个第三日期;
[0020]所述根据所述缺失数据类型和至少一个所述子时间段,分别获取每一所述子时间段对应的所述目标基线数据,包括:
[0021]确定每一所述子时间段对应的至少一个第三日期;
[0022]获取每一所述第三日期对应的上报数据中属于所述缺失数据类型的第一子目标基线数据;
[0023]根据每一所述子时间段对应的所述第一子目标基线数据,分别确定每一所述子时间段对应的所述目标基线数据。
[0024]作为本专利技术一种可能的实现方式,每一所述子时间段均包括多个第四日期,且所述第四日期的数量大于设定阈值;
[0025]所述根据所述缺失数据类型和至少一个所述子时间段,分别获取每一所述子时间段对应的所述目标基线数据,包括:
[0026]确定每一所述子时间段中对应的多个第四日期;
[0027]获取每一所述第四日期对应的上报数据中属于所述缺失数据类型且符合采集规则的第二子目标基线数据;
[0028]根据每一所述子时间段对应的所述第二子目标基线数据,分别确定每一所述子时间段对应的所述目标基线数据。
[0029]作为本专利技术一种可能的实现方式,多个所述第二子目标基线数据符合正态分布;
[0030]根据每一所述子时间段对应的所述第二子目标基线数据,分别确定每一所述子时间段对应的所述目标基线数据,包括:
[0031]根据每一所述子时间段对应的所述第二子目标基线数据,确定该子时间段对应的正态分布图;
[0032]获取每一所述子时间段对应的正态分布图中处于(μ

3σ,μ+3σ)区间内的至少一个所述第二子目标基线数据;
[0033]根据每一所述子时间段对应的所述第二子目标基线数据,确定每一所述子时间段对应的所述目标基线数据。
[0034]作为本专利技术一种可能的实现方式,在所述根据第一日期确定目标时间段之前,所述方法还包括:
[0035]确定所述第一日期是否具有设定属性;
[0036]若具有,则所述根据第一日期确定目标时间段,包括:
[0037]根据所述第一日期,确定第七日期和第八日期;
[0038]判断所述第七日期和所述第八日期是否具有设定属性,得到判断结果,所述第七日期早于所述第一日期,且与所述第一日期相邻,所述第八日期晚于所述第一日期,且与所述第一日期相邻;
[0039]根据所述判断结果确定所述目标时间段。
[0040]作为本专利技术一种可能的实现方式,所述根据至少一个目标基线数据确定补偿基线数据,包括:
[0041]根据采集时间特征,确定每一目标基线数据中的有效基线数据;
[0042]根据至少一个所述有效基线数据,确定补偿基线数据。
[0043]根据本公开实施例的第二方面,提供一种数据处理装置,包括:
[0044]第一获取模块,用于获取异常上报数据;
[0045]第一确定模块,用于确定所述异常上报数据对应的缺失数据类型和第一日期;
[0046]第二确定模块,用于根据第一日期确定目标时间段;
[0047]第二获取模块,用于根据所述缺失数据类型和所述目标时间段,获取至少一个与所述缺失数据类型对应的目标基线数据;
[0048]第三确定模块,用于根据至少一个目标基线数据确定补偿基线数据;
[0049]补偿模块,用于根据所述补偿基线数据对所述异常上报数据进行补偿。
[0050]根据本公开实施例的第三方面,提供一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的数据处理方法。
[0051]本公开的实施例提供的技术方案可以包括以下有益效果:
[0052]本申请通过至少一个目标基线数据来确定出补偿基线数据,将补偿基线数据预估推定为第一日期应该对应的正常的上报数据,并用对应的补偿基线数据对异常上报数据进行替换补偿。由此,可以将由于节假日、断电等正常情况导致的异常上报数据替换转变为正常的上报数据,进而,可以减少对由于非网络攻击导致的异常上报数据的告警次数,进而减少不准确告警的次数。
[0053]应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
[0054]为了更清楚地说明本专利技术实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
[0055]图1为本申请一本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:获取异常上报数据;确定所述异常上报数据对应的缺失数据类型和第一日期;根据所述第一日期确定目标时间段;根据所述缺失数据类型和所述目标时间段,获取至少一个与所述缺失数据类型对应的目标基线数据;根据至少一个目标基线数据确定补偿基线数据;根据所述补偿基线数据对所述异常上报数据进行补偿。2.根据权利要求1所述的一种数据处理方法,其特征在于,所述根据所述缺失数据类型和所述目标时间段,获取至少一个目标基线数据,包括:确定所述目标时间段内包含的至少一个第二日期;获取每一所述第二日期对应的上报数据中属于所述缺失数据类型的目标基线数据。3.根据权利要求1所述的一种数据处理方法,其特征在于,所述目标时间段包括至少一个子时间段;所述根据所述缺失数据类型和所述目标时间段,获取至少一个目标基线数据,包括:根据所述缺失数据类型和至少一个所述子时间段,分别获取每一所述子时间段对应的所述目标基线数据。4.根据权利要求3所述的一种数据处理方法,其特征在于,所述子时间段包括至少一个第三日期;所述根据所述缺失数据类型和至少一个所述子时间段,分别获取每一所述子时间段对应的所述目标基线数据,包括:确定每一所述子时间段对应的至少一个第三日期;获取每一所述第三日期对应的上报数据中属于所述缺失数据类型的第一子目标基线数据;根据每一所述子时间段对应的所述第一子目标基线数据,分别确定每一所述子时间段对应的所述目标基线数据。5.根据权利要求3所述的一种数据处理方法,其特征在于,每一所述子时间段均包括多个第四日期,且所述第四日期的数量大于设定阈值;所述根据所述缺失数据类型和至少一个所述子时间段,分别获取每一所述子时间段对应的所述目标基线数据,包括:确定每一所述子时间段中对应的多个第四日期;获取每一所述第四日期对应的上报数据中属于所述缺失数据类型且符合采集规则的第二子目标基线数据;根据每一所述子时间段对应的所述第二子目标基线数据,分别确定每一所述子时间段对应的所述目标基线数据。6.根据权利要求5所述的一种数据处理方法,其特征在...

【专利技术属性】
技术研发人员:尹百东张道林庞齐肖新光
申请(专利权)人:安天科技集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1