数据预警方法、装置、电子设备及介质制造方法及图纸

技术编号:25715619 阅读:32 留言:0更新日期:2020-09-23 03:00
本发明专利技术涉及大数据,提供一种数据预警方法。该方法能够获取多个待检测数据集并确定异常数据,及根据异常数据在该待检测数据集中的异常占比确定第一数据集,计算每个数据集对的关联度,将关联度大于阈值的数据集对确定为目标数据集对,并确定第二数据集,获取每个待检测数据集中的预测值,并获取该待检测数据集对应的变量的上限值及下限值,确定第三数据集,分析第一数据集、第二数据集及第三数据集的共有数据集,能够准确确定预警数据集,基于异常占比、关联度、预测值与上下限值的大小关系,计算第一数值、第二数值、第三数值,并计算加权和,得到目标数值,生成并定制化推送预警信息。本发明专利技术还涉及区块链技术,所述预警信息存储于区块链中。

【技术实现步骤摘要】
数据预警方法、装置、电子设备及介质
本专利技术涉及数据处理
,尤其涉及一种数据预警方法、装置、电子设备及介质。
技术介绍
随着互联网的发展,对数据的预警显得十分的重要,现有的方案是通过人工查看报表后确定出现问题的数据,进而对出现问题的数据进行分析,然而,由于报表的出表时间往往存在较大的时间延迟,使问题的发现时间较晚,从而影响特定环境下的预警,由于人工方式无法对数据进行实时预警,为此,自动化数据预警方案也应运而生。然而,在现有的自动化数据预警方案中,没有针对多个维度对数据进行分析,导致分析结果不够全面,进而使预警结果不够准确。因此,如何构建全面的数据预警方案,成了有待解决的技术问题。
技术实现思路
鉴于以上内容,有必要提供一种数据预警方法、装置、电子设备及介质,不仅能够通过全面分析待检测数据集中的数据准确确定预警信息,还能够根据用户的关注倾向,向用户定制化推送预警信息。一种数据预警方法,所述方法包括:从数据平台上获取多个待检测数据集,每个待检测数据集对应一个变量;>确定所述多个待检测本文档来自技高网...

【技术保护点】
1.一种数据预警方法,其特征在于,所述数据预警方法包括:/n从数据平台上获取多个待检测数据集,每个待检测数据集对应一个变量;/n确定所述多个待检测数据集中每个待检测数据集的异常数据,及根据每个待检测数据集的异常数据在该待检测数据集中的异常占比确定第一数据集;/n计算所述多个待检测数据集中每个数据集对的关联度,其中,每个数据集对包括任意两个待检测数据集;/n将关联度大于阈值的数据集对确定为目标数据集对,并将所述目标数据集对中的数据集确定为第二数据集;/n获取每个待检测数据集中的预测值,并获取该待检测数据集对应的变量的上限值及下限值;/n将预测值大于所述上限值或者预测值小于所述下限值的待检测数据集...

【技术特征摘要】
1.一种数据预警方法,其特征在于,所述数据预警方法包括:
从数据平台上获取多个待检测数据集,每个待检测数据集对应一个变量;
确定所述多个待检测数据集中每个待检测数据集的异常数据,及根据每个待检测数据集的异常数据在该待检测数据集中的异常占比确定第一数据集;
计算所述多个待检测数据集中每个数据集对的关联度,其中,每个数据集对包括任意两个待检测数据集;
将关联度大于阈值的数据集对确定为目标数据集对,并将所述目标数据集对中的数据集确定为第二数据集;
获取每个待检测数据集中的预测值,并获取该待检测数据集对应的变量的上限值及下限值;
将预测值大于所述上限值或者预测值小于所述下限值的待检测数据集确定为第三数据集;
将所述第一数据集、所述第二数据集及所述第三数据集的共有数据集确定为预警数据集;
基于异常数据在所述预警数据集中的异常占比,计算所述预警数据集的第一数值,基于所述预警数据集所在的目标数据集对的关联度,计算所述预警数据集的第二数值,及基于所述预警数据集的预测值与上限值的大小关系或者所述预警数据集的预测值与下限值的大小关系,计算所述预警数据集的第三数值;
对所述第一数值、所述第二数值及所述第三数值进行加权和运算,得到所述预警数据集的目标数值;
根据所述预警数据集中的所有数据及所述目标数值生成预警信息,并将所述预警信息按照所述目标数值的大小依照预设顺序进行推送。


2.如权利要求1所述的数据预警方法,其特征在于,所述确定所述多个待检测数据集中每个待检测数据集的异常数据,及根据每个待检测数据集的异常数据在该待检测数据集中的异常占比确定第一数据集包括:
确定每个待检测数据集对应的变量所属的变量类型;
针对变量类型为连续类型的待检测数据集,采用拉依达准则将所述待检测数据集中不属于第一预设数据区间的数据确定为所述异常数据,或者,针对变量类型为离散类型的待检测数据集,确定所述待检测数据集中每个枚举值在该待检测数据集中所占的比例,采用拉依达准则将不属于第二预设数据区间的比例确定为目标比例,将所述目标比例对应的枚举值确定为所述异常数据;
计算每个待检测数据集中异常数据的数量,得到每个待检测数据集的目标数量,及计算每个待检测数据集中所有数据的数量,得到每个待检测数据集的总数量;
将每个待检测数据集的目标数量除以每个待检测数据集的总数量,得到每个待检测数据集的异常占比;
将异常占比小于配置值的待检测数据集确定为所述第一数据集。


3.如权利要求1所述的数据预警方法,其特征在于,所述计算所述多个待检测数据集中每个数据集对的关联度包括:
对于任意数据集对,若所述任意数据集对中对应的两个变量均为连续变量,计算所述两个变量的协方差,分别计算所述两个变量的标准差,并将所述两个变量的标准差进行相乘,得到乘积,将所述协方差除以所述乘积,得到所述任意数据集对的关联度;或者
若所述任意数据集对中对应的两个变量均为离散变量,根据所述离散变量对应的数据,采用克莱姆法则计算所述任意数据集对的关联度;或者
若所述任意数据集对中对应的两个变量分别为连续变量及离散变量,采用卡方分箱方法将所述连续变量对应的数据进行离散化,得到离散结果,根据所述离散变量对应的数据及所述离散结果,采用克莱姆法则计算所述任意数据集对的关联度。


4.如权利要求1所述的数据预警方法,其特征在于,在基于所述预警数据集所在的目标数据集对的关联度,计算所述预警数据集的第二数值之前,所述数据预警方法还包括:
当检测到所述预警数据集所在的目标数据集对有多个时,将多个目标数据集对确定为给定数据集对;
获取所述给定数据集对的给定关联度;
计算所述给定关联度的平均值,得到所述预警数据集的关联度。


5.如权利要求1所述的数据预警方法,其特征在于,所述基于异常数据在所述预警数据集中的异常占比,计算所述预警数据集的第一数值,基于所述预警数据集所在的目标数据集对的关联度,计算所述预警数据集的第二数值及基于所述预警数据集的预测值与上限值的大小关系或者所述预警数据集的预测值与下限值的大小关系,计算所述预警数据集的第三数值包括:
...

【专利技术属性】
技术研发人员:王天宇吴满芳
申请(专利权)人:深圳壹账通智能科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1