数据处理方法、装置、存储介质及电子设备制造方法及图纸

技术编号:40706710 阅读:18 留言:0更新日期:2024-03-22 11:06
本发明专利技术公开了一种数据处理方法、装置、存储介质及电子设备。其中,该方法包括:获取初始数据集合,其中,初始数据集合中包括的多条数据符合预定指数分布,多条数据与目标事件存在关联;确定初始数据集合的信息熵,以及确定多条数据分别对应的拟合值,其中,信息熵用于表示多条数据中发生目标事件的概率,拟合值用于表示多条数据中未参与预定回归预测模型训练的数据量;基于信息熵,以及多条数据分别对应的拟合值,对初始数据集合进行异常数据剔除,生成目标数据集合。本发明专利技术解决了相关技术中存储的数据,不会对异常数据进行剔除,导致数据库存入的数据有效性不理想的技术问题。

【技术实现步骤摘要】

本专利技术涉及大数据处理领域及网络安全领域,具体而言,涉及一种数据处理方法、装置、存储介质及电子设备


技术介绍

1、随着网络应用的不断扩大,对网络安全的要求越来越高,网络信息系统安全面临严峻排战,传统网络安全分析依靠的现有网络安全产品面对网络数据量的急剧增大、攻击类型的急剧增多,其检测性能显得明显不足,用其分析大量的日志信息来发现网络异常的方式有效性交底。在这种情况下,产生了适应网络安全要求的网络安全可视化技术。

2、异常数据通常与主要数据分布不符,相关技术中不进行异常数据的剔除处理,会影响到网络数据的整体质量。进行网络安全识别学习时,这些异常数据可能会过度拟合这些异常数据,导致对正常数据的预测能力下降,影响数据处理的稳定性和可靠性。

3、针对上述的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本专利技术实施例提供了一种数据处理方法、装置、存储介质及电子设备,以至少解决相关技术中存储的数据,不会对异常数据进行剔除,导致数据库存入的数据有效性不理想的技术问题

2、本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述基于所述多条数据分别对应的信息熵和拟合值,对所述初始数据集合进行异常数据剔除,生成目标数据集合之后,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述预定数据库为支持数据分布式搜索引擎的多源异构数据库,所述预定数据库分别通过多个查询接口与不同数据源进行交互。

4.根据权利要求1所述的方法,其特征在于,所述确定所述初始数据集合的信息熵,包括:

5.根据权利要求1所述的方法,其特征在于,确定所述多条数据分别对应的拟合值,包括:

6...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述基于所述多条数据分别对应的信息熵和拟合值,对所述初始数据集合进行异常数据剔除,生成目标数据集合之后,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述预定数据库为支持数据分布式搜索引擎的多源异构数据库,所述预定数据库分别通过多个查询接口与不同数据源进行交互。

4.根据权利要求1所述的方法,其特征在于,所述确定所述初始数据集合的信息熵,包括:

5.根据权利要求1所述的方法,其特征在于,确定所述多条数据分别对应的拟合值,包括:

6.根据权利要求1所述的方法,其特征在于,所述...

【专利技术属性】
技术研发人员:陈裕頲
申请(专利权)人:天翼电子商务有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1