一种数据处理方法技术

本申请提供一种数据处理方法

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]目前，服务器获取到采集数据之后，可以将采集数据发送至管理信息系统进行处理和应用
。
[0003]但是，上述方法中，采集到的数据可能会比较杂乱，服务器直接将该采集到的数据发送至管理信息系统进行存储和应用，可能需要对该杂乱的数据分别进行处理，降低了数据处理的效率
。

技术实现思路

[0004]本申请提供一种数据处理方法
、
装置
、
电子设备及存储介质，解决了采集到的数据可能会比较杂乱，服务器直接将该采集到的数据发送至管理信息系统进行存储和应用，可能需要对该杂乱的数据分别进行处理，降低了数据处理的效率的技术问题
。
[0005]第一方面，本申请提供一种数据处理方法，包括：获取多条原始采集数据，该原始采集数据中包括至少一个字段名以及该至少一个字段名中每个字段名本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，应用于电子设备，包括：获取多条原始采集数据，所述原始采集数据中包括至少一个字段名以及所述至少一个字段名中每个字段名对应的数据；基于所述每个字段名对应的数据的均值以及所述每个字段名对应的数据的标准差，对所述多条原始采集数据进行标准化处理，得到多条第一处理数据；确定所述多条第一处理数据中包括的重复数据；从所述多条第一处理数据中删除所述重复数据，得到至少一条第一处理数据；基于分区字段对所述至少一条第一处理数据进行分区存储
。2.
根据权利要求1所述的数据处理方法，其特征在于，所述确定所述多条第一处理数据中包括的重复数据，包括：基于目标关键字确定
M
条数据，所述
M
条数据中每一条数据包括所述目标关键字，
M
为大于或等于1的整数；在所述
M
条数据的数据类型为文本数据，并且第一条数据与第二条数据之间的相似度大于或等于相似度阈值的情况下，确定所述第一条数据与所述第二条数据重复，并且确定所述第一条数据或所述第二条数据为重复数据，所述第一条数据为所述
M
条数据中的一个，所述第二条数据为所述
M
条数据中除所述第一条数据以外的数据
。3.
根据权利要求2所述的数据处理方法，其特征在于，所述方法还包括：在所述
M
条数据的数据类型为数值数据，并且第一数值与第二数值相同的情况下，确定所述第一条数据与所述第二条数据重复，并且确定所述第一条数据或所述第二条数据为重复数据，所述第一数值为所述第一条数据中包括的目标字段名对应的数值，所述第二数值为所述第二条数据中包括的目标字段名对应的数值
。4.
根据权利要求1所述的数据处理方法，其特征在于，所述获取多条原始采集数据，包括：获取目标采集设备发送的请求连接报文，所述连接报文中包括所述目标采集设备的标识以及目标协议级别；在所述目标协议级别与所述电子设备中存储的与所述目标采集设备的标识对应的协议级别相同的情况下，接收所述目标采集设备发送的所述多条原始采集数据
。5.
一种数据处理装置，其特征在于，应用于电子设备，包括：获取模块
、
处理模块
、
确定模块以及存储模块；所述获取模块，用于获取多条原始采集数据，所述原始采集数据中包括至少一个字段名以及所述至少一个字段名中每个字段名对应的数据；所述处理模块，用于基于所述每个字段名对应的数据的均值以及所述...

【专利技术属性】
技术研发人员：杨炼钢，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：