【技术实现步骤摘要】
本申请涉及数据处理,特别是涉及一种数据处理方法、装置、电子设备及存储介质。
技术介绍
1、数据清洗是对脏数据进行检测和纠正的过程,是进行数据分析和管理的基础。对经典和新兴的数据清洗技术进行分类和总结,为进一步的研究工作提供方向。目前对数据缺失、数据冗余、数据冲突和数据错误这4种数据噪声的检测技术是常见的数据清洗方式。按照数据清洗方式对数据噪声的消除技术进行分类概述,包括基于完整性约束的数据清洗算法、基于规则的数据清洗算法、基于统计的数据清洗算法和人机结合的数据清洗算法。
2、结构化数据是指可以使用二维表结构表示和存储的数据,具有易于输入、存储、查询和分析的特点,因此在现实世界中被广泛应用,例如企业资源计划、医疗信息系统等。目前,仍存在针对结构化数据持续且波动不大数据进行清洗及梳理及数据结构复杂造成查询时效性差的问题。
技术实现思路
1、本申请实施例所要解决的技术问题是提供一种数据处理方法、装置、电子设备及存储介质,以解决现有技术中针对结构化持续且波动不大数据进行清洗及梳理及数据
...【技术保护点】
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对采集的原始数据进行数据清洗及平稳性检验,得到待检测数据集合,包括:
3.根据权利要求1所述的方法,其特征在于,所述基于预设聚类算法对所述待检测数据集合进行数据聚合处理,得到目标数据矩阵,包括:
4.根据权利要求1所述的方法,其特征在于,所述基于预设聚类算法对所述待检测数据集合进行数据聚合处理,得到目标数据矩阵,包括:
5.根据权利要求4所述的方法,其特征在于,所述将所述目标数据矩阵存储于数据湖的对应目标数据池内,包括:
>6.根据权利...
【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对采集的原始数据进行数据清洗及平稳性检验,得到待检测数据集合,包括:
3.根据权利要求1所述的方法,其特征在于,所述基于预设聚类算法对所述待检测数据集合进行数据聚合处理,得到目标数据矩阵,包括:
4.根据权利要求1所述的方法,其特征在于,所述基于预设聚类算法对所述待检测数据集合进行数据聚合处理,得到目标数据矩阵,包括:
5.根据权利要求4所述的方法,其特征在于,所述将所述目标数据矩阵存储于数据湖的对应目标数据池内...
【专利技术属性】
技术研发人员:韦荣正,
申请(专利权)人:中国电信股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。