数据处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:42146231 阅读:17 留言:0更新日期:2024-07-27 00:01
本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质。所述方法包括:对采集的原始数据进行数据清洗及平稳性检验,得到待检测数据集合;基于预设聚类算法对所述待检测数据集合进行数据聚合处理,得到目标数据矩阵;将所述目标数据矩阵存储于数据湖的对应目标数据池内;基于预设数据查询分析引擎在所述数据湖内建立所述目标数据池之间的连通通道,以作为数据分布式查询通道。本申请实施例可以实现数据清洗及分布式查询的优化,同时在进行数据查询时通过元数据进行快速在数据池内快速查询,提高了数据查询的时效性。

【技术实现步骤摘要】

本申请涉及数据处理,特别是涉及一种数据处理方法、装置、电子设备及存储介质


技术介绍

1、数据清洗是对脏数据进行检测和纠正的过程,是进行数据分析和管理的基础。对经典和新兴的数据清洗技术进行分类和总结,为进一步的研究工作提供方向。目前对数据缺失、数据冗余、数据冲突和数据错误这4种数据噪声的检测技术是常见的数据清洗方式。按照数据清洗方式对数据噪声的消除技术进行分类概述,包括基于完整性约束的数据清洗算法、基于规则的数据清洗算法、基于统计的数据清洗算法和人机结合的数据清洗算法。

2、结构化数据是指可以使用二维表结构表示和存储的数据,具有易于输入、存储、查询和分析的特点,因此在现实世界中被广泛应用,例如企业资源计划、医疗信息系统等。目前,仍存在针对结构化数据持续且波动不大数据进行清洗及梳理及数据结构复杂造成查询时效性差的问题。


技术实现思路

1、本申请实施例所要解决的技术问题是提供一种数据处理方法、装置、电子设备及存储介质,以解决现有技术中针对结构化持续且波动不大数据进行清洗及梳理及数据结构复杂造成查询时效本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对采集的原始数据进行数据清洗及平稳性检验,得到待检测数据集合,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于预设聚类算法对所述待检测数据集合进行数据聚合处理,得到目标数据矩阵,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于预设聚类算法对所述待检测数据集合进行数据聚合处理,得到目标数据矩阵,包括:

5.根据权利要求4所述的方法,其特征在于,所述将所述目标数据矩阵存储于数据湖的对应目标数据池内,包括:>

6.根据权利...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对采集的原始数据进行数据清洗及平稳性检验,得到待检测数据集合,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于预设聚类算法对所述待检测数据集合进行数据聚合处理,得到目标数据矩阵,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于预设聚类算法对所述待检测数据集合进行数据聚合处理,得到目标数据矩阵,包括:

5.根据权利要求4所述的方法,其特征在于,所述将所述目标数据矩阵存储于数据湖的对应目标数据池内...

【专利技术属性】
技术研发人员:韦荣正
申请(专利权)人:中国电信股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1