源数据的标准化方法及装置、存储介质及电子装置制造方法及图纸

技术编号:41309363 阅读:13 留言:0更新日期:2024-05-13 14:53
本申请公开了一种源数据的标准化方法及装置、存储介质及电子装置,其中,上述方法包括:根据预设数据标准对源数据进行标准化处理,并将标准化后的源数据存储至数据仓库中,其中,所述源数据中每一类子数据的数据来源均不同;根据预设检核规则对所述标准化后的源数据进行数据质量检核,得到质量检核结果,其中,所述质量检核结果用于指示所述标准化后的源数据中存在的异常数据;对所述异常数据进行数据加工,并根据所述质量检核结果对所述预设数据标准进行调整;采用上述方案,解决了现有技术中进行不同数据源之间的数据整合时,缺少统一的数据标准,无法对异常数据进行发现和检测的问题。

【技术实现步骤摘要】

本申请涉及智能监控领域,具体而言,涉及一种源数据的标准化方法及装置、存储介质及电子装置


技术介绍

1、现阶段各领域都开始了大数据平台的搭建,期望运用大数据能力,来实现企业数字化转型。企业通过建立数据字典、数据标准,有效管理其日益重要的数据资源,同时建立数据质量管控机制,不断提升数据质量和数据治理能力。但是在建设的过程中,都面临着:(1)数据多源异构、数据不完整、数据重复、数据不一致、数据不规范、数据溯源能力不足等质量问题;(2)现有的数据平台大多只进行了数据的接入和数据的存储,对于数据质量的管控能力不足,数据质量的管控依赖于人工处理,自动化水平有待提高。数据质量问题以事后发现和处理为主,缺乏主动发现和预警能力,质量问题依旧很突出。

2、针对上述问题,目前市场上已经出现了多种解决方案,如datapipeline数据融合技术,如图2所示,以数据融合平台作为切入口,具备多模式数据处理能力,即针对不同数据链路源端与目的端自动匹配最佳链路构建方式,可进行多源异构的数据流转、实时etl等。

3、datapipeline数据融合系统提供了数据无本文档来自技高网...

【技术保护点】

1.一种源数据的标准化方法,其特征在于,包括:

2.根据权利要求1所述的源数据的标准化方法,其特征在于,根据预设数据标准对源数据进行标准化处理之前,所述方法还包括:

3.根据权利要求2所述的源数据的标准化方法,其特征在于,根据预设检核规则对所述标准化后的源数据进行数据质量检核之前,所述方法还包括:

4.根据权利要求3所述的源数据的标准化方法,其特征在于,根据预设检核规则对所述标准化后的源数据进行数据质量检核,得到质量检核结果,包括以下至少之一:

5.根据权利要求4所述的源数据的标准化方法,其特征在于,对所述异常数据进行数据加工,包括:...

【技术特征摘要】

1.一种源数据的标准化方法,其特征在于,包括:

2.根据权利要求1所述的源数据的标准化方法,其特征在于,根据预设数据标准对源数据进行标准化处理之前,所述方法还包括:

3.根据权利要求2所述的源数据的标准化方法,其特征在于,根据预设检核规则对所述标准化后的源数据进行数据质量检核之前,所述方法还包括:

4.根据权利要求3所述的源数据的标准化方法,其特征在于,根据预设检核规则对所述标准化后的源数据进行数据质量检核,得到质量检核结果,包括以下至少之一:

5.根据权利要求4所述的源数据的标准化方法,其特征在于,对所述异常数据进行数据加工,包括:

6.根据...

【专利技术属性】
技术研发人员:肖震
申请(专利权)人:中国建设银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1