【技术实现步骤摘要】
本申请涉及智能监控领域,具体而言,涉及一种源数据的标准化方法及装置、存储介质及电子装置。
技术介绍
1、现阶段各领域都开始了大数据平台的搭建,期望运用大数据能力,来实现企业数字化转型。企业通过建立数据字典、数据标准,有效管理其日益重要的数据资源,同时建立数据质量管控机制,不断提升数据质量和数据治理能力。但是在建设的过程中,都面临着:(1)数据多源异构、数据不完整、数据重复、数据不一致、数据不规范、数据溯源能力不足等质量问题;(2)现有的数据平台大多只进行了数据的接入和数据的存储,对于数据质量的管控能力不足,数据质量的管控依赖于人工处理,自动化水平有待提高。数据质量问题以事后发现和处理为主,缺乏主动发现和预警能力,质量问题依旧很突出。
2、针对上述问题,目前市场上已经出现了多种解决方案,如datapipeline数据融合技术,如图2所示,以数据融合平台作为切入口,具备多模式数据处理能力,即针对不同数据链路源端与目的端自动匹配最佳链路构建方式,可进行多源异构的数据流转、实时etl等。
3、datapipeline数据
...【技术保护点】
1.一种源数据的标准化方法,其特征在于,包括:
2.根据权利要求1所述的源数据的标准化方法,其特征在于,根据预设数据标准对源数据进行标准化处理之前,所述方法还包括:
3.根据权利要求2所述的源数据的标准化方法,其特征在于,根据预设检核规则对所述标准化后的源数据进行数据质量检核之前,所述方法还包括:
4.根据权利要求3所述的源数据的标准化方法,其特征在于,根据预设检核规则对所述标准化后的源数据进行数据质量检核,得到质量检核结果,包括以下至少之一:
5.根据权利要求4所述的源数据的标准化方法,其特征在于,对所述异常数据进行数
...【技术特征摘要】
1.一种源数据的标准化方法,其特征在于,包括:
2.根据权利要求1所述的源数据的标准化方法,其特征在于,根据预设数据标准对源数据进行标准化处理之前,所述方法还包括:
3.根据权利要求2所述的源数据的标准化方法,其特征在于,根据预设检核规则对所述标准化后的源数据进行数据质量检核之前,所述方法还包括:
4.根据权利要求3所述的源数据的标准化方法,其特征在于,根据预设检核规则对所述标准化后的源数据进行数据质量检核,得到质量检核结果,包括以下至少之一:
5.根据权利要求4所述的源数据的标准化方法,其特征在于,对所述异常数据进行数据加工,包括:
6.根据...
【专利技术属性】
技术研发人员:肖震,
申请(专利权)人:中国建设银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。