一种主数据处理方法、基于主数据的交互方法和系统技术方案

技术编号:34293577 阅读:32 留言:0更新日期:2022-07-27 10:06
一种主数据处理方法、基于主数据的交互方法和系统,涉及大数据处理技术领域,其中主数据处理方法包括:构建对象管理模型,包括对象属性以及与其他对象的关联关系;构建基于所述对象管理模型控制的接口核验处理路径,接收ETL将数据映射成所述对象管理模型中的对象实例后的处理数据,以所述对象管理模型进行核验接收:生成对象基线表,储存于第一数据库;生成与所述对象基线表对应的对象数据表,存于第二数据库;每一次接收ETL处理数据,均根据所述对象管理模型生成带有基线版本的对象基线表,与当前对象基线表基线版本相同的对象数据表。该方案构建主数据模型下的数据处理,在数据ETL传入时即完成数据各个维度的坐标标注。传入时即完成数据各个维度的坐标标注。传入时即完成数据各个维度的坐标标注。

【技术实现步骤摘要】
一种主数据处理方法、基于主数据的交互方法和系统


[0001]本专利技术涉及数据处理领域,尤其涉及一种主数据处理方法、基于主数据的交互方法和系统。

技术介绍

[0002]目前,行业中流行的主流数据可视化工具(报表类)都需要大量的人工维护数据关系(数据血缘关系和业务聚合关系)来实现数据的钻取分析,其中,数据血缘关系主要指数据的处理和计算血缘,包括流水表数据和汇总结果的关系等等,已成为数据质量管理的必要抓手。由于业务持久的动态变化,数据血缘也随之变化,在数据仓库场景下,如果人工进行字段级的准确数据血缘关系,会消耗大量的维护人力和管理成本,一旦关系更新不及时往往会带来很多分析上的错误影响,人工维护的滞后性也满足不了进一步数据运维自动化的要求。
[0003]同时系统的用户和维护工程师需要对于数据库表结构、数据字段的定义、数据口径非常熟悉,相关的知识需要在系统外通过文档或者口口相传,进一步制约数据的价值挖掘和应用。

技术实现思路

[0004]本专利技术针对现有技术中的缺点,构建主数据处理方法,构建模型在数据传入时即完成数据维度的分析本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种主数据处理方法,其特征在于,包括以下步骤:构建对象管理模型,包括对象属性以及与其他对象的关联关系;构建基于所述对象管理模型控制的接口核验处理路径,接收ETL将数据映射成所述对象管理模型中的对象实例后的处理数据,以所述对象管理模型进行核验接收:生成对象基线表,储存于第一数据库;生成与所述对象基线表对应的对象数据表,存于第二数据库;每一次接收ETL处理数据,均根据所述对象管理模型生成带有基线版本的对象基线表,与当前对象基线表的基线版本相同的对象数据表。2.根据权利要求1所述的主数据处理方法,其特征在于,还包括步骤:当ETL处理时根据已构建的对象管理模型映射完成后将数据传输给数据接口核验时,识别对象属性以及与其他对象的关联关系的数据变化,根据所述数据变化自动创建新的对象基线版本数据。3.根据权利要求1或2所述的主数据处理方法,其特征在于,每一次接收的同一批处理数据中的所有指标作为最小指标集赋予坐标信息,所述坐标信息包括时间坐标,以及根据所述对象基线表确定的所述最小指标集所属对象、相关对象的属性以及与其他对象的关联关系。4.根据权利要求2所述的主数据处理方法,其特征在于,根据对象ID将最新版本的对象基线数据缓存在内存数据库中。5.一种基于主数据的交互方法,其特征在于,所述主数据为权利要求1

4任意一项所述的主数据处理方法中得到的主数据,具体包括以下步骤:创建若干汇总路径模型,根据所述汇总路径模型的汇总路径以及汇总路径上的节点...

【专利技术属性】
技术研发人员:王联军马平男王有兵李元星
申请(专利权)人:杭州雅拓信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1