【技术实现步骤摘要】
本专利技术涉及一种从多数据源自动化构建数据集市的方法,属于数据处理。
技术介绍
1、在当今数据驱动的商业环境中,数据集市(data mart)作为一种面向部门的物理存储,发挥着不可忽视的作用。数据集市本质上是一个非规范化的部门数据库,专注于存储特定业务领域的数据,它能够精准地反映组织中每个业务单元的规则和流程规范。与数据仓库(data warehous e)相比,数据集市的数据量相对较小,这使得它在构建和维护成本上更具优势,同时也便于数据的长期汇总和操作,经过统计处理后的数据能够为业务团队人员提供有力支持,助力他们依据已有数据分析做出决策。数据集市中的数据来源多样,一方面可以是从数据湖、数据仓库中获取的数据,另一方面也可以是从不同的信息来源(例如web数据)集成而来的数据。
2、业界实践中,通常依据数据来源不同将数据集市分为独立型和从属型两种类型。独立型数据集市直接从操作型环境,即各个业务系统中提取数据,而从属型数据集市则从企业级数据仓库中获取数据。无论是哪种类型的数据集市,其构建过程大体相似,一般都是先从数据源中获取数据,
...【技术保护点】
1.一种从多数据源自动化构建数据集市的方法,其特征在于包括以下步骤:
2.如权利要求1所述的方法,其特征在于所述导入模板中包含版本元数据、元数据库管理数据和来源描述数据,用于将原始的数据转换为属性-值对的形式。
3.如权利要求1所述的方法,其特征在于所述转换模板为包含以下元素的元组:
4.如权利要求1所述的方法,其特征在于所述数据装载组件执行以下操作:
5.如权利要求1所述的方法,其特征在于所述验证评价组件的验证过程包括:
6.如权利要求1所述的方法,其特征在于填充维度表的ETL过程包括如下步骤:
【技术特征摘要】
1.一种从多数据源自动化构建数据集市的方法,其特征在于包括以下步骤:
2.如权利要求1所述的方法,其特征在于所述导入模板中包含版本元数据、元数据库管理数据和来源描述数据,用于将原始的数据转换为属性-值对的形式。
3.如权利要求1所述的方法,其特征在于所述转换模板为包含以下元素的元组:
4.如权利要求1所述的方法,其特征在于所述数据装载组件执行以下操作:
5.如权利要求1所述的方法,其特征在于所述验证评价组件的验证过程包括:
6.如权利要求1所述的方法,其...
【专利技术属性】
技术研发人员:王永斌,王克文,张东涛,王佼,黄永聪,杨杰,郝佐霖,
申请(专利权)人:国能新朔铁路有限责任公司通信技术分公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。