数据集市的数据管理系统和数据管理方法技术方案

本发明专利技术提供一种数据集市的数据管理系统和数据管理方法，系统包括：数据管理平台，设置有业务数据模型、目标数据源、维表模型、宽表模型、用户信息、用户权限信息和可用资源；数据中台，用于从数据源进行数据抽取、转换和加载；数据准备层，用于通过数据中台数据抽取，将产生的数据记录存储在数据仓库中，并基于业务数据模型中的业务规则进行业务数据的抽取和数据清洗，获得结构化的明细表；服务数据层用于基于维表模型中设置的维度和维度属性对明细表数据进行汇总，获得维表和汇总表；应用数据层基于宽表模型中设置的维度和字段信息对服务数据层中的数据信息提取获得应用数据；应用数据层和数据管理平台均为数据集成应用平台提供有数据访问接口。供有数据访问接口。供有数据访问接口。

【技术实现步骤摘要】
数据集市的数据管理系统和数据管理方法


[0001]本专利技术涉及大数据
，尤其涉及一种数据集市的数据管理系统和数据管理方法。

技术介绍

[0002]数据集市（DataMart），也叫数据市场，为一个从将应用、业务、操作的原始数据，收集汇总到数据仓库，并为特定专业人员团队提供专业数据服务的小型数据仓库，设计目的是支持决策、支持系统功能。数据集市是一种更小、更集中的数据仓库，简单来讲，原始数据产生自业务数据库，为了方便统计而进入数据仓库，进而又流入特殊专业人员团队以支持这些团队的定制化使用。而这些团队级的数据库就可以称之为数据集市。一个数据集市就是一个团队级的数据集合，并为之的决策（需求）支持而组织起来的数据和规则称之为“主题域”。在数据集市中，每个数据单元都有固定的时间戳，数据为原子级别的数据和按照时间维度汇总的用户数据。数据包含不可更新数据（操作数据）和不断变化的数据（业务数据）集合，主要作用是，经过汇集多业务系统中业务数据和操作数据，用以支持业务经营者做多维度数据分析，以支持其经营决策。
[0003]从数据来源分析，数据集市的数据来自于企业各业务线的业务数据库、日志文件、操作记录，或者已经建立起来的特殊数据仓库。但是，基于业务线服务产生的数据，有结构化业务数据、非结构化业务数据和非结构化日志数据等多种格式的数据，存储路径和介质也各不相同，因此无法有效对数据进行管理，从而导致分析数据极为困难，开发成果的运行效率低。在各业务线提出数据需求时，往往会重新按照项目交付制度，反复立项、开发、测试、投产，导致数据出具效率低下。
[0004]此外，数据集市虽然可看成是一种更小、更集中的数据仓库，但它与传统的数据仓库有存在着一些区别，主要体现在：（1）面向的对象不同，数据仓库是面向整个企业的，其数据包含了企业内所有业务数据，并为企业提供数据支持；而数据集市是面向更小团队的；（2）数据颗粒度不同，数据仓库颗粒度很小，基本上是明细数据；数据集市则可以根据不同的维度提供宽表数据或者汇总数据；（3）数据集市的数据一部分来自于数据仓库，但是还有一部分来自于各业务、应用产生的非业务数据（即无法囊括于数据仓库的数据）。在这种情况下，如果采用数据仓库直接提供的数据查询服务，则会存在以下问题：1）查询数量大、计算成本大、对应的硬件投入高；2）在使用高峰期容易出现响应超时、数据仓库宕机等事故；3）交付数据报表的时间长、成本高，修改和维护的成本也高；4）数据复用性差；以及5）数据管理困难。
[0005]如何基于数据集市进行快速地数据获取，提高数据的获取效率，提高数据复用性并易于管理，这是目前有待解决的问题。

技术实现思路

[0006]有鉴于此，本专利技术实施例提供了一种数据集市的数据管理系统和数据管理方法，
以解决现有技术中的一个或更多个缺陷。
[0007]本专利技术的技术方案如下：一种数据集市的数据管理系统，该系统包括：数据源、数据中台、数据准备层、细节数据层、服务数据层、应用数据层和数据管理平台；所述数据管理平台设置有多个业务数据模型、与业务对应的目标数据源信息、维表模型、宽表模型、用户信息、用户权限信息和可用资源信息，所述业务数据模型中设置有业务规则和字段映射关系信息，所述维表模型中设置有维度和维度属性，所述宽表模型中设置有宽表维度和各维度下的字段信息；各业务数据模型与对应的目标数据源、维表模型和宽表模型相关联；所述数据源包括应用服务在各业务行为中产生的业务数据、日志数据和监控类数据；所述数据中台用于从数据源进行数据抽取、转换和加载；所述数据准备层用于通过所述数据中台从数据源进行数据抽取、转换和加载，基于日志数据的回放产生数据记录，将产生的数据记录存储在数据仓库中，并基于从数据管理平台中选择的业务数据模型中设置的业务规则和字段映射关系信息从对应的目标数据源中进行业务数据的抽取和数据清洗，将抽取和清洗后的结构化业务数据存储在所述细节数据层中；所述细节数据层用于将抽取和清洗后的结构化业务数据存储在明细表中；所述服务数据层用于基于所述业务数据模型对应的维表模型中设置的维度和维度属性对所述明细表中的数据进行汇总，至少获得维表和汇总表；所述应用数据层用于至少基于所述业务数据模型对应的宽表模型中设置的维度和字段信息对所述服务数据层中的数据信息提取，获得用作数据集市的应用数据，所述应用数据至少包括业务宽表；至少所述数据准备层、应用数据层和数据管理平台均为数据集成应用平台提供有数据访问接口。
[0008]在本专利技术的一些实施例中，所述系统还包括：所述数据集成应用平台，用于基于所述访问接口向用户提供数据服务。
[0009]在本专利技术一些实施例中，所述数据管理平台还设置有应用接口配置、流数据管理模块、执行器和调度器；所述流数据管理模块用于提供流式处理任务、批处理任务的设置和各任务的定时管理；所述执行器用于基于流数据管理模块的任务设置和定时管理来执行任务；所述调度器用于进行任务调度。
[0010]在本专利技术一些实施例中，所述细节数据层和服务数据层为数据集成应用平台也提供有数据访问接口。
[0011]在本专利技术一些实施例中，所述服务数据层中还包括静态表；所述应用数据层还包括：用户画像和公开数据。
[0012]本专利技术的另一方面，还提供了一种基于数据集市的数据管理系统实现的数据管理方法，所述数据管理系统包括：数据源、数据中台、数据准备层、细节数据层、服务数据层、应用数据层和数据管理平台；所述数据管理平台设置有多个业务数据模型、与业务对应的目标数据源信息、维表模型、宽表模型、用户信息、用户权限信息和可用资源信息，所述业务数
据模型中设置有业务规则和业务字段，所述维表模型中设置有维度和维度属性，所述宽表模型中设置有宽表维度和各维度下的字段信息；各业务数据模型与对应的目标数据源、维表模型和宽表模型相关联；所述数据源包括应用服务在各业务行为中产生的业务数据、日志数据和监控类数据；所述数据准备层、应用数据层和数据管理平台提供有供数据集成应用平台访问的数据访问接口，所述方法包括以下步骤：在所述数据准备层通过所述数据中台从数据源进行数据抽取、转换和加载，基于日志数据的回放产生数据记录，将产生的数据记录存储在数据仓库中，并基于从数据管理平台中选择的业务数据模型中设置的业务规则和字段映射关系信息从对应的目标数据源中进行业务数据的抽取和数据清洗，将抽取和清洗后得到的结构化业务数据存储在所述细节数据层中；在所述细节数据层将抽取和清洗后的结构化业务数据存储为明细表；在所述服务数据层基于所述业务数据模型对应的维表模型中设置的维度和维度属性对所述明细表中的数据进行汇总，至少获得维表和汇总表；在所述应用数据层至少基于所述业务数据模型对应的宽表模型中设置的维度和字段信息对所述服务数据层中的数据进行信息提取，获得用作所选择的业务数据模型对应的数据集市的应用数据，所述应用数据至少包括业务宽表。
[0013]在本专利技术一些实施例中，所述方法还包括：在接收到用户查询请求时，基于用户查询请求中携带的用户标识和所述数据管理平台中的用户权限信息确定用户访问本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据集市的数据管理系统，其特征在于，该系统包括：数据源、数据中台、数据准备层、细节数据层、服务数据层、应用数据层和数据管理平台；所述数据管理平台设置有多个业务数据模型、与业务对应的目标数据源信息、维表模型、宽表模型、用户信息、用户权限信息和可用资源信息，所述业务数据模型中设置有业务规则和字段映射关系，所述维表模型中设置有维度和维度属性，所述宽表模型中设置有宽表维度和各维度下的字段信息；各业务数据模型与对应的目标数据源、维表模型和宽表模型相关联；所述数据源包括应用服务在各业务行为中产生的业务数据、日志数据和监控类数据；所述数据中台用于从数据源进行数据抽取、转换和加载；所述数据准备层用于通过所述数据中台从数据源进行数据抽取、转换和加载，基于日志数据的回放产生数据记录，将产生的数据记录存储在数据仓库中，并基于从数据管理平台中选择的业务数据模型中设置的业务规则和字段映射关系信息从对应的目标数据源中进行业务数据的抽取和数据清洗，将抽取和清洗后的结构化业务数据存储在所述细节数据层中；所述细节数据层用于将抽取和清洗后的结构化业务数据存储在明细表中；所述服务数据层用于基于所述业务数据模型对应的维表模型中设置的维度和维度属性对所述明细表中的数据进行汇总，至少获得维表和汇总表；所述应用数据层用于至少基于所述业务数据模型对应的宽表模型中设置的维度和字段信息对所述服务数据层中的数据信息提取，获得用作数据集市的应用数据，所述应用数据至少包括业务宽表；至少所述数据准备层、应用数据层和数据管理平台为数据集成应用平台提供有数据访问接口。2.根据权利要求1所述的系统，其特征在于，所述系统还包括：所述数据集成应用平台，用于基于所述访问接口向用户提供数据服务。3.根据权利要求1或2所述的系统，其特征在于，所述数据管理平台还设置有应用接口配置、流数据管理模块、执行器和调度器；所述流数据管理模块用于提供流式处理任务、批处理任务的设置和各任务的定时管理；所述执行器用于基于流数据管理模块的任务设置和定时管理来执行任务；所述调度器用于进行任务调度。4.根据权利要求1或2所述的系统，其特征在于，所述细节数据层和服务数据层也为数据集成应用平台提供有数据访问接口。5.根据权利要求1或2所述的系统，其特征在于，所述服务数据层中还包括静态表；所述应用数据层还包括：用户画像和公开数据。6.一种基于数据集市的数据管理系统实现的数据管理方法，其特征在于，所述数据管理系统包括：数据源、数据中台、数据准备层、细节数据层、服务数据层、应用数据层和数据管理平台；所述数据管理平台设置有多个业务数据模型、与业务对应的目标数据源信...

【专利技术属性】
技术研发人员：杨雷，
申请(专利权)人：中企云链北京金融信息服务有限公司，
类型：发明
国别省市：