一种基于数据分析的多维数据管理方法和数据库系统技术方案

本发明专利技术公开了一种基于数据分析的多维数据管理方法和数据库系统，属于数据库技术领域，所述多维数据管理方法包括：根据数据主题及其维度，对数据库的集成数据进行分析，获得多维度的主题数据表及其衍生维度；将所述主题数据表保存到数据库中。根据数据主题，对数据库的集成数据进行分析，挖掘出具有数据价值的衍生维度，如数据预测，并构成主题数据表；主题数据表保存到数据库中，利于数据分析结果的复用和共享；分析结果还利于数据库中集成数据的质量校验。质量校验。质量校验。

【技术实现步骤摘要】
一种基于数据分析的多维数据管理方法和数据库系统


[0001]本专利技术涉及数据库
，具体涉及一种基于数据分析的多维数据管理方法和数据库系统。

技术介绍

[0002]目前，多维数据管理大都是采用了数据存储/数据集市结构向数据库提供数据,并对其进行过滤,筛选和抽取,将用户所关心的有效业务数据提取出来,存储在数据库的特定信息目录中,利用雪片型数据组织形式构建多维数据库。
[0003]但是，这种数据管理的技术方案不能提供有效的数据校验及反馈机制，数据库中的数据缺少与应用的结合，数据的价值有待挖掘。

技术实现思路

[0004]针对现有技术中存在的上述技术问题，本专利技术提供一种基于数据分析的多维数据管理方法和数据库系统，通过基于主题和维度，对数据库的数据进行分析，挖掘数据价值。
[0005]本专利技术公开了一种基于数据分析的多维数据管理方法，所述多维数据管理方法包括：根据数据主题及其维度，对数据库的集成数据进行分析，获得多维度的主题数据表及其衍生维度；将所述主题数据表保存到数据库中。
[0006]优选的，数据库的数据质量校验的方法：
[0007]结合所述分析结果和应用场景，对集成数据进行质量校验，所述质量检验包括维度校验和数据可靠性校验。
[0008]优选的，所述主题包括：人口统计；
[0009]所述主题的维度包括：实有管理人口、当月净增人口、行政管理人口、当月净增管理人口、户籍人口、常住人口、户在人不在人口和暂住人口；
[0010]所述主题数据表的衍生维度包括：实有人口分布、实有人口历年变化、实有人口统计、实有人口画像、实有人口管理实时监测、人口类型变化趋势和人口迁移；
[0011]其中，人口类型变化趋势包括：新增常住人口趋势、新增人口从业分析、新增人口学历分和关注人群分析。
[0012]优选的，数据处理的方法包括：
[0013]从数据源中进行数据抽取；
[0014]对所抽取的数据清洗后，数据转换，获得标准数据；
[0015]将所述标准数据保存到数据库中，获得集成数据；
[0016]数据治理的方法包括：
[0017]根据数据的表级或字段级对象，匹配相应的数据规则；
[0018]根据所述数据规则，对数据库中的集成数据进行质量检验，获得问题数据；将所述问题数据进行数据清洗或反馈给数据源。
[0019]本专利技术还提供一种用于实现上述多维数据管理方法的数据库系统，包括数据库和
多维数据分析服务器，
[0020]所述多维数据分析服务器用于根据数据主题和维度，对数据库的集成数据进行分析，获得多维度的主题数据表和衍生维度；并将所述主题数据表保存到数据库中。
[0021]优选的，所述数据库为数据仓库，
[0022]所述数据仓库包括数据运营层、数据明细层、数据服务层和数据集市层，
[0023]所述数据运营层用于存放从各数据源获取的最原始的数据；
[0024]所述数据明细层包括历史拉链表，所述历史拉链表用于记录事物从开始到当前状态变化的数据；
[0025]所述数据服务层包括公共汇总指标表，其中，以分析的主题对象作为依据，基于应用和产品的指标需求，对主题进行集成和构建，获得公共汇总指标表；
[0026]所述数据集市层，基于数据应用场景开发生成的数据模型或算法模型，进行数据关联分析、数据深度分析挖掘或可视化的数据应用展示。
[0027]优选的，所述数据库系统还包括数据处理服务器，所述数据处理服务器用于从数据源中进行数据抽取；对所抽取的数据清洗后，数据转换，获得标准数据；
[0028]将所述标准数据保存到数据仓库中。
[0029]优选的，所述数据库系统还包括数据治理服务器，
[0030]所述数据治理服务器用于根据数据的表级或字段级对象，匹配相应的数据规则；根据所述数据规则，对数据库中的集成数据进行质量检验，获得问题数据；将所述问题数据反馈给数据处理服务器进行数据清洗或反馈给数据源。
[0031]优选的，所述数据库系统还包括数据共享服务器和数据应用服务器，
[0032]数据共享服务器包括数据资源管理模块、接口注册管理模块、接口开发管理模块和接口封装管理模块；
[0033]资源管理模块用于对接入到数据仓服务器可对外共享的数据资源进行统一管理；
[0034]接口注册管理模块是将数据源提供的数据接口进行统一注册管理；
[0035]接口开发管理模块是基于数据仓库对外共享的数据实现在线开发接口，并将所开发的接口注册到接口注册管理模块中；
[0036]接口封装管理模块用于对外部注册进来的接口进行二次封装改造；
[0037]所述数据应用服务器用于分析数据展现和分析数据场景化。
[0038]优选的，所述数据库系统还包括数据源对接模块，
[0039]所述数据源对接模块用于与数据源对接；
[0040]判断从数据源抽取的数据是否为结构化数据；
[0041]若是，判断抽取的数据是否为接口数据；
[0042]若为接口数据，将所述接口数据发送给数据共享服务器；
[0043]若不是接口数据或否，通过数据处理服务器进行数据清洗和转换后，保存到数据仓库的数据运营层中；
[0044]所述数据治理服务器用于判断问题数据是否进行数据清洗；
[0045]若进行数据清洗，将问题数据发送给数据处理器进行数据清洗；
[0046]若不进行数据清洗，将问题数据反馈给数据源对接模块。
[0047]与现有技术相比，本专利技术的有益效果为：根据数据主题，对数据库的集成数据进行
分析，挖掘出具有数据价值的衍生维度，如数据预测，并构成主题数据表；主题数据表保存到数据库中，利于数据分析结果的复用和共享；分析结果还利于数据库中集成数据的质量校验。
附图说明
[0048]图1是本专利技术的基于数据分析的多维数据管理方法流程图；
[0049]图2是本专利技术的逻辑框图。
具体实施方式
[0050]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0051]下面结合附图对本专利技术做进一步的详细描述：
[0052]一种基于数据分析的多维数据管理方法，如图1所示，所述多维数据管理方法包括：
[0053]步骤S1：根据数据主题及其维度，对数据库的集成数据进行分析，获得多维度的主题数据表及其衍生维度。
[0054]步骤S2：将所述主题数据表保存到数据库中。
[0055]根据数据主题，对数据库的集成数据进行分析，挖掘出具有数据价值的衍生维度，如数据的预测，并构成主题数据表；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据分析的多维数据管理方法，其特征在于，所述多维数据管理方法包括：根据数据主题及其维度，对数据库的集成数据进行分析，获得多维度的主题数据表及其衍生维度；将所述主题数据表保存到数据库中。2.根据权利要求1所述的多维数据管理方法，其特征在于，还包括数据库的数据质量校验的方法：结合所述分析结果和应用场景，对集成数据进行质量校验，所述质量检验包括维度校验和数据可靠性校验。3.根据权利要求1所述的多维数据管理方法，其特征在于，所述主题包括：人口统计；所述主题的维度包括：实有管理人口、当月净增人口、行政管理人口、当月净增管理人口、户籍人口、常住人口、户在人不在人口和暂住人口；所述主题数据表的衍生维度包括：实有人口分布、实有人口历年变化、实有人口统计、实有人口画像、实有人口管理实时监测、人口类型变化趋势和人口迁移；其中，人口类型变化趋势包括：新增常住人口趋势、新增人口从业分析、新增人口学历分和关注人群分析。4.根据权利要求1所述的多维数据管理方法，其特征在于，还包括数据库的数据处理和数据治理的方法，所述数据处理的方法包括：从数据源中进行数据抽取；对所抽取的数据清洗后，数据转换，获得标准数据；将所述标准数据保存到数据库中，获得集成数据；其中，所述数据治理的方法包括：根据数据的表级或字段级对象，匹配相应的数据规则；根据所述数据规则，对数据库中的集成数据进行质量检验，获得问题数据；将所述问题数据进行数据清洗或反馈给数据源。5.一种用于实现如权利要求1
‑
4任一项所述多维数据管理方法的数据库系统，其特征在于，包括数据库和多维数据分析服务器，所述多维数据分析服务器用于根据数据主题和维度，对数据库的集成数据进行分析，获得多维度的主题数据表和衍生维度；并将所述主题数据表保存到数据库中。6.根据权利要求5所述的数据库系统，其特征在于，所述数据库为数据仓库，所述数据仓库包括数据运营层、数据明细层、数据服务层和数据集市层，所述数据运营层用于存放从各数据源获取的最原始的数据；所述数据明细层包括历史拉链表，所述历史拉链表用于记录事物从开始到当前状态...

【专利技术属性】
技术研发人员：何山，李永健，林子洋，
申请(专利权)人：杭州数查科技有限公司，
类型：发明
国别省市：