数仓模型的管理方法、装置及电子设备制造方法及图纸

本申请涉及数仓模型领域，特别涉及一种数仓模型的管理方法、装置及电子设备，方法包括：获取数仓查询事件数据，并基于数仓查询事件数据，得到数据仓库模型中的冷热模型数据和高低价值模型数据，基于数据仓库模型的全量模型数据、冷热模型数据和高低价值模型数据得到数据仓库模型的僵尸模型数据，根据冷热模型数据、高低价值模型数据和僵尸模型数据确定数据仓库模型的管理策略，并根据管理策略对数据仓库模型进行模型清理和/或成本管理。由此，解决了因缺乏对冷热模型数据、高低价值模型数据和僵尸模型数据进行有效治理而导致数据模型野蛮生长、数据管理成本增加的问题，从而提升数据的整体价值密度，同时降低企业管理成本。同时降低企业管理成本。同时降低企业管理成本。

【技术实现步骤摘要】
数仓模型的管理方法、装置及电子设备


[0001]本申请涉及数仓模型领域，特别涉及一种数仓模型的管理方法、装置及电子设备。

技术介绍

[0002]全球经济快速发展的今天，数据成几何倍增长，无论是跨国公司、企业还是政府机关，每天都会有大量的数据需要处理，这些数据往往分散在各个不同的应用系统下的不同类型数据库中，例如生产、销售、财务等数据，面对纷繁复杂的数据，如果没有数仓模型全生命周期管理措施，企业数据模型会野蛮生长。
[0003]相关技术中，典型的数据仓库建模方法为维度建模，维度建模是面向分析场景而生，针对分析场景构建数仓模型，重点关注快速、灵活的解决分析需求，同时能够提供大规模数据的快速响应性能，针对性强，主要应用于数据仓库构建和OLAP(Online Analytical Processing，分析型数据库)引擎底层数据模型。
[0004]然而，现有数仓模型治理过程中，由于模型基数大、复杂程度高，缺乏对数仓模型冷热程度、模型价值高低以及是否为僵尸模型的数据采集，并缺乏基于以上数据支撑下的智能化数仓模型全生命周期管理，因而造成数据模型野蛮生长，数据管理成本增加，亟待解决。

技术实现思路

[0005]本申请提供一种数仓模型的管理方法、装置及电子设备，以解决因缺乏对冷热模型数据、高低价值模型数据和僵尸模型数据进行有效治理而导致数据模型野蛮生长、数据管理成本增加的问题，从而提升数据的整体价值密度，同时降低企业管理成本。
[0006]为达到上述目的，本申请第一方面实施例提出一种数仓模型的管理方法，包括以下步骤：
[0007]获取数仓查询事件数据，并基于所述数仓查询事件数据，得到数据仓库模型中的冷热模型数据和高低价值模型数据；
[0008]基于所述数据仓库模型的全量模型数据、所述冷热模型数据和所述高低价值模型数据得到所述数据仓库模型的僵尸模型数据；以及
[0009]根据所述冷热模型数据、所述高低价值模型数据和所述僵尸模型数据确定所述数据仓库模型的管理策略，并根据所述管理策略对所述数据仓库模型进行模型清理和/或成本管理。
[0010]根据本申请的一个实施例，所述基于所述数仓查询事件数据，得到数据仓库模型中的冷热模型数据和高低价值模型数据，包括：
[0011]基于所述数仓查询事件数据，按照至少一个预设时间周期对所述数仓模型的数据使用频率进行统计分析，得到所述数仓模型在所述至少一个预设时间周期的冷热程度排名；
[0012]根据所述至少一个预设时间周期的冷热程度排名得到所述冷热模型数据，并根据
所述至少一个预设时间周期的冷热程度排名和预设的数仓规划数据对所述数据仓库模型进行高低价值打分，得到所述高低价值模型数据。
[0013]根据本申请的一个实施例，基于所述数仓查询事件数据，按照至少一个预设时间周期对所述数仓模型的数据使用频率进行统计分析，包括：
[0014]基于所述数仓查询事件数据和所述数仓模型，确定每个预设时间周期的周期时长和/或所述每个预设时间周期的数量；
[0015]根据所述每个预设时间周期的周期时长和/或所述每个预设时间周期的数量对所述数仓模型的数据使用频率进行统计分析。
[0016]根据本申请的一个实施例，所述数据使用频率包括查询次数、查询消耗时长和查询涉及数据量中的至少一种。
[0017]根据本申请的一个实施例，所述基于所述数据仓库模型的全量模型数据、所述冷热模型数据和所述高低价值模型数据得到所述数据仓库模型的僵尸模型数据，包括：
[0018]基于所述数据仓库模型的全量模型数据、所述冷热模型数据和所述高低价值模型数据，识别出至少一个预设时间周期内未被访问过的模型；
[0019]根据所述未被访问过的模型和所述预设的数仓规划数据中的数据更新周期粒度，得到所述僵尸模型数据。
[0020]根据本申请的一个实施例，所述根据所述管理策略对所述数据仓库模型进行模型清理和/或成本管理，包括：
[0021]从所述冷热模型数据中识别出冷模型，并从所述高低价值模型数据中识别出低价值模型；
[0022]基于预设的低成本策略，对所述冷模型和所述低价值模型进行成本管理。
[0023]根据本申请的一个实施例，所述根据所述管理策略对所述数据仓库模型进行模型清理和/或成本管理，还包括：
[0024]根据所述僵尸模型数据确定待清理僵尸模型；
[0025]对所述待清理僵尸模型进行归档清理。
[0026]根据本申请的一个实施例，所述获取数仓查询事件数据，包括：
[0027]确定所述数仓查询事件数据的捕获程序；
[0028]将所述捕获程序植入在离线数据仓库引擎和/或实时查询数据仓库引擎，捕获所述数仓查询事件数据；
[0029]其中，所述捕获程序包括勾子程序和/或执行监听器程序。
[0030]根据本申请实施例提出的数仓模型的管理方法，通过获取数仓查询事件数据，并基于数仓查询事件数据，得到数据仓库模型中的冷热模型数据和高低价值模型数据，基于数据仓库模型的全量模型数据、冷热模型数据和高低价值模型数据得到数据仓库模型的僵尸模型数据，并根据由冷热模型数据、高低价值模型数据和僵尸模型数据确定的数据仓库模型的管理策略，对数据仓库模型进行模型清理和/或成本管理。由此，解决了因缺乏对冷热模型数据、高低价值模型数据和僵尸模型数据进行有效治理而导致数据模型野蛮生长、数据管理成本增加的问题，从而提升数据的整体价值密度，同时降低企业管理成本。
[0031]为达到上述目的，本申请第二方面实施例提出一种数仓模型的管理装置，包括：
[0032]第一分析模块，用于获取数仓查询事件数据，并基于所述数仓查询事件数据，得到
数据仓库模型中的冷热模型数据和高低价值模型数据；
[0033]第二分析模块，用于基于所述数据仓库模型的全量模型数据、所述冷热模型数据和所述高低价值模型数据得到所述数据仓库模型的僵尸模型数据；以及
[0034]管理模块，用于根据所述冷热模型数据、所述高低价值模型数据和所述僵尸模型数据确定所述数据仓库模型的管理策略，并根据所述管理策略对所述数据仓库模型进行模型清理和/或成本管理。
[0035]根据本申请的一个实施例，所述第一分析模块，具体用于：
[0036]基于所述数仓查询事件数据，按照至少一个预设时间周期对所述数仓模型的数据使用频率进行统计分析，得到所述数仓模型在所述至少一个预设时间周期的冷热程度排名；
[0037]根据所述至少一个预设时间周期的冷热程度排名得到所述冷热模型数据，并根据所述至少一个预设时间周期的冷热程度排名和预设的数仓规划数据对所述数据仓库模型进行高低价值打分，得到所述高低价值模型数据。
[0038]根据本申请的一个实施例，所述第一分析模块，具体用于：
[0039]基于所述数仓查询事件数据和所述数仓模型，确定每个预设时间周期的周期时长和/或所述每个预设时间周期的数量；
[0040本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数仓模型的管理方法，其特征在于，包括以下步骤：获取数仓查询事件数据，并基于所述数仓查询事件数据，得到数据仓库模型中的冷热模型数据和高低价值模型数据；基于所述数据仓库模型的全量模型数据、所述冷热模型数据和所述高低价值模型数据得到所述数据仓库模型的僵尸模型数据；以及根据所述冷热模型数据、所述高低价值模型数据和所述僵尸模型数据确定所述数据仓库模型的管理策略，并根据所述管理策略对所述数据仓库模型进行模型清理和/或成本管理。2.根据权利要求1所述的方法，其特征在于，所述基于所述数仓查询事件数据，得到数据仓库模型中的冷热模型数据和高低价值模型数据，包括：基于所述数仓查询事件数据，按照至少一个预设时间周期对所述数仓模型的数据使用频率进行统计分析，得到所述数仓模型在所述至少一个预设时间周期的冷热程度排名；根据所述至少一个预设时间周期的冷热程度排名得到所述冷热模型数据，并根据所述至少一个预设时间周期的冷热程度排名和预设的数仓规划数据对所述数据仓库模型进行高低价值打分，得到所述高低价值模型数据。3.根据权利要求2所述的方法，其特征在于，基于所述数仓查询事件数据，按照至少一个预设时间周期对所述数仓模型的数据使用频率进行统计分析，包括：基于所述数仓查询事件数据和所述数仓模型，确定每个预设时间周期的周期时长和/或所述每个预设时间周期的数量；根据所述每个预设时间周期的周期时长和/或所述每个预设时间周期的数量对所述数仓模型的数据使用频率进行统计分析。4.根据权利要求2所述的方法，其特征在于，所述数据使用频率包括查询次数、查询消耗时长和查询涉及数据量中的至少一种。5.根据权利要求1所述的方法，其特征在于，所述基于所述数据仓库模型的全量模型数据、所述冷热模型数据和所述高低价值模型数据得到所述数据仓库模型的僵尸模型数据，包括：基于所述数据仓库模型的全量模型数据、所述冷热模型...

【专利技术属性】
技术研发人员：郁国勇，
申请(专利权)人：新奥新智科技有限公司，
类型：发明
国别省市：