分层数据校验方法及其装置、设备、介质制造方法及图纸

本申请公开一种分层数据校验方法及其装置、设备、介质，所述方法包括：响应由开发端推送的作用于分层数据仓库的数据模型添加指令，获取新数据模型中所包含的多个计算任务，且获取模型数据表的标准表名；对各计算任务进行测试运行，生成表征计算任务所消耗的计算资源的资源消耗数据，且确定出所述计算任务各自的引用数据表；基于模型数据表的标准表名的数据层级，对各引用数据表进行上下游溯源，绘制数据表映射关系图谱；根据模型数据表与各引用数据表的标准表名，对所述引用数据表进行层级校验，且为该数据模型匹配出优于跨层或错层引用的引用数据表的推荐数据表。本申请有效管理升分层数据仓库中数据表的质量，且提升仓库中数据模型的计算效率。据模型的计算效率。据模型的计算效率。

【技术实现步骤摘要】
分层数据校验方法及其装置、设备、介质


[0001]本申请涉及数据库管理领域，尤其涉及一种分层数据校验方法，此外还涉及该方法相应的装置、设备以及非易失性存储介质。

技术介绍

[0002]现有的互联网平台会应用分层数据仓库分层存储平台中的数据及数据表，例如，互联网直播平台会将平台中的直播间、主播用户及观众用户的数据通常会被汇总为应用于相关直播在线服务所需的数据表，且分层数据仓库中数据表也引用仓库中存储的数据表，通过开发相应的数据模型以为其所关联的数据表从相应的数据源中获取数据，进而其他数据表中获取汇总数据创建新的数据表以应用于平台新部署的在线服务。
[0003]但现有的分层数据仓库中数据表引用仓库中其他数据源时，往往存在错层引用或跨层引用的情况，数据模型从其错层或跨层引用的数据表中获取数据时将浪费过多的计算资源。
[0004]且平台的开发人员在查询其所开发的数据模型是否存在跨层或错层引用时，往往仅能通过检查数据模型的各计算任务中繁杂的代码来确定，效率过低，无法有效地管理分层数据仓库，且开发人员在开发数据模型时也仅能通过人工查询分层数据仓库中是否有适于引用的数据源，开发效率也十分底下。
[0005]鉴于现有的分层数据仓库中所存在的问题，本申请人出于解决该问题的考虑做出相应的探索。

技术实现思路

[0006]本申请的目的在于满足用户需求而提供一种分层数据校验方法，此外还涉及该方法相应的装置、设备、非易失性存储介质以及计算机程序产品。
[0007]为实现本申请的目的，采用如下技术方案：
[0008]适应本申请的目的而提出的一种分层数据校验方法，包括如下步骤：
[0009]响应由开发端推送的作用于分层数据仓库的数据模型添加指令，获取该指令所对应的数据模型中所包含的多个计算任务，且获取该数据模型所对应的模型数据表的标准表名，所述标准表名中包含数据层级、数据更新频率与数据主题；
[0010]对各所述计算任务进行测试运行，确定所述计算任务各自运行所需消耗的计算资源，进而生成表征各计算任务所消耗的计算资源的资源消耗数据，且确定出所述计算任务各自在所述分层数据仓库中所对应的引用数据表；
[0011]基于所述模型数据表的标准表名中的数据层级，对各所述引用数据表分别进行上下游溯源，确定所述引用数据表各自在所述分层数据仓库中相关联的上下游数据表，绘制以所述模型数据表为中心节点的数据表映射关系图谱；
[0012]根据所述模型数据表与各所述引用数据表的标准表名，分别对所述引用数据表进行层级校验，若某一引用数据表的校验结果表征存在跨层引用或错层引用时，则为该数据
模型匹配出优于该引用数据表的推荐数据表，并将该推荐数据表、所述资源消耗数据及数据表映射关系图谱推送至所述开发端中。
[0013]进一步的实施例中，所述响应由开发端推送的作用于分层数据仓库的数据模型添加指令的步骤之前，包括如下由开发端执行的步骤：
[0014]响应作用于模型数据表的创建指令，获取该创建指令所对应的模型数据表的数据表名；
[0015]根据预设的命名规则，对所述数据表名进行命名校验，校验该数据表名中是否包含数据层级、数据更新频率及数据主题；
[0016]当所述数据表名通过命名校验时，该数据表名将作为标准表名与所述模型数据表封装为数据模型添加指令推送至服务器。
[0017]进一步的实施例中，所述对各所述计算任务进行测试运行，确定所述计算任务各自运行所需消耗的计算资源，进而生成表征各计算任务所消耗的计算资源的资源消耗数据的步骤中，包括如下由服务器执行的步骤：
[0018]运行所述计算任务，确定该计算任务完成运行时所占用的内存指标及处理器指标；
[0019]将所述内存指标及处理器指标作为所述计算任务的计算资源，以生成包含该计算资源及所述计算任务的任务名称的映射关系数据；
[0020]以此类推，生成所有计算任务的映射关系数据，进而生成包含所述映射关系数据的所述资源消耗数据。
[0021]进一步的实施例中，所述基于所述数据模型所对应的模型数据表在所述分层数据仓库中的数据层级，对各所述引用数据表分别进行上下游溯源，确定所述引用数据表各自在所述分层数据仓库中相关联的上下游数据表，绘制以所述模型数据表为中心节点的数据表映射关系图谱的步骤中，包括如下由服务器执行的步骤：
[0022]获取所述模型数据表的标准表名中包含的数据层级作为第一数据层级，获取当前引用数据表的标准表名中包含的数据层级作为第二数据层级；
[0023]当所述第一数据层级超过所述第二数据层级时，则确定出当前引用数据表在所述第一与第二数据层级之间相关联的一个或多个数据表作为当前引用数据表的上游数据表，进而将当前引用数据表作为其上游路径的末端节点，以该末端节点为绘制起点，按照各所述上游数据表各自对应的数据层级，从低到高依次将所述上游数据表绘制为所述上游路径中的节点；
[0024]当所述第二数据层级超过所述第一数据层级时，则确定出当前引用数据表在所述第一与第二数据层级之间相关联的一个或多个数据表作为当前引用数据表的下游数据表，进而将当前数据表作为其下游路径的起始节点，以该起始节点为绘制起点，按照各所述下游数据表各自对应的数据层级，从高到低依次将所述下游数据表绘制为所述下游路径中的节点；
[0025]以此类推，分别绘制出各所述引用数据表的上游路径或下游路径后，以所述模型数据表为所述路径的中心节点连接各所述上游路径及下游路径，绘制所述数据表映射关系图谱。
[0026]进一步的实施例中，所述根据所述模型数据表与各所述引用数据表的标准表名，
分别对所述引用数据表进行层级校验的步骤中，包括如下由服务器执行的步骤：
[0027]获取所述模型数据表的标准表名中包含的数据层级作为第一数据层级，获取当前引用数据表的标准表名中包含的数据层级作为第二数据层级；
[0028]当所述第一数据层级大于第二数据层级，且双方之间的层级区间超过一时，则表征引用当前引用数据表为跨层引用，将为当前引用数据表生成表征跨层引用的校验结果；
[0029]当所述第一数据层级小于第二数据层级时，则表征引用当前引用数据表为错层引用，将为当前引用数据表生成表征错层引用的校验结果。
[0030]进一步的实施例中，所述则为该数据模型匹配出优于该引用数据表的推荐引用数据表步骤中，包括如下由服务器执行的步骤：
[0031]将所述模型数据表的标准表名中包含的数据层级作为第一数据层级及数据更新频率作为目标数据更新频率，且将跨层或错层的引用数据表的标准表名中包含的数据主题作为目标数据主题及数据层级作为第二数据层级；
[0032]确定出所述分层数据仓库中处于最大等于所述第一数据层级及最小高于第二数据层级的层级区间的一个或多个目标数据层级，以查询出所述目标数据层级中标准表名具有所述目标数据主题的一个或多个第一数据表；
[0033]查询所述第一数据表中是否存在标准表名具有所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分层数据校验方法，其特征在于，包括如下步骤：响应由开发端推送的作用于分层数据仓库的数据模型添加指令，获取该指令所对应的数据模型中所包含的多个计算任务，且获取该数据模型所对应的模型数据表的标准表名，所述标准表名中包含数据层级、数据更新频率与数据主题；对各所述计算任务进行测试运行，确定所述计算任务各自运行所需消耗的计算资源，进而生成表征各计算任务所消耗的计算资源的资源消耗数据，且确定出所述计算任务各自在所述分层数据仓库中所对应的引用数据表；基于所述模型数据表的标准表名中的数据层级，对各所述引用数据表分别进行上下游溯源，确定所述引用数据表各自在所述分层数据仓库中相关联的上下游数据表，绘制以所述模型数据表为中心节点的数据表映射关系图谱；根据所述模型数据表与各所述引用数据表的标准表名，分别对所述引用数据表进行层级校验，若某一引用数据表的校验结果表征存在跨层引用或错层引用时，则为该数据模型匹配出优于该引用数据表的推荐数据表，并将该推荐数据表、所述资源消耗数据及数据表映射关系图谱推送至所述开发端中。2.根据权利要求1所述的方法，其特征在于，所述响应由开发端推送的作用于分层数据仓库的数据模型添加指令的步骤之前，包括如下由开发端执行的步骤：响应作用于模型数据表的创建指令，获取该创建指令所对应的模型数据表的数据表名；根据预设的命名规则，对所述数据表名进行命名校验，校验该数据表名中是否包含数据层级、数据更新频率及数据主题；当所述数据表名通过命名校验时，该数据表名将作为标准表名与所述模型数据表封装为数据模型添加指令推送至服务器。3.根据权利要求1所述的方法，其特征在于，所述对各所述计算任务进行测试运行，确定所述计算任务各自运行所需消耗的计算资源，进而生成表征各计算任务所消耗的计算资源的资源消耗数据的步骤中，包括如下由服务器执行的步骤：运行所述计算任务，确定该计算任务完成运行时所占用的内存指标及处理器指标；将所述内存指标及处理器指标作为所述计算任务的计算资源，以生成包含该计算资源及所述计算任务的任务名称的映射关系数据；以此类推，生成所有计算任务的映射关系数据，进而生成包含所述映射关系数据的所述资源消耗数据。4.根据权利要求1所述的方法，其特征在于，所述基于所述数据模型所对应的模型数据表在所述分层数据仓库中的数据层级，对各所述引用数据表分别进行上下游溯源，确定所述引用数据表各自在所述分层数据仓库中相关联的上下游数据表，绘制以所述模型数据表为中心节点的数据表映射关系图谱的步骤中，包括如下由服务器执行的步骤：获取所述模型数据表的标准表名中包含的数据层级作为第一数据层级，获取当前引用数据表的标准表名中包含的数据层级作为第二数据层级；当所述第一数据层级超过所述第二数据层级时，则确定出当前引用数据表在所述第一与第二数据层级之间相关联的一个或多个数据表作为当前引用数据表的上游数据表，进而将当前引用数据表作为其上游路径的末端节点，以该末端节点为绘制起点，按照各所述上
游数据表各自对应的数据层级，从低到高依次将所述上游数据表绘制为所述上游路径中的节点；当所述第二数据层级超过所述第一数据层级时，则确定出当前引用数据表在所述第一与第二数据层级之间相关联的一个或多个数据表作为当前引用数据表的下游数据表，进而将当前数据表作为其下游路径的起始节点，以该起始节点为绘制起点，按照各所述下游数据表各自对应的数据层级，从高到低依次将所述下游数据表绘制为所述下游路径中的节点；以此类推，分别绘制出各所述引用数据表的上游路径或下游路径后，以所述模型数据表为所述路径的中心节点连接各所述上游路径及下游路径，绘制所述数据表映射关系图谱。5.根据权利要求1所述的方法，其特征在于，所述根据所述模...

【专利技术属性】
技术研发人员：林佳铖，
申请(专利权)人：广州方硅信息技术有限公司，
类型：发明
国别省市：