数据模型重构方法、装置、设备及其存储介质制造方法及图纸

本申请实施例属于数据处理技术领域，应用于数据模型重构领域中，涉及一种数据模型重构方法、装置、设备及其存储介质，包括接收数据模型重构指令；从预设的数据仓库的贴源层获取重构可选用的主题表；根据预设的编号规则，对可选用的主题表进行编号处理，获取编号处理结果；根据预设的约束条件和预设的配置文件,获取重构时所述可选用的主题表间的最优组合方式；根据所述最优组合方式和所述区别标识信息生成目标主题域对应的组合表；更换目标主题域，循环执行上述步骤，直到所有的主题域都生成对应的组合表，停止循环，数据模型重构完成。采用循环生成的方式，对数据模型进行自动化的重构，且直接获取贴源层数据减低重构结果的耦合度。合度。合度。

【技术实现步骤摘要】
数据模型重构方法、装置、设备及其存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据模型重构方法、装置、设备及其存储介质。

技术介绍

[0002]数据应用报表是公司运营决策者用来统计分析，把握市场机会，调整策略的重要工具。随着数据规模爆发式增长，业务需求对市场分析的维度组合也多种多样，底层数据模型也变得复杂，计算资源也不断攀升，能否快速支撑业务使用的维度和指标，生成合理的数据模型，成为每个数据开发人员的难题。
[0003]现有技术中，数据应用初期，数据团队为快速满足业务需求，数据模型构建烟囱开发，不断迭代更新,到后期更新数据模型代价沉重,主要表现在：后期重构数据模型上，往往取决于人的能力水平，且耗时耗力，周期长；业务分析组合多，数据模型宽表加工高耦合，维护人力困难。因此，现有技术在进行数据模型重构时，还存在重构结果高耦合和重构流程耗时耗力的问题。

技术实现思路

[0004]本申请实施例的目的在于提出一种数据模型重构方法、装置、设备及其存储介质，以解决现有技术中在进行数据模型重构时，还存在重构结果高耦合和重构流程耗时耗力的问题。
[0005]为了解决上述技术问题，本申请实施例提供一种数据模型重构方法，采用了如下所述的技术方案：
[0006]一种数据模型重构方法，包括下述步骤：
[0007]步骤201，接收以目标主题域为重构目标所发出的数据模型重构指令，其中，所述数据模型重构指令中包括所述目标主题域的区别标识信息；
[0008]步骤202，解析所述数据模型重构指令，获取所述目标主题域的区别标识信息；
[0009]步骤203，从预设的数据仓库的贴源层获取重构所述目标主题域可选用的主题表，其中，所述主题表为所述贴源层中的数据基础表，所述主题域表示由若干个主题表所构成的至少能涵盖一个实际业务流程的宽表；
[0010]步骤204，根据预设的编号规则，对所述可选用的主题表进行编号处理，获取编号处理结果；
[0011]步骤205，根据预设的约束条件和预设的配置文件,获取重构所述目标主题域时所述可选用的主题表间的最优组合方式；
[0012]步骤206，根据所述最优组合方式和所述区别标识信息生成所述目标主题域对应的组合表；
[0013]步骤207，更换目标主题域，循环执行步骤201至步骤207，直到所有的主题域都生成对应的组合表，停止循环，数据模型重构完成。
[0014]进一步的，所述根据预设的编号规则，对所述可选用的主题表进行编号处理，获取编号处理结果的步骤，具体包括：
[0015]获取所述可选用的主题表分别对应的唯一主键信息，其中，所述主键信息包括表名；
[0016]采用从1至n的正整数为所述可选用的主题表分别进行编号，其中，n表示所述可选用的主题表的数量；
[0017]将所述编号与其对应的唯一主键信息以键值对方式进行缓存，将缓存的所述键值对作为所述编号处理结果。
[0018]进一步的，所述约束条件具体为参与组合的目标主题表的表数量为最小值且参与组合的所述目标主题表中超量主题表的数量也最少，所述根据预设的约束条件和预设的配置文件,获取重构所述目标主题域时所述可选用的主题表间的最优组合方式的步骤，具体包括：
[0019]基于所述配置文件，确定重构所述目标主题域时所需的所有数据应用字段，所述配置文件中预先写入了重构所述目标主题域时所需的所有数据应用字段；
[0020]根据所述所有数据应用字段，进行筛选，从所述可选用的主题表中筛选出包含所述所有数据应用字段中至少任一数据应用字段的主题表作为目标主题表，构建目标主题表集合；
[0021]预先设置数据行数超过预设行数阈值的主题表为超量主题表；
[0022]根据所述约束条件，从所述目标主题表集合中筛选出获取到所述所有数据应用字段的最优组合方式；
[0023]将所述最优组合方式作为重构所述目标主题域时所述可选用的主题表间的最优组合方式。
[0024]进一步的，所述从所述可选用的主题表中筛选出包含所述所有数据应用字段中至少任一数据应用字段的主题表作为目标主题表，构建目标主题表集合的步骤，具体包括：
[0025]根据所述目标主题表分别所对应的所述键值对，获取各所述目标主题表的编号；
[0026]获取所述目标主题表分别所包含的数据应用字段；
[0027]根据各所述目标主题表的编号和所包含的数据应用字段为各所述目标主题表构建表征字段；
[0028]将各所述目标主题表对应的表征字段一一加入到预设的集合内，完成目标主题表集合的构建。
[0029]进一步的，在执行所述根据各所述目标主题表的编号和所包含的数据应用字段为各所述目标主题表构建表征字段的步骤之后，所述方法还包括：
[0030]根据各所述目标主题表对应的表征字段，进行对比识别；
[0031]根据对比识别结果，将所述所有目标主题表划分为必要主题表和非必要主题表两个类别，其中，所述必要主题表即任一或任多数据应用字段仅存在于该表中的目标主题表；
[0032]根据划分类别的不同，为划分类别之后的各所述目标主题表设置区别字段；
[0033]将所述区别字段插入到各所述目标主题表对应的表征字段中，进行表征字段更新。
[0034]进一步的，所述从所述目标主题表集合中筛选出获取到所述所有数据应用字段的
最优组合方式的步骤，具体包括：
[0035]根据更新后表征字段，获取所述必要主题表的编号，以及所有必要主题表中未包含的数据应用字段；
[0036]以所述未包含的数据应用字段为组合目标，根据所述更新后表征字段从所述非必要主题表中筛选出符合所述约束条件的最优组合方式；
[0037]获取所述符合所述约束条件的最优组合方式中各非必要主题表的编号；
[0038]将所述各非必要主题表的编号和所述必要主题表的编号作为重构所述目标主题域时所述可选用的主题表的编号。
[0039]进一步的，所述根据所述最优组合方式和所述区别标识信息生成所述目标主题域对应的组合表的步骤，具体包括：
[0040]获取重构所述目标主题域时所述可选用的主题表的编号，作为所述最优组合方式；
[0041]根据所述可选用的主题表的编号获取可选用的主题表共同构建整合宽表，以所述区别标识信息作为所述整合宽表的表名，完成所述组合表的生成。
[0042]为了解决上述技术问题，本申请实施例还提供一种数据模型重构装置，采用了如下所述的技术方案：
[0043]一种数据模型重构装置，包括：
[0044]重构指令接收模块，用于接收以目标主题域为重构目标所发出的数据模型重构指令，其中，所述数据模型重构指令中包括所述目标主题域的区别标识信息；
[0045]解析获取模块，用于解析所述数据模型重构指令，获取所述目标主题域的区别标识信息；
[0046]主题表获取模块，用于从预设的数据仓库的贴源层获取重构所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据模型重构方法，其特征在于，包括下述步骤：步骤201，接收以目标主题域为重构目标所发出的数据模型重构指令，其中，所述数据模型重构指令中包括所述目标主题域的区别标识信息；步骤202，解析所述数据模型重构指令，获取所述目标主题域的区别标识信息；步骤203，从预设的数据仓库的贴源层获取重构所述目标主题域可选用的主题表，其中，所述主题表为所述贴源层中的数据基础表，所述主题域表示由若干个主题表所构成的至少能涵盖一个实际业务流程的宽表；步骤204，根据预设的编号规则，对所述可选用的主题表进行编号处理，获取编号处理结果；步骤205，根据预设的约束条件和预设的配置文件,获取重构所述目标主题域时所述可选用的主题表间的最优组合方式；步骤206，根据所述最优组合方式和所述区别标识信息生成所述目标主题域对应的组合表；步骤207，更换目标主题域，循环执行步骤201至步骤207，直到所有的主题域都生成对应的组合表，停止循环，数据模型重构完成。2.根据权利要求1所述的数据模型重构方法，其特征在于，所述根据预设的编号规则，对所述可选用的主题表进行编号处理，获取编号处理结果的步骤，具体包括：获取所述可选用的主题表分别对应的唯一主键信息，其中，所述主键信息包括表名；采用从1至n的正整数为所述可选用的主题表分别进行编号，其中，n表示所述可选用的主题表的数量；将所述编号与其对应的唯一主键信息以键值对方式进行缓存，将缓存的所述键值对作为所述编号处理结果。3.根据权利要求2所述的数据模型重构方法，其特征在于，所述约束条件具体为参与组合的目标主题表的表数量为最小值且参与组合的所述目标主题表中超量主题表的数量也最少，所述根据预设的约束条件和预设的配置文件,获取重构所述目标主题域时所述可选用的主题表间的最优组合方式的步骤，具体包括：基于所述配置文件，确定重构所述目标主题域时所需的所有数据应用字段，所述配置文件中预先写入了重构所述目标主题域时所需的所有数据应用字段；根据所述所有数据应用字段，进行筛选，从所述可选用的主题表中筛选出包含所述所有数据应用字段中至少任一数据应用字段的主题表作为目标主题表，构建目标主题表集合；预先设置数据行数超过预设行数阈值的主题表为超量主题表；根据所述约束条件，从所述目标主题表集合中筛选出获取到所述所有数据应用字段的最优组合方式；将所述最优组合方式作为重构所述目标主题域时所述可选用的主题表间的最优组合方式。4.根据权利要求3所述的数据模型重构方法，其特征在于，所述从所述可选用的主题表中筛选出包含所述所有数据应用字段中至少任一数据应用字段的主题表作为目标主题表，构建目标主题表集合的步骤，具体包括：
根据所述目标主题表分别所对应的所述键值对，获取各所述目标主题表的编号；获取所述目标主题表分别所包含的数据应用字段；根据各所述目标主题表的编号和所包含的数据应用字段为各所述目标主题表构建表征字段；将各所述目标主题表对应的表征字段一一加入到预设的集合内，完成目标主题表集合的构建。5.根据权利要求4所述的数据模型重构方法，其特征在...

【专利技术属性】
技术研发人员：陈楚能，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：