本发明专利技术公开了一种数据模型脚本的生成方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：对数据仓库脚本进行解析以获取指标配置文件及维度关联路径；根据设置的指标字段值，对指标对应的指标配置文件进行解析以生成主表数据模型对象；根据设置的维度字段值和维度关联路径，生成维度表数据模型对象，并将维度表数据模型对象与主表数据模型对象进行关联得到数据模型；将数据模型根据指标和维度进行脚本拆分得到单元模型脚本，并将单元模型脚本保存到代码单元中以生成数据模型脚本。该实施方式能够提高指标配置的效率，提高了代码的可读性，实现了代码分段运行、调试和修改，提高了数据模型脚本的开发效率。提高了数据模型脚本的开发效率。提高了数据模型脚本的开发效率。
【技术实现步骤摘要】
数据模型脚本的生成方法和装置
[0001]本专利技术涉及计算机
，尤其涉及一种数据模型脚本的生成方法和装置。
技术介绍
[0002]现有在进行数据模型智能生成时，是采用人工配置的指标配置文件来封装指标计算逻辑，然后通过维度关联路径算法实现主表和维度表的自动关联，在用户通过代码编辑器sublime插件勾选了维度/指标后，即可自动生成数据模型脚本。
[0003]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：
[0004](1)指标配置文件需要人工配置，浪费人力，且指标计算逻辑的层级关系需要学习成本；
[0005](2)采用sublime插件作为交互框架，需要安装插件环境，易用性和泛用性较差，且无法实现可视化配置，生成的数据模型脚本可读性较差，代码结构复杂；
[0006](3)自动生成的数据模型脚本执行效率低。
技术实现思路
[0007]有鉴于此，本专利技术实施例提供一种数据模型脚本的生成方法和装置，能够提高指标配置的效率，提高了代码的可读性，实现了代码分段运行、调试和修改，提高了数据模型脚本的开发效率。
[0008]为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据模型脚本的生成方法。
[0009]一种数据模型脚本的生成方法，包括：
[0010]对数据仓库脚本进行解析以获取指标配置文件及维度关联路径；
[0011]根据设置的指标字段值，对指标对应的指标配置文件进行解析以生成主表数据模型对象；
[0012]根据设置的维度字段值和所述维度关联路径，生成维度表数据模型对象，并将所述维度表数据模型对象与所述主表数据模型对象进行关联得到数据模型；
[0013]将所述数据模型根据指标和维度进行脚本拆分得到单元模型脚本，并将所述单元模型脚本保存到代码单元中以生成数据模型脚本。
[0014]可选地，对数据仓库脚本进行解析以获取指标配置文件包括：
[0015]从数据仓库脚本中抽取指标字段及其聚合逻辑，以及聚合操作所依赖的指标源字段；
[0016]通过数据库语法溯源，从所述数据仓库脚本中获取所述指标源字段的加工逻辑；
[0017]将所述聚合逻辑和所述加工逻辑按照规则重组为指标配置文件。
[0018]可选地，通过数据库语法溯源，从所述数据仓库脚本中获取所述指标源字段的加工逻辑包括：
[0019]通过数据库语法溯源，获取所述指标源字段的来源表；
[0020]若所述来源表为数据仓库底层表，则根据所述来源表得到所述指标源字段的加工逻辑；
[0021]否则，逐级获取所述来源表的上游数据仓库模型脚本直至获取到数据仓库底层表，并根据所述来源表和各级上游数据仓库模型脚本得到所述指标源字段的加工逻辑。
[0022]可选地，对数据仓库脚本进行解析以获取维度关联路径包括：
[0023]从数据仓库脚本中抽取指标字段及其聚合逻辑，以及聚合操作所依赖的指标源字段；
[0024]根据不同指标源字段的属性之间的相似度，确定维度关联字段，所述属性包括字段名称、字段值、字段长度和指标来源字段的来源表对应的数据仓库底层表；
[0025]基于所述维度关联字段生成维度关联路径。
[0026]可选地，对指标对应的指标配置文件进行解析以生成主表数据模型对象包括：
[0027]根据所述指标字段值获取该指标对应的主表的指标配置文件；
[0028]从所述指标配置文件中获取该指标对应的聚合逻辑配置文件，并根据所述聚合逻辑配置文件获取该指标对应的加工逻辑配置文件；
[0029]根据所述聚合逻辑配置文件和所述加工逻辑配置文件进行实例化，以生成主表数据模型对象。
[0030]可选地，根据设置的维度字段值和所述维度关联路径，生成维度表数据模型对象包括：
[0031]根据设置的维度字段值确定与主表关联的维度表标识；
[0032]根据所述维度关联路径、主表标识、维度表标识和维度字段值进行实例化，以生成维度表数据模型对象。
[0033]可选地，在将所述数据模型根据指标和维度进行脚本拆分得到单元模型脚本之前，还包括：
[0034]对所述数据模型进行脚本结构优化，其中，所述脚本结构优化包括：
[0035]将相同指标不同维度的多条维度关联路径中，出现重合的部分关联路径合并为一条维度关联路径；
[0036]将不同指标的相同加工逻辑对应的维度关联路径合并为一条维度关联路径。
[0037]根据本专利技术实施例的另一方面，提供了一种数据模型脚本的生成装置。
[0038]一种数据模型脚本的生成装置，包括：
[0039]脚本解析模块，用于对数据仓库脚本进行解析以获取指标配置文件及维度关联路径；
[0040]主表对象生成模块，用于根据设置的指标字段值，对指标对应的指标配置文件进行解析以生成主表数据模型对象；
[0041]维度表对象生成模块，用于根据设置的维度字段值和所述维度关联路径，生成维度表数据模型对象，并将所述维度表数据模型对象与所述主表数据模型对象进行关联得到数据模型；
[0042]脚本拆分模块，用于将所述数据模型根据指标和维度进行脚本拆分得到单元模型脚本，并将所述单元模型脚本保存到代码单元中以生成数据模型脚本。
[0043]根据本专利技术实施例的又一方面，提供了一种数据模型脚本的生成电子设备。
[0044]一种数据模型脚本的生成电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例所提供的数据模型脚本的生成方法。
[0045]根据本专利技术实施例的再一方面，提供了一种计算机可读介质。
[0046]一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本专利技术实施例所提供的数据模型脚本的生成方法。
[0047]上述专利技术中的一个实施例具有如下优点或有益效果：通过对数据仓库脚本进行解析以获取指标配置文件及维度关联路径；根据设置的指标字段值，对指标对应的指标配置文件进行解析以生成主表数据模型对象；根据设置的维度字段值和维度关联路径，生成维度表数据模型对象，并将维度表数据模型对象与主表数据模型对象进行关联得到数据模型；将数据模型根据指标和维度进行脚本拆分得到单元模型脚本，并将单元模型脚本保存到代码单元中以生成数据模型脚本的技术方案，通过解析现有的数据仓库脚本，抽离出指标加工逻辑并自动生成yaml格式的指标配置文件，提高了指标配置的效率；将生成的数据模型脚本按执行逻辑拆分注入到jupyter cell(代码单元)中，整合了数据路由，使数据血缘可视化，且具有数据预览功能，提高了代码的可读性，实现了代码分段运行、调试和修改，提高了数据模型脚本的开发效率。另外，应用层使用jupyter lab框架替换sublime插件，登陆即可使用，无需进行环境部署，提高框架的易用性和泛用性；并且，还包括本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据模型脚本的生成方法，其特征在于，包括：对数据仓库脚本进行解析以获取指标配置文件及维度关联路径；根据设置的指标字段值，对指标对应的指标配置文件进行解析以生成主表数据模型对象；根据设置的维度字段值和所述维度关联路径，生成维度表数据模型对象，并将所述维度表数据模型对象与所述主表数据模型对象进行关联得到数据模型；将所述数据模型根据指标和维度进行脚本拆分得到单元模型脚本，并将所述单元模型脚本保存到代码单元中以生成数据模型脚本。2.根据权利要求1所述的方法，其特征在于，对数据仓库脚本进行解析以获取指标配置文件包括：从数据仓库脚本中抽取指标字段及其聚合逻辑，以及聚合操作所依赖的指标源字段；通过数据库语法溯源，从所述数据仓库脚本中获取所述指标源字段的加工逻辑；将所述聚合逻辑和所述加工逻辑按照规则重组为指标配置文件。3.根据权利要求2所述的方法，其特征在于，通过数据库语法溯源，从所述数据仓库脚本中获取所述指标源字段的加工逻辑包括：通过数据库语法溯源，获取所述指标源字段的来源表；若所述来源表为数据仓库底层表，则根据所述来源表得到所述指标源字段的加工逻辑；否则，逐级获取所述来源表的上游数据仓库模型脚本直至获取到数据仓库底层表，并根据所述来源表和各级上游数据仓库模型脚本得到所述指标源字段的加工逻辑。4.根据权利要求1所述的方法，其特征在于，对数据仓库脚本进行解析以获取维度关联路径包括：从数据仓库脚本中抽取指标字段及其聚合逻辑，以及聚合操作所依赖的指标源字段；根据不同指标源字段的属性之间的相似度，确定维度关联字段，所述属性包括字段名称、字段值、字段长度和指标来源字段的来源表对应的数据仓库底层表；基于所述维度关联字段生成维度关联路径。5.根据权利要求1所述的方法，其特征在于，对指标对应的指标配置文件进行解析以生成主表数据模型对象包括：根据所述指标字段值获取该指标对应的主表的指标配置文件；从所述指标配置文件中获取该指标对应的聚合逻辑配...
【专利技术属性】
技术研发人员：曹雨胧，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。