一种基于数据仓库模型的数据处理方法及装置制造方法及图纸

本申请提供一种基于数据仓库模型的数据处理方法及装置，该基于数据仓库模型的数据处理方法包括：获取待处理逻辑表；获取数据仓库模型，其中，数据仓库模型分为ODS原始数据层、DWD明细数据层、DWS汇总数据层以及ADS应用数据层；将待处理逻辑表输入数据仓库模型，得到输出数据。本申请在逻辑表提交后即生成对应智能黑盒调度任务，自动化生产数据，大大提升数据处理的效率。据处理的效率。据处理的效率。

【技术实现步骤摘要】
一种基于数据仓库模型的数据处理方法及装置


[0001]本申请主要涉及数据处理
，具体涉及一种基于数据仓库模型的数据处理方法及装置。

技术介绍

[0002]在数据开发中规范建模用于构建逻辑化的数据模型，模型设计建立时的分层可以统一管理收集，但是在传统手动写SQL代码的开发模式中往往会出现统计指标计算口径不一致的情况，而且开发效率低下。比如在我们日常的数据开发中开发人员对模型或者业务线不了解，导致会重复开发相同的指标SQL任务，从而会有计算口径不一致的问题发生，不同报表有不同的结果。传统的SQL开发还需要开发人员有不错的SQL开发功底，在开发中才会更好地避免出现数据异常以及最大化的应用数据库性能，在SQL的开发中也需要不断地调试。
[0003]也即，现有技术数据处理的方式效率较低。

技术实现思路

[0004]本申请提供一种基于数据仓库模型的数据处理方法及装置，旨在解决现有技术中数据处理的方式效率较低的问题。
[0005]第一方面，本申请提供一种基于数据仓库模型的数据处理方法，所述基于数据仓库模型的数据处理方法包括：
[0006]获取待处理逻辑表；
[0007]获取数据仓库模型，其中，所述数据仓库模型分为ODS原始数据层、DWD明细数据层、DWS汇总数据层以及ADS应用数据层；
[0008]将所述待处理逻辑表输入数据仓库模型，得到输出数据。
[0009]可选地，所述将所述待处理逻辑表输入数据仓库模型，得到输出数据，包括：
[0010]将所述待处理逻辑表输入ODS原始数据层；
[0011]利用ODS原始数据层从数据源获取业务相关数据，所述业务相关数据包括业务系统数据、业务运行的日志数据、机器运转产生的日志数据、网络爬虫或者其他方式获取的外部数据；
[0012]将业务相关数据输入DWD明细数据层、DWS汇总数据层以及ADS应用数据层，得到输出数据。
[0013]可选地，所述将业务相关数据输入DWD明细数据层、DWS汇总数据层以及ADS应用数据层，得到输出数据，包括：
[0014]将业务相关数据输入DWD明细数据层；
[0015]利用DWD明细数据层对所述业务相关数据进行清洗，得到清洗后的业务相关数据，其中，在DWD明细数据层根据配置好的表结构配置对应的SQL任务，自动创建表与生产表数据的定时调度任务；
[0016]将清洗后的业务相关数据输入DWS汇总数据层以及ADS应用数据层，得到输出数据。
[0017]可选地，所述将清洗后的业务相关数据输入DWS汇总数据层以及ADS应用数据层，得到输出数据，包括：
[0018]将清洗后的业务相关数据输入DWS汇总数据层；
[0019]利用DWS汇总数据层根据配置好的衍生指标和复合指标生成对应的数据表与调度任务承载数据；
[0020]利用ADS应用数据层根据配置好的多个指标作为维度以及指标字段，生成对应的数据表与调度任务承载应用层的数据，得到输出数据。
[0021]可选地，所述利用ODS原始数据层从数据源获取业务相关数据，包括：
[0022]在ODS原始数据层的数据同步任务中配置spark或datax同步任务，自动创建对应的目标表与定时同步任务；
[0023]基于对应的目标表与定时同步任务从数据源获取业务相关数据。
[0024]可选地，所述基于数据仓库模型的数据处理方法包括：
[0025]创建原子指标、衍生指标以及复合指标。
[0026]可选地，所述创建原子指标、衍生指标以及复合指标，包括：
[0027]新增原子指标，选择明细数据表，配置计算逻辑，保存发布，新增衍生指标，选择原子指标，选择汇总数据表，输入业务限定，保存发布，新增复合指标，选择衍生指标，编写指标计算逻辑，保存发布。
[0028]第二方面，本申请提供一种基于数据仓库模型的数据处理装置，所述基于数据仓库模型的数据处理装置包括：
[0029]第一获取单元，用于获取待处理逻辑表；
[0030]第二获取单元，用于获取数据仓库模型，其中，所述数据仓库模型分为ODS原始数据层、DWD明细数据层、DWS汇总数据层以及ADS应用数据层；
[0031]输入单元，用于将所述待处理逻辑表输入数据仓库模型，得到输出数据。
[0032]可选地，所述输入单元，用于：
[0033]将所述待处理逻辑表输入ODS原始数据层；
[0034]利用ODS原始数据层从数据源获取业务相关数据，所述业务相关数据包括业务系统数据、业务运行的日志数据、机器运转产生的日志数据、网络爬虫或者其他方式获取的外部数据；
[0035]将业务相关数据输入DWD明细数据层、DWS汇总数据层以及ADS应用数据层，得到输出数据。
[0036]可选地，所述输入单元，用于：
[0037]将业务相关数据输入DWD明细数据层；
[0038]利用DWD明细数据层对所述业务相关数据进行清洗，得到清洗后的业务相关数据，其中，在DWD明细数据层根据配置好的表结构配置对应的SQL任务，自动创建表与生产表数据的定时调度任务；
[0039]将清洗后的业务相关数据输入DWS汇总数据层以及ADS应用数据层，得到输出数据。
[0040]可选地，所述输入单元，用于：
[0041]将清洗后的业务相关数据输入DWS汇总数据层；
[0042]利用DWS汇总数据层根据配置好的衍生指标和复合指标生成对应的数据表与调度任务承载数据；
[0043]利用ADS应用数据层根据配置好的多个指标作为维度以及指标字段，生成对应的数据表与调度任务承载应用层的数据，得到输出数据。
[0044]可选地，所述输入单元，用于：
[0045]在ODS原始数据层的数据同步任务中配置spark或datax同步任务，自动创建对应的目标表与定时同步任务；
[0046]基于对应的目标表与定时同步任务从数据源获取业务相关数据。
[0047]可选地，所述输入单元，用于：
[0048]创建原子指标、衍生指标以及复合指标。
[0049]可选地，所述输入单元，用于：
[0050]新增原子指标，选择明细数据表，配置计算逻辑，保存发布，新增衍生指标，选择原子指标，选择汇总数据表，输入业务限定，保存发布，新增复合指标，选择衍生指标，编写指标计算逻辑，保存发布。
[0051]第三方面，本申请提供一种电子设备，所述电子设备包括：
[0052]一个或多个处理器；
[0053]存储器；以及
[0054]一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面中任一项所述的基于数据仓库模型的数据处理方法。
[0055]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行第一方面中任一项所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据仓库模型的数据处理方法，其特征在于，所述基于数据仓库模型的数据处理方法包括：获取待处理逻辑表；获取数据仓库模型，其中，所述数据仓库模型分为ODS原始数据层、DWD明细数据层、DWS汇总数据层以及ADS应用数据层；将所述待处理逻辑表输入数据仓库模型，得到输出数据。2.根据权利要求1所述的基于数据仓库模型的数据处理方法，其特征在于，所述将所述待处理逻辑表输入数据仓库模型，得到输出数据，包括：将所述待处理逻辑表输入ODS原始数据层；利用ODS原始数据层从数据源获取业务相关数据，所述业务相关数据包括业务系统数据、业务运行的日志数据、机器运转产生的日志数据、网络爬虫或者其他方式获取的外部数据；将业务相关数据输入DWD明细数据层、DWS汇总数据层以及ADS应用数据层，得到输出数据。3.根据权利要求2所述的基于数据仓库模型的数据处理方法，其特征在于，所述将业务相关数据输入DWD明细数据层、DWS汇总数据层以及ADS应用数据层，得到输出数据，包括：将业务相关数据输入DWD明细数据层；利用DWD明细数据层对所述业务相关数据进行清洗，得到清洗后的业务相关数据，其中，在DWD明细数据层根据配置好的表结构配置对应的SQL任务，自动创建表与生产表数据的定时调度任务；将清洗后的业务相关数据输入DWS汇总数据层以及ADS应用数据层，得到输出数据。4.根据权利要求3所述的基于数据仓库模型的数据处理方法，其特征在于，所述将清洗后的业务相关数据输入DWS汇总数据层以及ADS应用数据层，得到输出数据，包括：将清洗后的业务相关数据输入DWS汇总数据层；利用DWS汇总数据层根据配置好的衍生指标和复合指标生成对应的数据表与调度任务承载数据；利用ADS应用数据层根据配置好的多个指标作为维度以及指标字段，生成对应的数据表与调...

【专利技术属性】
技术研发人员：彭友斌，袁俊飞，陈凯旋，
申请(专利权)人：广州飞狮数字科技有限公司，
类型：发明
国别省市：