【技术实现步骤摘要】
本专利技术属于能源消耗控制，尤其涉及一种基于能源行业工业园区大数据能耗数仓的建模方法。
技术介绍
1、全球变暖和碳排放控制成为世界各国共识，在国家强力推动节能减排的背景下，各大企业也逐步推动设备能耗信息化管理。能耗管理问题不仅是社会号召，也是企业参与碳交易市场，控制企业排放成本的无可逃避的问题。
2、当前能耗管理、控制、分析多数还是依赖传统的mysql等关系数据库，往往是通过对较大规模数据体系mysql的分表，并将预先分析结果存入特定大宽表，服务于固定时间维度的历史数据查询；随着数据量的增加和应对灵活多变的查询分析需求，传统的分析方式在新形势下也面临越来越多的局限和挑战。
技术实现思路
1、鉴于上述问题，本专利技术的目的在于提供一种基于能源行业工业园区大数据能耗数仓的建模方法，旨在解决现有利用关系数据库进行能耗控制的方式功能单一的技术问题。
2、本专利技术采用如下技术方案：
3、所述基于能源行业工业园区大数据能耗数仓的建模方法，包括下述步骤：
4、步骤s1、设置大数据能耗数仓的标准能耗业务总线；
5、步骤s2、设置能耗指标，包括原子指标、派生指标、衍生指标；
6、步骤s3、进行数仓维度建模和数仓分层，共分为四层，分别为ods层、dwd层、dws层和ads层；
7、步骤s4、基于powerjob任务调度框架按照定时或者依赖触发。
8、进一步的，所述步骤s1具体过程如下：
9、确
10、进一步的，步骤s2中，所述原子指标为每天设备上报的能耗采集点位数据，所述派生指标为经过维度聚合之后的能耗指标，所述衍生指标为指基于原子指标复合构成的指标。
11、进一步的，步骤s3中，所述ods层用于存储mysql中的原始设备采集数据，所述dwd层用于存储从ods层经过清洗、数值转换、剔除异常值操作的明细表，所述dws层用于存储通过dwd层中上报采集设备的事实表和维度表，所述ads层用于根据用户查询需求，使用查询引擎，在dwd或dws的基础上进行高维度的聚合操作，或者用户按需编写sql生成结果表。
12、进一步的，所述步骤s3的具体过程如下：
13、s31、用数据集成工具将mysql中数据全量导入hive或doris中，构成ods层，所述ods层是数仓的基础层；其中对于hive，ods层按照天的hive组织分区，增量数据通过定时调度任务每天从mysql导入hive对应天的分区；对于实时数仓doris，采用flinkx实时从外部数据源导入doris的ods层；
14、s32、针对dwd层数据进行维度建模梳理，形成设备上报事实表、设备关联维度表,得到设备大宽表；
15、s33、根据衍生指标和派生指标，依据ods点位数据，dwd层的设备宽表，聚合形成对应的聚合指标表；
16、s34、根据用户自身维度查询的业务需求，使用查询引擎，在dwd或dws的基础上进行高维度的聚合操作，或者用户按需编写sql生成结果表。
17、进一步的，所述步骤s4具体过程如下：
18、使用powerjob任务调度框架提供的任务调度服务，从数据源读取能耗设备采集点位数据表、设备维度表和子维度表，以全量或者增量的方式导入hive或doris的ods层数据，完成数据集成服务；在数仓的各层中使用powerjob完成各部分的作业依赖调度。
19、本专利技术的有益效果是：本专利技术通过明确业务总线、指标体系，数仓分层与维度建模、任务调度，综合运行运用大数据技术参与大规模的能耗设备数据集成、处理、分析、展示等，实现了借助大数据技术通过构建能耗数仓而实现能耗监控与节能减排，从而支持能耗领域的节能优化和辅助决策。
本文档来自技高网...【技术保护点】
1.一种基于能源行业工业园区大数据能耗数仓的建模方法，其特征在于，所述方建模方法包括下述步骤：
2.如权利要求1所述基于能源行业工业园区大数据能耗数仓的建模方法，其特征在于，所述步骤S1具体过程如下：
3.如权利要求2所述基于能源行业工业园区大数据能耗数仓的建模方法，其特征在于，步骤S2中，所述原子指标为每天设备上报的能耗采集点位数据，所述派生指标为经过维度聚合之后的能耗指标，所述衍生指标为指基于原子指标复合构成的指标。
4.如权利要求3所述基于能源行业工业园区大数据能耗数仓的建模方法，其特征在于，步骤S3中，所述ods层用于存储mysql中的原始设备采集数据，所述dwd层用于存储从ods层经过清洗、数值转换、剔除异常值操作的明细表，所述dws层用于存储通过dwd层中上报采集设备的事实表和维度表，所述ads层用于根据用户查询需求，使用查询引擎，在dwd或dws的基础上进行高维度的聚合操作，或者用户按需编写sql生成结果表。
5.如权利要求4所述基于能源行业工业园区大数据能耗数仓的建模方法，其特征在于，所述步骤S3的具体过程如下：p>
6.如权利要求5所述基于能源行业工业园区大数据能耗数仓的建模方法，其特征在于，所述步骤S4具体过程如下：
...【技术特征摘要】
1.一种基于能源行业工业园区大数据能耗数仓的建模方法，其特征在于，所述方建模方法包括下述步骤：
2.如权利要求1所述基于能源行业工业园区大数据能耗数仓的建模方法，其特征在于，所述步骤s1具体过程如下：
3.如权利要求2所述基于能源行业工业园区大数据能耗数仓的建模方法，其特征在于，步骤s2中，所述原子指标为每天设备上报的能耗采集点位数据，所述派生指标为经过维度聚合之后的能耗指标，所述衍生指标为指基于原子指标复合构成的指标。
4.如权利要求3所述基于能源行业工业园区大数据能耗数仓的建模方法，其特征在于，步骤s3中，所...
【专利技术属性】
技术研发人员：方昌坦，杨志祥，郭朝霞，谢倩，范俊甫，夏璐，
申请(专利权)人：中船凌久高科武汉有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。