【技术实现步骤摘要】
本专利技术涉及数字能源信息处理领领域，尤其涉及一种基于宽表的能源数据处理系统。
技术介绍
1、新型数字能源目前为行内焦点，届时能源路由器会产生数以亿计的实时数据产生，并且互联网产品快速迭代，业务发展越来越快，跨业务分析越来越多，数据驱动业务越来越重要，因此，数据处理变得尤为重要。传统的数据处理方法采用实时查询，多张表关联查询的查询方式，进行相关的数据汇总展示。
2、传统的采用实时关联的实现方式虽然能满足业务需求，但是从长远来看，有诸多痛点：
3、1.收集了海量数据，不知道如何去做高效的数据处理工作
4、2.不同来源的数据该如何去聚合
5、3.如何方便业务人员快速方便的获取数据
6、4.如何定义重要的数据指标
7、5.如何确保数据准确性
8、6.数据如何支持决策
9、所谓宽表：从字面意义上讲就是字段比较多的数据库表。通常是指业务主题相关的指标、维度、属性关联在一起的一张数据库表。由于把不同的内容都放在同一张表存储，宽表已经不符合三范式的模型设计规范，随之带来的主要坏处就是数据的大量冗余。
技术实现思路
1、为了解决以上技术问题，本专利技术提供了一种基于宽表的能源数据处理系统。
2、本专利技术的技术方案是：
3、一种基于宽表的能源数据处理系统，包括数据采集模块，数据处理模块，数据汇总模块，数据服务模块；
4、其中，
5、数据采集模块包括mqtt
6、数据处理模块根据mqtt得到数据进行处理，并扩展，形成基本元数据。
7、数据汇总模块根据基本元数据进行数据建模，确认事实表，最终形成维度宽表。
8、数据服务模块根据维度宽表进行分层提供服务，分成应用数据层，数据聚合层，数据公共层，操作数据层。
9、进一步的，
10、通过mqtt等协议从能源网关获取基础数据，通过关系型数据库分类对基础数据存储，然后按照指定规则对基础数据进行清洗，按照业务层的需要对清洗后的有效原始数据以及当时所属业务属性进行实时落档，从而形成宽表。针对宽表中数据，按照业务诉求，按照不同时间段的多维度汇总。针对汇总以后的数据，按照分层的方式提供基本服务。
11、再进一步的，
12、数据采集模块，通过mqtt协议进行数据同步，首先通过mqtt客户端订阅相关主题，并创建规则进行过滤，然后mqtt发布主题，然后开始数据传输过程，通过publish报文获取发布者上报的数据，然后根据预定的规则进行脏数据和有效数据的标记，如果是脏数据，则通过反馈报文feedback将数据处理结果反馈给发布者，如果是有效数据，则通过设置的是否需要数据转换进行相应的处理，最终会根据订阅者发送的订阅报文subscribe的过滤规则，将处理后的数据通过publish报文发给相应的mqtt订阅者，订阅者收到数据后，进行后续操作。
13、数据处理模块，有了基础元数据以后，根据业务场景，对元数据进行进一步扩展，并对部分数据计算得到新的数据，从而形成以元数据为基础扩展起来的宽表数据，从而形成数据仓库。
14、数据汇总模块，其核心是数据建模，按照数据仓库规范分层开发模型，实现数据的标准化，多采用维度建模。模型具有通用性，一些数据挖掘模型如果使用频次较高，也可以沉淀到其中。
15、数据建模分为两个步骤：
16、确认事实表，分析业务的生命周期，明确业务的关键步骤；在进行指标定义的时候是否覆盖了本主题语中的全部指标，判断哪些指标可以通过加减乘除计算得到；
17、确定维度，也就是形成宽表，粒度是模型设计的关键，模型设计时候考虑分层，层级越往后，粒度越粗；设计冗余的维度以避免统计中过多的关联导致复杂的计算逻辑。
18、数据服务模块，通过上一步形成的宽表数据做设计，提供扩展性，维护性强的服务。
19、分层设计，分为操作数据层(ods) 、数据公共层(dwc) 数据聚合层(dwa)、应用数据层(ads)；
20、其中，
21、操作数据层(ods)，存放的是原始数据，也是根据不同的维度表汇总到的数据，在操作数据层分别从十五分钟、天、月，按照汇总和明细的角度提供相应的能力；
22、数据公共层(dwc)，拆分为按月查询，按天查询，按十五分钟查询三个服务，需要根据时间来判断是否需要查询当天数据，如果需要，则需要进一步对十五分钟数据表的当天数据进行汇总到按天和月的统计中，根据业务的具体请求时间参数，组合对应的操作数据层服务；
23、数据聚合层(dwa)，作用是根据实际的业务需求，抽象出业务接口，提供给业务方调用；提供四个服务，能耗服务，成本服务，碳排放服务，标准煤服务，并且这些服务都实现同一个接口，接口的设计是结合业务中普遍用到的业务数据提供相关api；为了保证代码的复用性，用模板模式设计接口；利用反射方法调用的参数性和相关的抽象方法，实现接口返回参数的一致性问题；
24、应用数据层(ads)，通过上面几层后，会生成汇总的数据，然后根据业务域进行接口封装提供给上层使用。
25、本专利技术的有益效果是
26、利用数据处理模块、数据汇总模块，提升数据质量，实现任务数据低延迟，大幅减少研发bug数量达到80%，并完成数据指标口径的统一 。利用数据服务模块，可实现需求交付速度，数据查找效率，数据查询能力的三重提升，接口查询性能提升从秒计到毫秒级，并且提供程序的可维护性，降低数据服务成本，从而可大幅度节约业务成本，提升整体研发业务价值。
本文档来自技高网...【技术保护点】
1.一种基于宽表的能源数据处理系统，其特征在于，
2.根据权利要求1所述的系统，其特征在于，
3.根据权利要求2所述的系统，其特征在于，
4.根据权利要求1所述的系统，其特征在于，
5.根据权利要求1所述的系统，其特征在于，
6.根据权利要求5所述的系统，其特征在于，
7.根据权利要求1所述的系统，其特征在于，
8.根据权利要求7所述的系统，其特征在于，
【技术特征摘要】
1.一种基于宽表的能源数据处理系统，其特征在于，
2.根据权利要求1所述的系统，其特征在于，
3.根据权利要求2所述的系统，其特征在于，
4.根据权利要求1所述的系统，其特征在于，
【专利技术属性】
技术研发人员：贾衍鑫，张晖，王春生，林俊豪，祁玉良，邱发祥，魏姗姗，
申请(专利权)人：山东浪潮数据库技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。