能耗数据处理方法、系统、电子设备及存储介质技术方案

技术编号:42497564 阅读:24 留言:0更新日期:2024-08-22 14:08
本发明专利技术提供一种能耗数据处理方法、系统、电子设备及存储介质,属于大数据领域。该方法包括:获取融合各类信息系统的能耗数据,包括关系型数据源、接口数据源、文件数据源、大数据存储、消息队列以及非关系型数据源;响应于用户选择的数据源和配置的采集任务利用内置元数据模型采集对应的元数据,并对元数据进行整理得到元数据关系;将元数据关系采用图形化的形式提供血缘分析和全链路分析,其中,血缘分析以数据流向为主线,全链路分析表征元数据的来源、存储、处理过程以及流向信息。通过将各个异构系统的数据进行融合汇总,并通过建立血缘分析和全链路分析实现不同异构系统间数据的管理以及不同数据源之间的管理,提高数据管理能力。

【技术实现步骤摘要】

本专利技术涉及大数据,具体地涉及一种能耗数据处理方法、系统、电子设备及存储介质


技术介绍

1、随着信息化、智能化的蓬勃发展,多种类、多用途的系统在钢铁、化工、工业园区、港口、建筑行业等高能耗企业生产经营活动中发挥各自作用。但各系统之间彼此独立,形成一个又一个信息孤岛,彼此之间信息没有互联互通,相互之间数据协同较低,导致使用人员往往要打开多套系统才能全面了解公司生产经营情况,或当某个异构系统的数据发生变化后,另外系统中的相关数据没有同步,需要人工进行重复数据搬运。

2、在各个异构业务系统中,各个异构系统产生的数据非常庞大及复杂,而且数据还在企业运营过程中不断叠加和变化,出现业务数据大量重复、数据量异常(例如正常量出现负值)、数据关联性偏弱等现象。当前异构系统中常常有几百张数据表,有些数据表在设计过程中,没有考虑日后数据挖掘及分析的场景,造成某些单个数据表的数据量非常大,而且还出现了多表之间复杂关联,一旦对这些异构数据进行查询、分类、汇总、展示等操作,在性能方面会出现极度不佳的状况。


技术实现思路</b>

本文档来自技高网...

【技术保护点】

1.一种能耗数据处理方法,其特征在于,包括:

2.根据权利要求1所述的能耗数据处理方法,其特征在于,所述响应于用户选择的数据源和配置的采集任务利用内置元数据模型采集对应的元数据,并对所述元数据进行整理得到元数据关系,包括:

3.根据权利要求1所述的能耗数据处理方法,其特征在于,所述将所述元数据关系采用图形化的形式提供血缘分析和全链路分析,包括:

4.一种应用于权利要求1-3任一项所述的能耗数据处理方法的能耗数据处理系统,其特征在于,包括:

5.根据权利要求4所述的能耗数据处理系统,其特征在于,所述数据地图模块还用于利用元数据分布图展示不同类...

【技术特征摘要】

1.一种能耗数据处理方法,其特征在于,包括:

2.根据权利要求1所述的能耗数据处理方法,其特征在于,所述响应于用户选择的数据源和配置的采集任务利用内置元数据模型采集对应的元数据,并对所述元数据进行整理得到元数据关系,包括:

3.根据权利要求1所述的能耗数据处理方法,其特征在于,所述将所述元数据关系采用图形化的形式提供血缘分析和全链路分析,包括:

4.一种应用于权利要求1-3任一项所述的能耗数据处理方法的能耗数据处理系统,其特征在于,包括:

5.根据权利要求4所述的能耗数据处理系统,其特征在于,所述数据地图模块还用于利用元数据分布图展示不同类型元数据在不同系统中的数据,利用系统重要性统计图展示系统中表对象关联频度,利用热度统计图对元数据及表的使用热度进行可视化展示,利用元数据变更趋势图展示不同类型元数据在不同时间段不同变更类型的变更数量。

6.根据权利要求4所述的能耗数据处理系统,其特征在于,所述能耗数据处理系统还包括数据治理模块,所述数据治理模块包...

【专利技术属性】
技术研发人员:曲志强曹扬萃王震李昊赵新波
申请(专利权)人:山东浪潮智慧能源科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1