基于能源数据仓库的配置与处理方法、装置及其相关介质制造方法及图纸

技术编号:39059042 阅读:26 留言:0更新日期:2023-10-12 19:52
本发明专利技术公开了基于能源数据仓库的配置与处理方法、装置及其相关介质,该方法包括获取增量能源数据和点位信息,配置得到有效点位数据;进行阈值配置规则判断以输出清洗结果表;其中,所述清洗结果表包括环境数据和电表数据;分别对所述电表数据和所述环境数据进行异常值处理,以输出第一处理数据和第二处理数据,最终覆写得到最终清洗结果表;基于所述最终清洗结果表分别进行数据处理,分别得到分类存储数据和统计存储数据;接收查询指令,并返回能源信息列表。本发明专利技术对最终清洗结果表处理后得到分类存储数据和统计存储数据,再利用查询指令得到能源信息列表,以对能源数据仓库进行管理,如此,解决了能源数据仓库数据异常并大大提高管理效率。大大提高管理效率。大大提高管理效率。

【技术实现步骤摘要】
基于能源数据仓库的配置与处理方法、装置及其相关介质


[0001]本专利技术涉及数据处理
,特别涉及基于能源数据仓库的配置与处理方法、装置及其相关介质。

技术介绍

[0002]目前现有的数据仓库系统中,大多数都没有针对能源行业的特殊需求进行优化,这导致无法对能源消耗的优化提供足够数据支持,从而影响了能源管理和节能减排工作。现有技术中虽然存在许多解决方案,但均无法满足能源数据仓库的特殊需求,能源行业常常面临数据异常问题,传统的能源数据仓库无法有效解决;现有技术(专利号:CN112015724A)中使用固定值判断月度用电量和固定倍率判断额定电流,但并不适合其他电数值处理,这大大降低了管理效率。

技术实现思路

[0003]本专利技术实施例提供了基于能源数据仓库的配置与处理方法、装置及其相关介质,旨在解决现有技术中能源数据仓库无法有效解决数据异常以及管理效率低下的问题。
[0004]第一方面,本专利技术实施例提供了一种基于能源数据仓库的配置与处理方法,包括:
[0005]获取增量能源数据,并且提取配置系统中的数据集的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于能源数据仓库的配置与处理方法,其特征在于,包括:获取增量能源数据,并且提取配置系统中的数据集的点位信息;利用所述点位信息对所述增量能源数据进行配置,得到有效点位数据;对所述有效点位数据进行阈值配置规则判断,若符合所述阈值配置规则,输出得到清洗结果表;若不符合所述阈值配置规则,对所述有效点位数据进行异常值处理后输出得到清洗结果表;其中,所述清洗结果表包括环境数据和电表数据;对所述电表数据进行异常值处理,以输出连续性的第一处理数据;对所述环境数据进行异常值处理,以输出连续性的第二处理数据;分别对所述第一处理数据和第二处理数据进行时间序列化,并覆写到所述清洗结果表中,得到最终清洗结果表;基于所述最终清洗结果表分别进行数据分类和数据统计,分别得到分类存储数据和统计存储数据;基于所述分类存储数据和统计存储数据接收查询指令,并返回能源信息列表。2.根据权利要求1所述的基于能源数据仓库的配置与处理方法,其特征在于,所述获取增量能源数据,并且提取配置系统中的数据集的点位信息,包括:分别读取所述配置系统中的数据集的项目关系表和点位标识表;将所述项目关系表和点位标识表进行数据合并,得到所述点位信息。3.根据权利要求1所述的基于能源数据仓库的配置与处理方法,其特征在于,所述利用所述点位信息对所述增量能源数据进行配置,得到有效点位数据,包括:将所述增量能源数据写入数据库中,得到项目ID和点位ID;将所述项目ID和点位ID与所述点位信息进行数据合并,得到点位配置结果;其中,所述点位配置结果包括有效点位数据和无效点位数据。4.根据权利要求1所述的基于能源数据仓库的配置与处理方法,其特征在于,所述若不符合所述阈值配置规则,对所述有效点位数据进行异常值处理后输出得到清洗结果表,包括:判断所述有效点位数据的输出规则类型为过滤时,对所述有效点位数据的异常值进行作废处理;判断所述有效点位数据的输出规则类型为默认值时,将所述有效点位数据的异常值更改为默认值,并输出得到所述清洗结果表;判断所述有效点位数据的输出规则类型为算法赋值时,对所述有效点位数据的异常值进行数值置空处理,并输出得到所述清洗结果表。5.根据权利要求1所述的基于能源数据仓库的配置与处理方法,其特征在于,所述对所述电表数据进行异常值处理,以输出连续性的第一处理数据,包括:判断所述电表数据中是否存在点位数据缺失或重复,若存在点位数据缺失或重复,则对应进行补缺处理或去重处理,再进行异常值判断;若不存在点位数据缺失或重复,则直接进行异常值判断;若判断存在异常值,则剔除跳变数据并对点位数据进行数据填充,再对异常值进行置空处理;若判断不存在异常值,则直接对异常值进行置空处理;其中,所述置空处理包括:提取点位...

【专利技术属性】
技术研发人员:袁婉娇叶伟林克柔
申请(专利权)人:深圳市万物云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1