一种大规模设备的能耗数据处理方法技术

本发明专利技术涉及数据处理技术领域，尤其涉及一种大规模设备的能耗数据处理方法

【技术实现步骤摘要】
一种大规模设备的能耗数据处理方法、系统、设备及介质


[0001]本专利技术涉及数据处理
，尤其涉及一种大规模设备的能耗数据处理方法
、
系统
、
设备及介质
。

技术介绍

[0002]在物联网设备的普及和应用的过程中，能耗统计分析对于实现节能和资源优化利用至关重要
。
物联网设备中涉及能耗的统计范围广泛，包括用气
、
用电
、
用水等方面的数据收集和分析
。
[0003]由于能耗数据通常是大规模的
、
实时产生的，处理这些数据需要高效的算法和计算能力，以确保数据的及时分析和响应，但目前的能耗分析只提供对能耗的总体了解，限制了用户在做出决策时的全面性和深入性
。
同时，能耗数据里也可能会存在异常数据的情况，但传统的异常数据识别方法基于固定的规则或阈值通常只能捕捉到明显的异常情况，而无法有效处理复杂的
、
多模态的能耗数据分布
。

技术实现思路

[0004]本专利技术的目的在于提供一种大规模设备的能耗数据处理方法
、
系统
、
设备及介质，通过结合流处理技术
、
高斯混合模型和遗传算法，实现了对能耗数据的实时采集
、
流向分析
、
异常检测和能耗优化，以解决上述的现有技术问题的至少之一
。
[0005]本专利技术提供了一种大规模设备的能耗数据处理方法，所述方法具体包括：根据流处理技术采集大规模设备的能耗数据；确定所述大规模设备中每个设备的能耗流向，计算每个设备对应的能耗成本；基于高斯混合模型为每个设备类型建立基准模型，根据所述基准模型确定所述能耗数据中的异常数据；基于遗传算法实时对每个设备的能耗数据进行优化分析，获得每个设备的能耗优化方案
。
[0006]进一步的，所述根据流处理技术采集大规模设备的能耗数据，具体包括：设置
Apache Kafka
，配置
Kafka
生产者，用于实时获取大规模设备的能耗数据；为每个设备类型配置一个
Kafka
主题，根据所述
Kafka
生产者将每个设备类型的能耗数据封装成
Kafka Producer
记录并发送到对应的
Kafka
主题；配置
Spark Streaming
流处理引擎，根据所述
Spark Streaming
流处理引擎实时获取所述
Kafka
主题的能耗数据并进行数据处理
。
[0007]进一步的，所述基于高斯混合模型为每个设备类型建立基准模型，根据所述基准模型确定所述能耗数据中的异常数据，具体包括：确定每个设备类型的能耗数据集；根据每个设备类型的能耗数据集，比较每个设备类型对应的高斯混合模型在不同高斯成分数量下的
AIC
值和
BIC
值，获得每个设备类型对应的基准模型；
根据所述基准模型对每个设备的能耗数据进行异常识别，确定所述能耗数据中的能耗异常数据
。
[0008]更进一步的，所述比较每个设备类型对应的高斯混合模型在不同高斯成分数量下的
AIC
值和
BIC
值，获得每个设备类型对应的基准模型，具体包括：确定每个设备类型对应的高斯混合模型的初始参数，所述初始参数包括均值
、
协方差矩阵和混合系数；基于概率密度函数，计算所述能耗数据集在每个高斯分布上的响应度；根据所述能耗数据集在每个高斯分布上的响应度，更新所述均值
、
所述协方差矩阵和所述混合系数；重复响应度的计算和所述均值
、
协方差矩阵和所述混合系数的更新，直到所述高斯混合模型的似然函数值最大化；通过比较不同高斯成分数量下的高斯混合模型的
AIC
值和
BIC
值，确定每个设备类型对应的最优高斯混合模型，将所述最优高斯混合模型作为基准模型
。
[0009]更进一步的，所述基于概率密度函数，计算所述能耗数据集在每个高斯分布上的响应度，具体包括：基于概率密度函数，根据所述均值
、
所述协方差矩阵和所述混合系数，计算所述能耗数据集在每个高斯分布上的概率密度；将所述能耗数据集在每个高斯分布上的概率密度做归一化处理后进行求和，获得所述能耗数据集在所有高斯分布下的概率密度之和；基于贝叶斯定理，根据所述能耗数据集在所有高斯分布下的概率密度之和，计算所述能耗数据集属于任一高斯分布的概率，获得所述能耗数据集在每个高斯分布下的响应度
。
[0010]更进一步的，所述根据所述基准模型对每个设备的能耗数据进行异常识别，确定所述能耗数据中的能耗异常数据，具体包括：将能耗数据集分为正常数据集和异常数据集，根据所述正常数据集和所述异常数据集之间的频率设置初始概率阈值；基于决策树算法，根据所述初始概率阈值将新的能耗数据集进行分类，并通过误报率和漏报率的评估对所述初始概率阈值进行迭代调整，为每个高斯分布确定各自的优化概率阈值；根据所述基准模型，计算所述能耗数据集在每个高斯分布下的响应度；通过比较所述能耗数据集在每个高斯分布下的响应度与每个高斯分布对应的优化概率阈值，确定每个设备的能耗数据中是否存在能耗异常数据
。
[0011]进一步的，所述基于遗传算法实时对每个设备的能耗数据进行优化分析，获得每个设备的能耗优化方案，具体包括：根据每个设备的能耗数据和设备参数设置基因编码；将降低设备能耗和提高能源利用效率作为优化目标，将每个设备的最大能耗限制作为约束条件；确定每个设备的优化目标值和实际值之间的差异；根据所述基因编码
、
所述优化目标
、
所述约束条件以及每个设备的优化目标值和
实际值之间的差异设置适应度函数；基于遗传算法根据所述基因编码确定每个设备的若干种能耗运行模式，根据所述适应度函数计算每个设备的每种能耗运行模式的适应度值，将适应度值最高的能耗运行模式确定为最优能耗运行模式
。
[0012]本专利技术还提供了一种大规模设备的能耗数据处理系统，所述系统具体包括：能耗数据采集模块，用于根据流处理技术采集大规模设备的能耗数据；能耗流向分析模块，用于确定所述大规模设备中每个设备的能耗流向，计算每个设备对应的能耗成本；异常数据识别模块，用于基于高斯混合模型为每个设备类型建立基准模型，根据所述基准模型确定所述能耗数据中的异常数据；能耗优化分析模型，用于基于遗传算法实时对每个设备的能耗数据进行优化分析，获得每个设备的能耗优化方案
。
[0013]本专利技术还提供了一种计算机设备，包括：存储器和处理器及存储在存储器上的计算机程序，当所述计算机程序在处理器上被执行时，实现如上述方法中任一项所述的大规模设备的能耗数据处理方法
。
[0014]本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种大规模设备的能耗数据处理方法，其特征在于，所述方法具体包括：根据流处理技术采集大规模设备的能耗数据；确定所述大规模设备中每个设备的能耗流向，计算每个设备对应的能耗成本；基于高斯混合模型为每个设备类型建立基准模型，根据所述基准模型确定所述能耗数据中的异常数据；基于遗传算法实时对每个设备的能耗数据进行优化分析，获得每个设备的能耗优化方案
。2.
根据权利要求1所述的方法，其特征在于，所述根据流处理技术采集大规模设备的能耗数据，具体包括：设置
Apache Kafka
，配置
Kafka
生产者，用于实时获取大规模设备的能耗数据；为每个设备类型配置一个
Kafka
主题，根据所述
Kafka
生产者将每个设备类型的能耗数据封装成
Kafka Producer
记录并发送到对应的
Kafka
主题；配置
Spark Streaming
流处理引擎，根据所述
Spark Streaming
流处理引擎实时获取所述
Kafka
主题的能耗数据并进行数据处理
。3.
根据权利要求1所述的方法，其特征在于，所述基于高斯混合模型为每个设备类型建立基准模型，根据所述基准模型确定所述能耗数据中的异常数据，具体包括：确定每个设备类型的能耗数据集；根据每个设备类型的能耗数据集，比较每个设备类型对应的高斯混合模型在不同高斯成分数量下的
AIC
值和
BIC
值，获得每个设备类型对应的基准模型；根据所述基准模型对每个设备的能耗数据进行异常识别，确定所述能耗数据中的能耗异常数据
。4.
根据权利要求3所述的方法，其特征在于，所述比较每个设备类型对应的高斯混合模型在不同高斯成分数量下的
AIC
值和
BIC
值，获得每个设备类型对应的基准模型，具体包括：确定每个设备类型对应的高斯混合模型的初始参数，所述初始参数包括均值
、
协方差矩阵和混合系数；基于概率密度函数，计算所述能耗数据集在每个高斯分布上的响应度；根据所述能耗数据集在每个高斯分布上的响应度，更新所述均值
、
所述协方差矩阵和所述混合系数；重复响应度的计算和所述均值
、
协方差矩阵和所述混合系数的更新，直到所述高斯混合模型的似然函数值最大化；通过比较不同高斯成分数量下的高斯混合模型的
AIC
值和
BIC
值，确定每个设备类型对应的最优高斯混合模型，将所述最优高斯混合模型作为基准模型
。5.
根据权利要求4所述的方法，其特征在于，所述基于概率密度函数，计算所述能耗数据集在每个高斯分布上的响应...

【专利技术属性】
技术研发人员：李孔政，王晓明，陈晓丰，黄嘉荣，
申请(专利权)人：广东百德朗科技有限公司，
类型：发明
国别省市：