一种基于深度学习和时空联合知识蒸馏的能耗预测方法技术

本发明专利技术公开一种基于深度学习和时空联合知识蒸馏的能耗预测方法，涉及能耗数据预测技术领域；构建能耗预测系统，通过数据处理模块采集、预处理和提取相关能耗数据的特征，其中相关能耗数据包括建筑物结构、气象数据和人流数据，通过数据处理模块根据相关能耗数据提取能够表征预测对象时空特征的特征，利用表征预测对象时空特征的特征训练深度学习预测模型，并在训练过程中根据定义的损失函数不断优化预测模型的参数，通过知识蒸馏模块压缩预测模型并优化预测模型，其中通过知识蒸馏模块让教师模型和学生模型进行学习和识别，定义知识蒸馏函数的损失函数，根据损失函数在不过拟合的情况下达到最小值，获得对应的预测模型，通过预测模块利用优化后的预测模型对建筑能耗进行预测。行预测。行预测。

【技术实现步骤摘要】
一种基于深度学习和时空联合知识蒸馏的能耗预测方法


[0001]本专利技术公开一种测方法，涉及能耗数据预测
，具体地说是一种基于深度学习和时空联合知识蒸馏的能耗预测方法。

技术介绍

[0002]建筑能耗预测对于提高节能减排水平、降低经营成本、增强舒适度和提升环保指数都具有重要的意义，在不同建筑不同场景中进行能耗预测及运维的需求也不断增多，然而现有能耗预测模型中，往往只考虑时间序列数据或空间分布数据，无法充分考虑时空因素的影响，导致预测精度较低，且算法不具有普适性，增加了训练成本。
[0003]通常来说，规模较大的模型预测效果更好，但训练时间长、推理速度慢，使得模型难以实时部署，尤其在视频监控、智慧建筑和高吞吐量云端环境等计算资源有限的设备，响应速度远远不够。规模较小的模型虽然推理速度较快，但参数有限，推理效果和泛化性能较差。

技术实现思路

[0004]本专利技术针对现有技术的问题，提供一种基于深度学习和时空联合知识蒸馏的能耗预测方法，通过时空联合知识蒸馏技术，将已有的深度神经网络模型压缩到较小的模型中，从而在不影响预测精度的情况下提高预测效率，能够减少模型的复杂性，提高模型的泛化能力和稳健性，从而实现更好的能耗预测。
[0005]本专利技术提出的具体方案是：
[0006]本专利技术提供一种基于深度学习和时空联合知识蒸馏的能耗预测方法，构建能耗预测系统，所述系统包括数据处理模块、知识蒸馏模块和预测模块，
[0007]通过数据处理模块采集、预处理和提取相关能耗数据的特征，其中相关能耗数据包括建筑物结构、气象数据和人流数据，通过数据处理模块根据相关能耗数据提取能够表征预测对象时空特征的特征，利用表征预测对象时空特征的特征训练深度学习预测模型，并在训练过程中根据定义的损失函数不断优化预测模型的参数，
[0008]通过知识蒸馏模块压缩预测模型并优化预测模型，其中通过知识蒸馏模块让教师模型和学生模型进行学习和识别，定义知识蒸馏函数的损失函数，根据损失函数在不过拟合的情况下达到最小值，获得对应的预测模型，
[0009]通过预测模块利用优化后的预测模型对建筑能耗进行预测。
[0010]进一步，所述的一种基于深度学习和时空联合知识蒸馏的能耗预测方法中所述通过数据处理模块根据相关能耗数据提取能够表征预测对象时空特征的特征，包括：对于时间序列数据，通过数据处理模块从中提取出各种时序特征，所述时序特征包括均值、方差、最大值、最小值、峰度和偏度，
[0011]对于空间数据，通过数据处理模块从中提取出各种空间特征，所述空间特征包括均值、方差、最大值、最小值和空间相关性，
[0012]对于周期性变化的数据，通过数据处理模块利用频域分析提取出各种频域特征，频域特征包括频域幅度、频域相位和谐波分析。
[0013]进一步，所述的一种基于深度学习和时空联合知识蒸馏的能耗预测方法中所述利用表征预测对象时空特征的特征训练深度学习预测模型，包括：筛选特征，去除无用的特征并降低特征维度，选择深度学习模型，进行参数初始化并定义适合的损失函数，对所选的深度学习模型利用筛选后特征进行训练，获得深度学习预测模型。
[0014]进一步，所述的一种基于深度学习和时空联合知识蒸馏的能耗预测方法中所述选择深度学习模型，包括：选择长短期记忆网络模型(LSTM)、卷积神经网络模型(CNN)或循环神经网络模型(RNN)。
[0015]进一步，所述的一种基于深度学习和时空联合知识蒸馏的能耗预测方法中通过知识蒸馏模块压缩预测模型并优化预测模型，包括：根据获得的长短期记忆网络LSTM的深度学习预测模型，在预测模型训练阶段，对提取的时序特征进行不同时间段的分布匹配来学习不同时间段共享的公共知识，加入历史静态变量信息，让预测模型学习各种动态和静态之间的关系，
[0016]其中教师模型采用双向长短期记忆网络建立预测模型，学生模型采用单向长短期记忆网络建立预测模型，让教师模型和学生模型进行学习和识别，定义知识蒸馏函数的损失函数为W
AB
(Ai,Bi)＝αWlocal(Ai,Bi)+βLrlocal(Ai,Bi)，W
AB
表示知识蒸馏的损失函数，Wlocal表示局部损失函数，Lrlocal表示全局损失函数，α表示局部损失函数值对于整体知识蒸馏损失函数值的影响力程度，β表示全局损失函数值对于整体知识蒸馏损失函数值的影响力程度。
[0017]本专利技术还提供一种基于深度学习和时空联合知识蒸馏的能耗预测系统，所述系统包括数据处理模块、知识蒸馏模块和预测模块，
[0018]数据处理模块采集、预处理和提取相关能耗数据的特征，其中相关能耗数据包括建筑物结构、气象数据和人流数据，数据处理模块根据相关能耗数据提取能够表征预测对象时空特征的特征，利用表征预测对象时空特征的特征训练深度学习预测模型，并在训练过程中根据定义的损失函数不断优化预测模型的参数，
[0019]知识蒸馏模块压缩预测模型并优化预测模型，其中知识蒸馏模块让教师模型和学生模型进行学习和识别，定义知识蒸馏函数的损失函数，根据损失函数在不过拟合的情况下达到最小值，获得对应的预测模型，
[0020]预测模块利用优化后的预测模型对建筑能耗进行预测。
[0021]本专利技术还提供一种基于深度学习和时空联合知识蒸馏的能耗预测电子设备，包括：至少一个存储器和至少一个处理器；
[0022]所述至少一个存储器，用于存储机器可读程序；
[0023]所述至少一个处理器，用于调用所述机器可读程序，执行所述的一种基于深度学习和时空联合知识蒸馏的能耗预测方法。
[0024]本专利技术还提供计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述的一种基于深度学习和时空联合知识蒸馏的能耗预测方法。
[0025]本专利技术的有益之处是：
[0026]本专利技术提供一种基于深度学习和时空联合知识蒸馏的能耗预测方法，在模型训练的时候考虑了不同对象的数据分布差异大的问题，并对这种情况使用域适应的方法来解决，使得模型面对新的数据，具有更强的泛化能力和稳健性。使用教师模型和学生模型的知识蒸馏的方法来压缩模型的大小，使其轻量化，将已经训练好的基础模型的知识迁移到轻量级模型上，在提升预测的准确性和稳定性同时，也会在一定程度上减少计算量，加快运算速度；与此同时，通过在传统机器学习方法中创造性引入时空联合的知识蒸馏方法，并且定义一个知识蒸馏的损失函数清晰观测实验结果，最终通过两个损失函数的相互作用来使得能耗数据预测的效果大幅提升。
附图说明
[0027]图1是本专利技术方法应用流程示意图。
[0028]图2是本专利技术系统框架示意图。
[0029]图3是本专利技术的电子设备框架示意图。
具体实施方式
[0030]下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术人员可以更好地理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定。...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和时空联合知识蒸馏的能耗预测方法，其特征是构建能耗预测系统，所述系统包括数据处理模块、知识蒸馏模块和预测模块，通过数据处理模块采集、预处理和提取相关能耗数据的特征，其中相关能耗数据包括建筑物结构、气象数据和人流数据，通过数据处理模块根据相关能耗数据提取能够表征预测对象时空特征的特征，利用表征预测对象时空特征的特征训练深度学习预测模型，并在训练过程中根据定义的损失函数不断优化预测模型的参数，通过知识蒸馏模块压缩预测模型并优化预测模型，其中通过知识蒸馏模块让教师模型和学生模型进行学习和识别，定义知识蒸馏函数的损失函数，根据损失函数在不过拟合的情况下达到最小值，获得对应的预测模型，通过预测模块利用优化后的预测模型对建筑能耗进行预测。2.根据权利要求1所述的一种基于深度学习和时空联合知识蒸馏的能耗预测方法，其特征是所述通过数据处理模块根据相关能耗数据提取能够表征预测对象时空特征的特征，包括：对于时间序列数据，通过数据处理模块从中提取出各种时序特征，所述时序特征包括均值、方差、最大值、最小值、峰度和偏度，对于空间数据，通过数据处理模块从中提取出各种空间特征，所述空间特征包括均值、方差、最大值、最小值和空间相关性，对于周期性变化的数据，通过数据处理模块利用频域分析提取出各种频域特征，频域特征包括频域幅度、频域相位和谐波分析。3.根据权利要求1所述的一种基于深度学习和时空联合知识蒸馏的能耗预测方法，其特征是所述利用表征预测对象时空特征的特征训练深度学习预测模型，包括：筛选特征，去除无用的特征并降低特征维度，选择深度学习模型，进行参数初始化并定义适合的损失函数，对所选的深度学习模型利用筛选后特征进行训练，获得深度学习预测模型。4.根据权利要求3所述的一种基于深度学习和时空联合知识蒸馏的能耗预测方法，其特征是所述选择深度学习模型，包括：选择长短期记忆网络模型(LSTM)、卷积神经网络模型(CNN)或循环神经网络模型(RNN)。5.根据权利要求4所述的一种基于深度学习和时空联合知识蒸馏的能耗预测方法，其特征是通过知识蒸馏模块压缩预测模型并优化预测模型，包括：根据获得的长短期...

【专利技术属性】
技术研发人员：张彦玉，金长新，战腾，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：