一种基于关系深度强化学习的家庭能量管控方法及系统技术方案

本发明专利技术提供基于关系深度强化学习的家庭能量管控方法及系统。其中，该方法包括获取在能量待配置日期的设定用户的家庭用电设备的初始状态；基于获取的家庭用电设备的初始状态及训练好的日用能类型分类模型，对待配置日期的家庭用电设备用能类型进行预测；将预测的用能类型与能量待配置日期的时间戳共同作为特征加入强化学习家庭能量管理模型的状态变量中；利用关系深度强化学习方法，从强化学习家庭能量管理模型中提取家庭用电设备的动作间关联性以及各家庭用电设备与时间的关联性，进而寻找出在能量待配置日期的设定用户的家庭用电设备最优能量配置方案。用电设备最优能量配置方案。用电设备最优能量配置方案。

【技术实现步骤摘要】
一种基于关系深度强化学习的家庭能量管控方法及系统


[0001]本专利技术属于能量管控
，尤其涉及一种基于关系深度强化学习的家庭能量管控方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]家庭能量管理系统(home energy management system，HEMS)是一种对家庭内各类用耗能设备进行优化管理，从而实现节能降费、提高用户舒适度的智能系统，是智能电网在居民侧的延伸。目前对于家庭能量管理问题的求解，主要有将其作为多目标优化问题求解与作为强化学习问题求解等几种方法。强化学习作为一种机器学习算法，因其无监督特性与时间尺度的远视性而在长期管理问题中被广泛运用，其中强化学习方法中的Q
‑
learning、DQN、Double DQN等算法均已有人将其应用于能量优化管理领域。
[0004]虽然现有技术中已经使用了多种强化学习算法，但专利技术人发现，上述基于Q
‑
learning的强化学习算法只是通过改变算法内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关系深度强化学习的家庭能量管控方法，其特征在于，包括：获取在能量待配置日期的设定用户的家庭用电设备的初始状态；基于获取的家庭用电设备的初始状态及训练好的日用能类型分类模型，对待配置日期的家庭用电设备用能类型进行预测；将预测的用能类型与能量待配置日期的时间戳共同作为特征加入强化学习家庭能量管理模型的状态变量中；利用关系深度强化学习方法，从强化学习家庭能量管理模型中提取家庭用电设备的动作间关联性以及各家庭用电设备与时间的关联性，进而寻找出在能量待配置日期的设定用户的家庭用电设备最优能量配置方案。2.如权利要求1所述的基于关系深度强化学习的家庭能量管控方法，其特征在于，所述日用能类型分类模型的训练过程为：获取用户历史的各个家庭用电设备的负荷序列；对每一天各个家庭用电设备的负荷序列进行聚类，得到不同的日用能类型；依据聚类结果使用决策树方法进行分类训练，得到以气象特征和日期特征为输入的日用能类型分类模型。3.如权利要求1所述的基于关系深度强化学习的家庭能量管控方法，其特征在于，所述强化学习家庭能量管理模型基于家庭用电设备模型构建而成；所述家庭用电设备模型基于家庭用电设备功率消耗方程与运行约束条件构建而成。4.如权利要求1所述的基于关系深度强化学习的家庭能量管控方法，其特征在于，所述强化学习家庭能量管理模型的原始状态变量s
t
形式为：式中，λ
t
为k时刻的电价，为第j种个体发电设备在t时刻产生的有效功率，为第j种储能设备在t时刻的储能量，T
k
表示k设备的可运行时间。5.如权利要求4所述的基于关系深度强化学习的家庭能量管控方法，其特征在于，将预测的用能类型与能量待配置日期的时间戳共同作为特征加入强化学习家庭能量管理模型的状态变量中，更新的状态变量为：式中，m
l
表示下一日的预测用能类型，l＝1,2,<...

【专利技术属性】
技术研发人员：孙波，高凌岳，刘澈，
申请(专利权)人：山东大学，
类型：发明
国别省市：