利用强化学习和热成像的智能空调控制设备和控制方法技术

本申请涉及一种利用强化学习和热成像的智能空调控制设备和控制方法，其属于控制技术领域。该设备包括：数据获取单元，预状态处理单元，数据库建立单元和强化学习单元，其以当前的人体热成像图像和室内温度值作为输入，使用强化学习算法对空调智能体进行训练，以完成对室内温度的调节控制，提高人体舒适度。依据于人体热成像图像进行调节温度，解决了现有技术中存在的只考虑室内温度的稳定，并不能有效地提高人体舒适度以及PMV等模型所需要的输入变量获得成本较高，应用于个人时显示出较差的预测性能等技术问题。测性能等技术问题。测性能等技术问题。

【技术实现步骤摘要】
利用强化学习和热成像的智能空调控制设备和控制方法


[0001]本申请涉及控制
，更为具体地说，涉及一种利用强化学习和热成像的智能空调控制设备和控制方法。

技术介绍

[0002]空调是调节室内温度最常用的工具，它始终是影响人们舒适度的关键因素。而皮肤表面作为人体与环境交换的最直接的地点，诸多影响因素都会对其表面温度产生影响，进而影响人体的舒适度状态。所以，皮肤温度成为了最能直接表征人体的舒适状态的参数之一。在以往的研究中，已经证明有一个最佳的皮肤温度范围会让人们感到舒适，而过高或过低的皮肤温度会导致人们不舒适。因此，对室内温度进行控制使皮肤表面温度达到一定范围，提高人们的舒适度，从而提高人们的工作和学习效率具有重要意义。
[0003]目前，有许多空调系统的控制方法，如经典的比例
‑
积分
‑
导数控制，线性二次调节器控制，模糊控制，模型预测控制。以往的控制方法大多侧重于保证系统的稳定性，如室内温度。但是稳定室内温度的控制策略并不能有效地提高人们的舒适度。并且由于空调系统和房间热模型的复杂性和不确定性，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用强化学习和热成像的智能空调控制设备，其特征在于，包括：数据获取单元，用于获取当前的人体的热成像图像和室内温度值；预状态处理单元，用于对所述热成像图像和所述室内温度值进行预处理以获得预处理状态张量；数据库建立单元，用于确定所述室内温度值，所述热成像图像对应的灰度值和所述人体的舒适度之间的关联关系；强化学习单元，用于以所述智能空调作为智能体，以调节温度值作为所述智能体的动作，通过强化学习对所述智能体进行训练，并以当前的人体的热成像图像和室内温度值作为输入，输出室内温度的控制目标值。2.根据权利要求1所述的利用强化学习和热成像的智能空调控制设备，其中，所述预状态处理单元包括：图像提取子单元，用于分别提取人体的预定区域的多个区域部分图像；温度值处理子单元，用于将所述室内温度值处理为与所述区域部分图像相同维度的温度数据矩阵；以及，维度合并子单元，用于在通道维度上合并所述多个区域部分图像和所述温度数据矩阵以得到所述预处理状态张量。3.根据权利要求1所述的利用强化学习和热成像的智能空调控制设备，其中，所述强化学习单元的奖励函数r
t
为：，其中Y是平均灰度值。4.根据权利要求1所述的利用强化学习和热成像的智能空调控制设备，其中，所述强化学习单元采用DQN算法作为所述强化学习单元的强化控制算法，所述DQN算法的状态
‑
奖励动作值函数的更新表达式表示为：；其中表示调整动作值a后使状态
‑
动作值函数最大化， 是折扣因子，是学习率，r是奖励函数。5.根据权利要求1所述的利用强化学习和热成像的智能空调控制设备，其中，采用DQN算法的所述强化学习单元的智能体控制部分包括：回放记忆单元，用于存储智能体与环境交互的状态、动作与奖励；当前值网络，用于输出参数化的动作值函数；目标值网络，用于基于所述当前值网络的参数得到标签值；和误差函数，用于基于其训练所述强化学习单元。6.根据权利要求5所述的利用强化学习和热成像的智能空调控制设备，其中，所述回放记忆单元在每一个时间步长t
→
t+1中存储转换状态(s
t
, a
t
, r
t
, s
t+1
)到重放存储器。7.根据权利要求5所述的利用强化学习和热成像的智能空调...

【专利技术属性】
技术研发人员：崔璨，薛佳慧，刘运涛，李春晓，黎明，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：