利用强化学习和热成像的智能空调控制设备和控制方法技术

本申请涉及一种利用强化学习和热成像的智能空调控制设备和控制方法，其属于控制技术领域。该设备包括：数据获取单元，预状态处理单元，数据库建立单元和强化学习单元，其以当前的人体热成像图像和室内温度值作为输入，使用强化学习算法对空调智能体进行训练，以完成对室内温度的调节控制，提高人体舒适度。依据于人体热成像图像进行调节温度，解决了现有技术中存在的只考虑室内温度的稳定，并不能有效地提高人体舒适度以及PMV等模型所需要的输入变量获得成本较高，应用于个人时显示出较差的预测性能等技术问题。测性能等技术问题。测性能等技术问题。

【技术实现步骤摘要】
利用强化学习和热成像的智能空调控制设备和控制方法


[0001]本申请涉及控制
，更为具体地说，涉及一种利用强化学习和热成像的智能空调控制设备和控制方法。

技术介绍

[0002]空调是调节室内温度最常用的工具，它始终是影响人们舒适度的关键因素。而皮肤表面作为人体与环境交换的最直接的地点，诸多影响因素都会对其表面温度产生影响，进而影响人体的舒适度状态。所以，皮肤温度成为了最能直接表征人体的舒适状态的参数之一。在以往的研究中，已经证明有一个最佳的皮肤温度范围会让人们感到舒适，而过高或过低的皮肤温度会导致人们不舒适。因此，对室内温度进行控制使皮肤表面温度达到一定范围，提高人们的舒适度，从而提高人们的工作和学习效率具有重要意义。
[0003]目前，有许多空调系统的控制方法，如经典的比例
‑
积分
‑
导数控制，线性二次调节器控制，模糊控制，模型预测控制。以往的控制方法大多侧重于保证系统的稳定性，如室内温度。但是稳定室内温度的控制策略并不能有效地提高人们的舒适度。并且由于空调系统和房间热模型的复杂性和不确定性，传统的基于模型的控制方法在实际应用中往往不能取得满意的效果。
[0004]另外，还存在着以PMV（Predicted Mean Vote：预测平均评价）模型为控制目标的空调控制方法，虽然相比与单纯的温度控制，PMV模型中含有更多影响人体热舒适性的参数，拥有更大的舒适度和节能的潜力。但是，PMV模型所需要的输入变量（如人体代谢率、服装热阻）的获得成本较高，且较难在建筑实际使用过程中获得。其次，当应用于个人时，都显示出较差的预测性能。这是因为这些模型假设室内人员的热感觉是静态且彼此无差异的，但人与人之间的热舒适度差异很大，因此在预测个人的热舒适度响应时，它们的准确性会降低。
[0005]因此，期望提供一种改进的智能空调调节方案。

技术实现思路

[0006]本申请实施例提供了一种利用强化学习和热成像的智能空调控制设备和控制方法，其通过使用热成像图像进行基于强化学习的智能空调温度调节，从而提高人体舒适度。
[0007]根据本申请的一方面，提供了一种利用强化学习和热成像的智能空调控制设备，包括：数据获取单元，用于获取当前的人体的热成像图像和室内温度值；预状态处理单元，用于对所述热成像图像和所述室内温度值进行预处理以获得预处理状态张量；数据库建立单元，用于确定所述室内温度值，所述热成像图像对应的灰度值和所述人体的舒适度之间的关联关系；强化学习单元，用于以所述智能空调作为智能体，以调节温度值作为所述智能体的动作，通过强化学习对所述智能体进行训练，并以当前的人体的热成像图像和室内温度值作为输入，输出室内温度的控制目标值。
[0008]在上述利用强化学习和热成像的智能空调控制设备中，所述预状态处理单元包
次迭代,损失函数定义为:。
[0017]在上述利用强化学习和热成像的智能空调控制设备中，所述智能体使用所述当前值网络和ε贪婪方法来选择处于状态的动作，包括：所述智能体随机选择动作的概率为ε，0<ε<1；所述智能体选择动作的概率为1
‑
ε；其中，ε计算为：，其中，ε
start
为训练开始时随机选择动作的概率的初值，ε
end
为ε的终值，参数t
total
表示整个训练过程中经过的时间步长总数。例如，可以设置ε
start
为0.99，ε
end
为0.1，t
total
为800。
[0018]在上述利用强化学习和热成像的智能空调控制设备中，所述当前值网络包括三个卷积层，输入是 50
×
50
×
5的预处理状态张量，第一卷积层设置为包含10
×
10的32个卷积核，步长为2的卷积层，第二卷积层设置为包含5
×
5的64个卷积核，步长为2的卷积层，第三卷积层设置为包含3
×
3的64个卷积核，步长为1的卷积层，所有卷积层都使用整流线性单元作为激活函数。
[0019]根据本申请的另一方面，提供了一种利用强化学习和热成像的智能空调控制方法，包括：使用热成像仪采集热成像图；对所述热成像图进行预处理；基于室内温度值结合经过预处理的热成像图得到初始状态；以及，训练强化学习算法。
[0020]本申请实施例提供的利用强化学习和热成像的智能空调控制设备和控制方法，可以通过使用热成像图像进行基于强化学习的智能空调温度调节，从而提高人体舒适度。
附图说明
[0021]通过阅读下文优选的具体实施方式中的详细描述，本申请各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。显而易见地，下面描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。而且在整个附图中，用相同的附图标记表示相同的部件。
[0022]图1表示根据本申请实施例的利用强化学习和热成像的智能空调控制设备的示意性框图。
[0023]图2表示根据本申请实施例的利用强化学习和热成像的智能空调控制设备中采用的DQN算法的更新示意图。
[0024]图3表示根据本申请实施例的利用强化学习和热成像的智能空调控制方法的示意性流程图。
[0025]图4表示根据本申请实施例的利用强化学习和热成像的智能空调控制设备的示意图。
具体实施方式
[0026]下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
[0027]图1表示根据本申请实施例的利用强化学习和热成像的智能空调控制设备的示意性框图。
[0028]如图1所示，根据本申请实施例的利用强化学习和热成像的智能空调控制设备100包括以下单元。
[0029]数据获取单元110，用于获取当前的人体的热成像图像和室内温度值。这里，所述热成像图像获取单元110用于人体的热成像图像的数据采集，例如可以为热成像仪。并且，由于人们的热舒适度跟皮肤温度有很大的关系，而这种人体的热成像图像能够有效地捕获有关身体部位的热信息，直接反映人们的舒适程度。
[0030]预状态处理单元120，用于对所述热成像图像和所述室内温度值进行预处理以获得预处理状态张量。具体地，由于所述热成像图像上的不同颜色代表被测人体的不同皮肤温度，而热成像仪采集的所述热成像图像是包括人体脸部、颈部及手掌内部的整个图像区域。经过以往的研究表明，前额、两边脸颊、手部中心的四个区域的皮肤温度可以更好的感知人体温度，更好地提高舒适度。因此，在本申请实施例中，对前额、两边脸颊、一侧手部中心四个区域部分的图像进行单独提取，将其调整为尺寸为例如50
×...

【技术保护点】

【技术特征摘要】
1.一种利用强化学习和热成像的智能空调控制设备，其特征在于，包括：数据获取单元，用于获取当前的人体的热成像图像和室内温度值；预状态处理单元，用于对所述热成像图像和所述室内温度值进行预处理以获得预处理状态张量；数据库建立单元，用于确定所述室内温度值，所述热成像图像对应的灰度值和所述人体的舒适度之间的关联关系；强化学习单元，用于以所述智能空调作为智能体，以调节温度值作为所述智能体的动作，通过强化学习对所述智能体进行训练，并以当前的人体的热成像图像和室内温度值作为输入，输出室内温度的控制目标值。2.根据权利要求1所述的利用强化学习和热成像的智能空调控制设备，其中，所述预状态处理单元包括：图像提取子单元，用于分别提取人体的预定区域的多个区域部分图像；温度值处理子单元，用于将所述室内温度值处理为与所述区域部分图像相同维度的温度数据矩阵；以及，维度合并子单元，用于在通道维度上合并所述多个区域部分图像和所述温度数据矩阵以得到所述预处理状态张量。3.根据权利要求1所述的利用强化学习和热成像的智能空调控制设备，其中，所述强化学习单元的奖励函数r
t
为：，其中Y是平均灰度值。4.根据权利要求1所述的利用强化学习和热成像的智能空调控制设备，其中，所述强化学习单元采用DQN算法作为所述强化学习单元的强化控制算法，所述DQN算法的状态
‑
奖励动作值函数的更新表达式表示为：；其中表示调整动作值a后使状态
‑
动作值函数最大化， 是折扣因子，是学习率，r是奖励函数。5.根据权利要求1所述的利用强化学习和热成像的智能空调控制设备，其中，采用DQN算法的所述强化学习单元的智能体控制部分包括：回放记忆单元，用于存储智能体与环境交互的状态、动作与奖励；当前值网络，用于输出参数化的动作值函数；目标值网络，用于基于所述当前值网络的参数得到标签值；和误差函数，用于基于其训练所述强化学习单元。6.根据权利要求5所述的利用强化学习和热成像的智能空调控制设备，其中，所述回放记忆单元在每一个时间步长t
→
t+1中存储转换状态(s
t
, a
t
, r
t
, s
t+1
)到重放存储器。7.根据权利要求5所述的利用强化学习和热成像的智能空调...

【专利技术属性】
技术研发人员：崔璨，薛佳慧，刘运涛，李春晓，黎明，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：