一种基于深度强化学习的空调控制系统技术方案

本发明专利技术公开了一种基于深度强化学习的空调控制系统，包括：分类单元，其基于空调系统的历史数据，对用户角色进行分类，用户角色基于对空调的使用习惯而区分，且每个用户角色涉及若干用户；建模单元，其建立基于用户角色的训练模型，训练模型表征空调运行数据和空调控制数据之间的关系；选择单元，其基于所确定的当前用户的用户角色，选择当前用户角色对应的训练模型；决策单元，其根据所选择的训练模型并通过DDPG算法训练该训练模型，以求解最优控制策略；空调控制系统接收最优控制策略。本发明专利技术基于用户群体预建立训练模型，且基于用户个体训练对应的训练模型，实现空调系统智能化运行，满足用户个体差异，提升用户体验。提升用户体验。提升用户体验。

【技术实现步骤摘要】
一种基于深度强化学习的空调控制系统


[0001]本专利技术涉及空调系统控制
，尤其涉及一种基于深度强化学习的空调控制系统。

技术介绍

[0002]空调器在运行制冷/制热模式时，通常是根据用户通过遥控器、空调控制面板或APP等手动预先设定的温度或风速等参数值运行，考虑到用户的个体差异以及室内环境参数的不均匀性，空调器按照用户预先设定的参数运行后有时并非真正适合用户，会出现反复调节空调器的情况，从某种程度上来说，用户不一定能够准确判断自身需求和空调设定之间的关系，造成“夏季室温偏低、冬季室温偏高”，不仅影响用户的舒适性、体验度，而且还增加空调能耗。
[0003]现有空调系统的控制方法例如有传统的控制方法（例如基于规则的控制（如启停控制）、PID控制）、模型预测控制方法（MPC）、启发式算法（例如遗传算法、粒子群算法等）、利用传统的Tabular
‑
Q
‑
learning算法实现空调系统的运行优化等，但是仍存在可以归结为建模难或者建模不准确的问题，因此，难以做到真正服务用户，以提高用户使用体验。

技术实现思路

[0004]本专利技术提供一种基于深度强化学习的空调控制系统，基于用户群体预建立训练模型，且基于用户个体训练对应的训练模型，实现空调系统智能化运行，满足用户个体差异，提升用户体验。
[0005]本申请提供一种基于深度强化学习的空调控制系统，包括：分类单元，其基于空调系统的历史数据，对用户角色进行分类，所述用户角色基于对空调的使用习惯而区分，且每个用户角色涉及若干用户；建模单元，其建立基于用户角色的训练模型，所述训练模型表征空调运行数据和空调控制数据之间的关系；选择单元，其基于所确定的当前用户的用户角色，选择所述当前用户角色对应的训练模型；决策单元，其根据所选择的训练模型并通过DDPG算法训练所述训练模型，以求解最优控制策略；所述空调控制系统接收所述最优控制策略，用于控制空调器的运行。
[0006]本申请提供的基于深度强化学习的空调控制系统，基于空调系统的历史数据，对用户角色进行分类，且每个用户角色涉及若干用户，如此，根据建模单元基于每个用户角色建立的训练模型是基于若干用户（即，用户群体）所建立的训练模型，该训练模型能够从整体上实现用户对空调的控制；由于每个用户的使用差异较大，因此，之后采用DDPG算法对所选择的训练模型进行独立训练满足单个用户控制需求，如此，能够从更精细的角度上实现空调智能控制。
[0007]且该空调控制系统考虑用户差异性，且经过初建模和再训练两个过程，提高空调控制精确度，且同时满足用户差异化需求，提高用户体验。
[0008]在本申请的一些实施例中，对数据进行预处理可以放大特征，提高训练模型的学习效率，所述空调控制系统还包括：数据预处理单元，其对属于每个用户角色的历史数据进行预处理；所述建模单元基于属于用户角色的、预处理后的数据，建立所述训练模型。
[0009]在本申请的一些实施例中，在空调出厂之前，利用所述分类单元对用户角色进行分类，以及利用所述建模单元建立基于用户角色的训练模型；在空调出厂后的使用过程中，利用所述选择单元选择所述当前用户角色对应的训练模型，以及利用决策单元通过DDPG算法训练所述训练模型，以求解最优控制策略。
[0010]在空调出厂之前预建立训练模型，之后在空调使用过程中，直接调用训练模型即可，无需再建立训练模型，避免占用空调运行时的内存，提高空调控制响应速度。
[0011]在本申请中的一些实施例中，可以将选择单元和决策单元设置在空调器内，直接与空调器的控制单元连接。
[0012]所述训练模型导入空调系统的控制单元；所述选择单元和所述决策单元分别与所述控制单元连接，用于在选择用户角色对应的训练模型并通过DDPG算法训练所述训练模型后，将所求解的最优控制策略反馈至所述控制单元。
[0013]在本申请中的一些实施例中，为了避免选择单元和决策单元占用空调器的计算内存，将对训练模型的选择和训练放置在云平台或APP侧上运行，借助云平台强大的计算能力或用户终端的计算能力，帮助训练该训练模型。因此，所述空调控制系统还包括：网关设备、云平台和APP侧。
[0014]网关设备与空调系统通信；云平台与网关设备通信；APP侧与云平台交互。
[0015]所述选择单元和所述决策单元位于所述云平台或APP侧，用于在所述云平台或APP侧上选择用户角色对应的训练模型，并通过DDPG算法训练所述训练模型，以求解最优控制策略；所述最优控制策略反馈至所述空调系统的控制单元。
[0016]在本申请的一些实施例中，用户感受到空调控制模式并给出反馈时，能够以该反馈为依据作为从环境得到的奖励值在用户采用最优控制策略控制空调运行时，用户会对当前空调控制模式进行评价；将给出的评价值作为训练模型从环境中得到的奖励值，其用于所述DDPG算法。
[0017]在奖励值符合预期时可以为正值，否则为负值。
[0018]在本申请的一些实施例中，所述数据预处理单元对属于每个用户角色的历史数据进行预处理，以获取特征数据；所述特征数据包括室内温度、地理位置、用户性别、用户年龄和空调使用时间。
[0019]如此，以室内温度、地理位置、用户性别、用户年龄和空调使用时间作为特征，建立N*5矩阵，N为用户角色的个数（也即，用户角色对应的数据集的个数）。
[0020]在本申请的一些实施例中，建模单元对属于每个用户角色的特征数据采用多层感
知器训练获取所述训练模型。
[0021]在本申请的一些实施例中，为了在使用空调过程中，能够确认当前用户的用户角色，以选择对应该用户角色的训练模型作为预训练模型。因此，所述空调控制系统还包括：网关设备、云平台和APP侧。
[0022]网关设备与空调系统通信；云平台与网关设备通信；APP侧与云平台交互。
[0023]通过APP侧收集用户对当前空调的控制模式所做出的反馈，基于所述反馈确定当前用户的用户角色。
[0024]在本申请的一些实施例中，所述DDPG算法的训练过程包括：针对状态估计网络，以实际Q值与估计Q值的平方损失为损失函数来更新状态估计网络的参数；针对动作估计网络，利用损失梯度来更新动作估计网络的参数；将所述状态估计网络的参数复制给状态现实网络，以更新状态现实网络的参数；将所述动作估计网络的参数复制给动作现实网络，以更新动作现实网络的参数。
附图说明
[0025]图1示出了根据一些实施例的基于深度强化学习的空调控制系统的结构图一；图2示出了根据一些实施例的基于深度强化学习的空调控制系统中分类单元进行分类的流程图；图3示出了根据一些实施例的基于深度强化学习的空调控制系统中MLP的拓扑结构图；图4示出了根据一些实施例的基于深度强化学习的空调控制系统的通讯原理图；图5示出了根据一些实施例的基于深度强化学习的空调控制系统中用于确定用户角色的原理图；图6示出了根据一些实施例的基于深度强化学习的空调控制系统的结构图二；图7示出了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的空调控制系统，其特征在于，包括：分类单元，其基于空调系统的历史数据，对用户角色进行分类，所述用户角色基于对空调的使用习惯而区分，且每个用户角色涉及若干用户；建模单元，其建立基于用户角色的训练模型，所述训练模型表征空调运行数据和空调控制数据之间的关系；选择单元，其基于所确定的当前用户的用户角色，选择所述当前用户角色对应的训练模型；决策单元，其根据所选择的训练模型并通过DDPG算法训练所述训练模型，以求解最优控制策略；所述空调控制系统接收所述最优控制策略，用于控制空调器的运行。2.根据权利要求1所述的基于深度强化学习的空调控制系统，其特征在于，还包括：数据预处理单元，其对属于每个用户角色的历史数据进行预处理；所述建模单元基于属于用户角色的、预处理后的数据，建立所述训练模型。3.根据权利要求1所述的基于深度强化学习的空调控制系统，其特征在于，在空调出厂之前，利用所述分类单元对用户角色进行分类，以及利用所述建模单元建立基于用户角色的训练模型；在空调出厂后的使用过程中，利用所述选择单元选择所述当前用户角色对应的训练模型，以及利用决策单元通过DDPG算法训练所述训练模型，以求解最优控制策略。4.根据权利要求3所述的基于深度强化学习的空调控制系统，其特征在于，所述训练模型导入空调系统的控制单元；所述选择单元和所述决策单元分别与所述控制单元连接，用于在选择用户角色对应的训练模型并通过DDPG算法训练所述训练模型后，将所求解的最优控制策略反馈至所述控制单元。5.根据权利要求3所述的基于深度强化学习的空调控制系统，其特征在于，所述空调控制系统还包括：网关设备，其与空调系统通信；云平台，其与所述网关设备通信；APP侧，其与所述云平台...

【专利技术属性】
技术研发人员：陈丽如，
申请(专利权)人：青岛海信日立空调系统有限公司，
类型：发明
国别省市：