一种基于DDPG的纯电动汽车乘员舱空调制冷控制方法技术

本发明专利技术提供一种基于DDPG的纯电动汽车乘员舱空调制冷控制方法，包括基于DDPG算法的乘员舱空调制冷控制模块、强化学习训练环境以及乘客舱热流畅&热舒适性模块，强化学习训练环境包含汽车空调系统一维模型以及乘客舱热舒适性预测模型；乘客舱热流畅&热舒适性模块包含乘客舱三维模型和人体热舒适性模型；基于DDPG算法的乘员舱空调制冷控制模块包含动作网络、评价网络以及经验回收池。乘客舱热流畅&热舒适性模块采用深度学习的方式转化为强化学习训练环境中的乘客舱热舒适性预测模型，基于DDPG算法的乘员舱空调制冷控制模块与强化学习训练环境不断进行交互从而达到训练效果。学习训练环境不断进行交互从而达到训练效果。学习训练环境不断进行交互从而达到训练效果。

【技术实现步骤摘要】
一种基于DDPG的纯电动汽车乘员舱空调制冷控制方法


[0001]本专利技术涉及汽车动态控制和人工智能
，特别是涉及一种基于DDPG的纯电动汽车乘员舱空调制冷控制方法。

技术介绍

[0002]随着科学技术的发展和人民生活水平的日益提高，汽车作为一种必不可少的交通工具正日益走进人们日常生活的方方面面。汽车空调作为影响汽车舒适性和安全性能的主要部件之一，可对汽车车厢内的空气温度进行调节以提高乘客的热舒适性，热舒适性是反映人体在密封空间的对环境热状态的主观感受，在汽车驾驶舱内，空调运行模式下，人体是否感觉到舒适影响乘员对空调系统及车内设计感知体验的评价，尤其是当乘员长时间在车内驾驶时，热舒适性同时影响人生理、心理感觉，从而影响到驾驶安全性，所以，在开发汽车空调系统时，乘客热舒适性是非常重要的研究方向。
[0003]传统的汽车空调的控制基本均为温度控制，即车内环境温度或蒸发器和表面温度达到目标值，这种控制方式在一定程度上忽略了人体热舒适性；传统的汽车空调控制方法如PID控制、模糊PID控制、基于PSO的模糊PID控制等偏为保守，不能自动地适应复杂多变的环境情况，为实现温度控制的精准并避免能耗过高，均需要汽车空调标定工程师对控制器进行标定，所以空调控制器的标定工作量巨大，且对工程师的经验要求极高。
[0004]专利号为CN201310246901.4专利技术一种纯电动汽车空调控制方法及其控制系统，该专利技术专利存在的不足有：对汽车采取的控制方法为基于温度的控制，仅判别空调运行时车内温度是否可以稳定在设置温度，不考虑风速、光照、湿度对舒适性的影响；专利号为CN201820616898.9专利技术一种纯电动汽车空调控制系统，这两项专利技术共同存在的不足有：该专利技术只考虑空调运行时实现使用需求，并未考虑能耗因素，不能在满足使用需求的同时降低耗电量使用以达到节能效果；专利号为CN202211160279.0专利技术一种纯电动汽车空调控制方法，该专利技术存在的不足有：对汽车采取的控制方法为目标蒸发器温度控制，该控制方法需要大量的实车试验对控制策略进行标定，工作量巨大且成本很高。
[0005]现有纯电动汽车空调制冷系统为恒温器型控制，缺乏对人体热舒适的适应性，以至人体的热舒适感不能达到最优，因此，亟需提供一种能够很好的适应于人体热舒适性的空调制冷控制方法。

技术实现思路

[0006]本专利技术所要解决的技术问题是：为了克服现有技术中的不足，本专利技术提供一种基于DDPG(Deep Deterministic Policy Gradient,深度确定性策略梯度算法)的纯电动汽车乘员舱空调制冷控制方法，采取强化学习的方式来实现控制系统的制定，属于汽车动态控制和人工智能领域。
[0007]本专利技术解决其技术问题所要采用的技术方案是：一种基于DDPG的纯电动汽车乘员舱空调制冷控制方法，其技术构思为：在仿真平台对基于DDPG的强化学习模型进行训练，利
用建立的虚拟环境与模型进行交互，通过设定合理的动作空间、状态空间以及奖励函数等以达到期望的控制效果，训练完成的空调控制系统可根据太阳辐射强度、车内外温度和车速自动调节压缩机转速、鼓风机转速以及风门开度，实现提高乘员舱热舒适性和降低汽车空调系统能耗的双向优化。训练完成后将代码编译烧写进纯电动汽车空调控制器内，实现对实车空调系统控制的优化。
[0008]该控制方法具体包括以下步骤：
[0009]S1：构建乘客舱人体热舒适性预测模型
[0010]S1.1：在三维设计软件中构建乘客舱三维模型和人体热舒适性评价模型，乘客舱三维模型和人体热舒适性评价模型构成乘客舱热流场&热舒适性模块；
[0011]其中，乘客舱三维模型，即乘客舱3D仿真模型，是在整车数模中提取出带有空调系统的乘客舱，进行数模简化和面格划分后导入到三维仿真软件中的模型。在三维设计软件中检查整车3D数模完整性，并提取出乘客舱有关部件，对整车3D数模进行简化，对简化后的整车3D数模进行面网格划分，加入空调假人模型，生成体网格；在体网格中设置区域并进行命名；在体网格中创建物理模型，并设置物理模型和边界条件，并在假人模型上设置多个热舒适性监测点。
[0012]人体热舒适性评价模型，即乘客舱热舒适性评价模型，能够模拟人体在不同温度环境的热生理调节机理，通过输入乘客重要物理特性和乘客舱CFD仿真获得的热舒适性监测点附近的空气温度、气流速度、平均辐射温度及相对湿度，而计算得到乘客热舒适性评价值。热舒适性监测点为14个，分别为乘客的头、躯干、左前臂、左上臂、左手、右前臂、右上臂、右手、左大腿、左小腿、左脚、右大腿、右小腿和右脚。
[0013]关于乘客舱三维模型和人体热舒适性评价模型参见公布号为CN 114757116 A的专利技术申请中的乘客舱3D仿真模型以及乘客舱热舒适性评价模型的相关内容，此处不再赘述。
[0014]S1.2：根据深度学习神经网络训练的需求，设定乘客舱热流场&热舒适性模块的特征参数；
[0015]S1.3：通过乘客舱三维模型和人体热舒适性评价模型的联合仿真模拟，提取仿真结果中所述特征参数对应的数值，作为深度学习神经网络训练的数据集，对数据集进行预处理，并将数据集分为训练集和验证集；其中，训练集用于对模型进行训练，验证集用于对训练后模型的预测效果进行验证。
[0016]S1.4：神经网络训练，根据定义好的模型结构搭建深度学习网络，包括输入层、隐含层和输出层，初始化对应的权值和阈值，设定神经网络训练的超参数，包括优化器、学习率、迭代次数、时间步长和批次大小；利用训练集的数据对深度学习模型进行训练，采用反向传播算法更新权值和阈值；获得乘客舱人体热舒适性预测模型，并采用验证集对乘客舱人体热舒适性预测模型的预测效果进行评估。
[0017]S2：构建乘员舱空调制冷控制策略
[0018]S2.1：构建乘员舱空调制冷控制模块
[0019]根据汽车空调制冷系统定义强化学习模型，确定强化学习模型中MDP过程的状态s、动作a和奖励r，并根据强化学习模型确定乘员舱空调制冷控制模块。
[0020]S2.2：构建强化学习训练所需环境
[0021]强化学习训练所需环境是指为训练强化学习模型而建立的虚拟环境，包括汽车空调制冷系统一维模型和步骤S1获得的乘客舱人体热舒适性预测模型(乘客舱三维模型和热舒适性评价模型)，其中，汽车空调制冷系统一维模型用于根据车内温度、车外温度、太阳辐射强度、空气湿度、车速以及汽车空调制冷系统的控制指令，模拟汽车空调制冷系统中部件的运行，并输出蒸发器后空气速度和温度数据、车内温度数据以及空调系统的能耗数据；乘客舱人体热舒适性预测模型用于根据车内温度、车外温度、太阳辐射强度、空气湿度、蒸发器后空气速度及温度数据对人体热舒适性评价结果进行预测，并将人体热舒适性评价结果反馈至乘员舱热舒适性控制模块。
[0022]S2.3：对乘员舱空调制冷控制模块进行强化学习训练
[0023]在步骤S3的强化学习训练环境中，采用基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DDPG的纯电动汽车乘员舱空调制冷控制方法，其特征在于：包括以下步骤：S1：构建乘客舱人体热舒适性预测模型S1.1：在三维设计软件中构建乘客舱三维模型和人体热舒适性评价模型，乘客舱三维模型和人体热舒适性评价模型构成乘客舱热流场&热舒适性模块；S1.2：根据深度学习神经网络训练的需求，设定乘客舱热流场&热舒适性模块的特征参数；S1.3：通过乘客舱三维模型和人体热舒适性评价模型的联合仿真模拟，提取仿真结果中所述特征参数对应的数值，作为深度学习神经网络训练的数据集，对数据集进行预处理，并将数据集分为训练集和验证集；S1.4：神经网络训练，根据定义好的模型结构搭建深度学习网络，包括输入层、隐含层和输出层，初始化对应的权值和阈值，设定神经网络训练的超参数，包括优化器、学习率、迭代次数、时间步长和批次大小；利用训练集的数据对深度学习模型进行训练，采用反向传播算法更新权值和阈值；获得乘客舱人体热舒适性预测模型，并采用验证集对乘客舱人体热舒适性预测模型的预测效果进行评估；S2：构建乘员舱空调制冷控制策略S2.1：构建乘员舱空调制冷控制模块根据汽车空调制冷系统定义强化学习模型，确定强化学习模型中MDP过程的状态s、动作a和奖励r，并根据强化学习模型确定乘员舱空调制冷控制模块；S2.2：构建强化学习训练所需环境强化学习训练所需环境包括汽车空调制冷系统一维模型和步骤S1获得的乘客舱人体热舒适性预测模型，其中，汽车空调制冷系统一维模型用于根据车内温度、车外温度、太阳辐射强度、空气湿度、车速以及汽车空调制冷系统的控制指令，模拟汽车空调制冷系统中部件的运行，并输出蒸发器后空气速度和温度数据、车内温度数据以及空调系统的能耗数据；乘客舱人体热舒适性预测模型用于根据车内温度、车外温度、太阳辐射强度、空气湿度、蒸发器后空气速度及温度数据对人体热舒适性评价结果进行预测，并将人体热舒适性评价结果反馈至乘员舱热舒适性控制模块；S2.3：对乘员舱空调制冷控制模块进行强化学习训练在步骤S3的强化学习训练环境中，采用基于DDPG算法的强化学习控制结构网络对步骤S2中构建的乘员舱空调制冷控制模块进行训练，在训练过程中，采集样本数据，并根据样本数据对乘员舱空调制冷控制模块进行更新和优化，待乘员舱空调制冷控制模块达到收敛状态后，即为训练完成，此时，乘员舱空调制冷控制模块的控制策略，即为目标策略——汽车空调制冷系统的乘员舱空调制冷控制策略；S3：控制策略的应用将训练好的乘员舱空调制冷控制模块的控制策略转化为代码并烧写到汽车空调控制器内，作为实车的空调制冷控制系统对乘员舱热舒适性进行控制和调节。2.如权利要求1所述的基于DDPG的纯电动汽车乘员舱空调制冷控制方法，其特征在于：步骤S1.2中所述的特征参数包括车室外温度、太阳辐射强度、蒸发器后空气温度、蒸发器后气流速度、各个空调出风口的空气温度、各个空调出风口的气流速度、人体各个部位表面空气温度、人体各个部位表面气流速度、人体各个部位表面平均辐射温度、人体各个部位表面
相对湿度、人体热舒适性评价结果。3.如权利要求1所述的基于DDPG的纯电动汽车乘员舱空调制冷控制方法，其特征在于：步骤S1.3中具体还包括以下步骤：数据采集：利用乘客舱三维模型和人体热舒适性评价模型仿真收集车内温度、车外温度、太阳辐射强度、空气湿度、蒸发器后空气速度及温度等数据，以及乘客人体热舒适性评价结果的数据；数据集进行预处理：对初始样本数据集去噪，消除异常值，插补缺失值；并选取min
‑
max标准化方法进行归一化处理，具体公式如下：式中，y是归一化之后的数据；x是原始数据；x
min
是原始数据集中的最小值；x
max
是原始数据集中的最大值；数据集划分：将数据集以8:2的比例划分为训练集及验证集，训练集用于训练模型，验证集用于调整模型参数。4.如权利要求1所述的基于DDPG的纯电动汽车乘员舱空调制冷控制方法，其特征在于：步骤S1.4中神经网络训练具体包括以下步骤：S1.4.1：搭建深度学习网络：根据定义好的模型结构搭建深度学习网络，包括输入层、隐含层和输出层，其中，输入层包括6个神经元，分别对应车内温度、车外温度、太阳辐射强度、空气湿度、蒸发器后空气速度及温度；隐含层包括4个神经元，采用ReLU激活函数，用于提取输入数据的特征；输出层包括1个神经元，输出乘客人体热舒适性评价结果；S1.4.2：模型预处理：初始化输入层与隐含层之间的权值，隐含层与输出层之间的权值，以及隐含层的阈值和输出层的阈值；神经网络训练算法采用贝叶斯正则化算法，优化器采用Adam，学习率设置为0.001，选代次数epochs为200，批次大小batch为32，输入时间步长timesteps为2；S1.4.3：训练模型：利用训练集的数据对深度学习模型进行训练，采用反向传播算法更新权值和阈值，将输出误差，即期望输出与实际输出之差，按原通路反传计算，通过隐含层反向，直至输入层，在反传过程中将误差分摊给各层的各个单元，获得各层各单元的误差信号，并将其作为修正各单元权值的根据；S1.4.4：模型评估：深度学习模型的评价...

【专利技术属性】
技术研发人员：黄浩，胡东海，张海波，包俊江，邱承云，程兆旭，单建标，张雄飞，苏湘雯，梅海龙，
申请(专利权)人：中汽研汽车检验中心常州有限公司，
类型：发明
国别省市：