基于同策蒙特卡罗算法的室内环境舒适度改善方法技术

本发明专利技术提供一种基于同策蒙特卡罗算法的室内环境舒适度改善方法，为了提高人在室内的舒适感，采用基于同策蒙特卡罗算法控制办公室内的空调系统、加湿器、照明系统和通风系统等设备，并对这些设备进行了简单的模型构建，对输入的温湿度、照度和二氧化碳浓度等参数进行智能调整，进而将各个参数值控制在设定的最适值以优化室内舒适度。本发明专利技术基于构造的模型进行了仿真实验，实验结果表明：(1)该方法在不同参数设置下都能达到良好的收敛性和稳定性，能很好的改善室内环境舒适度；(2)在控制建筑设备等方面，和PID算法和模糊控制方法进行比较，发现该算法具有收敛速度较快、鲁棒性好、精度较高等优势。

【技术实现步骤摘要】
基于同策蒙特卡罗算法的室内环境舒适度改善方法
本专利技术属于室内环境改善领域，尤其涉及一种基于同策蒙特卡罗算法的室内环境舒适度改善方法。
技术介绍
室内环境对人体的舒适度有着决定性作用，经济发展和生活水平不断提高使得室内环境问题日益突出。据国内外学者研究发现，若室内环境质量得以改善，其室内工作人员的效率将提高15％～20％。而在室内环境中，室内的热湿环境、光环境和空气品质对人的影响尤为突出。因此通过对室内设备进行调节控制提高室内热湿环境、光环境和空气品质也就意味着提高了在室人员的舒适度。在研究控制建筑内相关系统时，常见的方法如模糊控制、PID控制等。这些传统方法在控制较为复杂的系统或多个被控对象时存在收敛速度慢或者收敛性能较差等缺点。
技术实现思路
本专利技术提出了一种基于同策蒙特卡罗(on-policymontecarlo，OMC)算法的控制器，用于控制建筑内的相关设备。在提供室内人员最基本环境需求的同时提高室内环境舒适度，蒙特卡罗算法是强化学习里的一种算法，通过状态和动作得到奖赏值从而评估策略的好坏。为达到上述目的，本专利技术主要提供如下技术方案：一种基于同策蒙特卡罗算法的室内环境舒适度改善方法，包括如下步骤：S1、建立奖赏函数以及状态转移函数；S2、初始化动作值函数Q(st，at)、学习率α和折扣率γ，其中s是状态参数，由室内温度Tr、室内二氧化碳浓度ρt、室内照度It、室内湿度Ht和实时能耗Et构成；a是动作参数，由空调系统动作、照明系统动作、加湿器和除湿器动作和通风系统动作构成；S3、对于每个情节，设置情节的参数包括N＝4000个单位时间步，令t＝0，也就是使各个状态和动作性参数保持初始状态；S4、在每个情节中每个时间步的运行包括对当前状态st，计算出在该时刻下动作因素at；当采取这个时刻的动作时，根据建立的状态转移函数计算该状态的转移情况，得出下一刻相应的状态st+1；然后根据上述建立的奖赏函数公式，计算出在当前状态st和动作因素at下的奖赏值rt；S5、判断终止条件：对观察所有状态因素下的动作值函数的值判断是否是预设值，若不满足则返回到步骤S3进行新的情节的运行，若满足则结束循环。进一步地，在步骤S1中：建立奖赏函数如公式(1)～(5)、状态转移函数如公式(6)～(10)：r＝-w1(T)-w2(h)-w3(I)-w4(CO2)(5)T(t+1)＝T(t)-[(-1)AC/2×Tc×(1-0.2×VS)](6)h(t+1)＝h(t)+0.1×H-0.1×DH(8)ρ(t+1)＝ρ(t)-0.2×VS(9)I(t+1)＝I(t)+(-1)L％2×0.1×L(10)；其中，环境状态s＝[T1，h1，ρ1，I1]这几个参数组成，见式(1)到式(5)；在式(1)中，Ts是设置的最舒适温度，Tmax是在范围内的最大值；在式(2)中，hs为室内最合适的相对湿度，分母表示取值范围的最大值hmax减去最适湿度值hs的差；在式(3)中，设在一间独立的普通办公室内，照度参考平面及其高度为0.75m水平面，Is表示的是设置的室内最佳照度，Imax是设定的最大照度值，照度若超过Imax人眼会感觉不舒适，分母表示两者之差；在式(4)中，ρs是设定的目标值，是室外CO2浓度可以达到的最低水平，ρmax是设定的最大值，若超出该值舒适感则会消失；在式(5)中，r值是系统最终的评估标准，r的值被控制在[-1，0]之间，式(5)表示各个参数在不同权重下奖赏值的叠加；在式(1)至式(4)中，各个参数的取值偏离设定值越大，r值就越接近-1(越小)，反之越大；所以式(5)中用负号来表示；这里的权重w＝[0.6，0.1，0.1，0.2]是通过多次实验得到的，这确保了r值在[-1，0]之间，并能使系统保持良好的性能；本算法中状态转移函数如式(6)到式(10)所示，式(6)表示的是温度随时间的变化；但在空调运行时，打开通风系统会影响室内温度，所以在等式中表现通风系统对温度的影响是加入一个弱化参数0.2；在式(7)中，Tc表示的是温度变化率，它与空调产生的风的强弱有关；式(8)、式(9)、式(10)分别表示的是湿度、CO2浓度以及照度的状态转移函数。进一步地，学习率和折扣率设为α＝0.1，γ＝0.9。本专利技术的有益效果：为了提高人在室内的舒适感，采用基于同策蒙特卡罗算法控制办公室内的空调系统、加湿器、照明系统和通风系统等设备，并对这些设备进行了简单的模型构建，对输入的温湿度、照度和二氧化碳浓度等参数进行智能调整，进而将各个参数值控制在设定的最适值以优化室内舒适度。本专利技术基于构造的模型进行了仿真实验，实验结果表明：(1)该方法在不同参数设置下都能达到良好的收敛性和稳定性，能很好的改善室内环境舒适度；(2)在控制建筑设备等方面，和PID算法和模糊控制方法进行比较，发现该算法具有收敛速度较快、鲁棒性好、精度较高等优势。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一种基于同策蒙特卡罗算法的设备状态改变逻辑图；图2为本专利技术一种基于同策蒙特卡罗算法的算法框架流程图；图3为本专利技术一种基于同策蒙特卡罗算法的室内温度收敛图；图4为本专利技术一种基于同策蒙特卡罗算法的室内湿度收敛图；图5为本专利技术一种基于同策蒙特卡罗算法的室内CO2收敛图；图6为本专利技术一种基于同策蒙特卡罗算法的室内照度收敛图；图7为本专利技术一种基于同策蒙特卡罗算法的200个情节的回报值变化图；图8为本专利技术一种基于同策蒙特卡罗算法的200个情节的收敛步数图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本专利技术的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。基于同策蒙特卡罗算法的优化控制：强化学习就是学习如何将场景映射到动作，以获取最大数值奖赏信号。强化学习解决问题的过程简单说就是一个智能体(agent)采取行动(action)从而改变自身状态(state)获得回报值(reward)并与环境(environ-ment)不断的发生交互的一个过程，强化学习包括多种不同的算法，是否需要模型是区别这些算法的一种重要特征，其中同策蒙特卡罗方法是一种不需要模型仅需要经验的算法——从与环境在线或模拟交互中获得状态、动作和回报。影响室内舒适度的因素主要有室内的本文档来自技高网...

【技术保护点】
1.一种基于同策蒙特卡罗算法的室内环境舒适度改善方法，其特征在于，包括如下步骤：/nS1、建立奖赏函数以及状态转移函数；/nS2、初始化动作值函数Q(s

【技术特征摘要】
1.一种基于同策蒙特卡罗算法的室内环境舒适度改善方法，其特征在于，包括如下步骤：
S1、建立奖赏函数以及状态转移函数；
S2、初始化动作值函数Q(st，at)、学习率α和折扣率γ，其中s是状态参数，由室内温度Tr、室内二氧化碳浓度ρt、室内照度It、室内湿度Ht和实时能耗Et构成；a是动作参数，由空调系统动作、照明系统动作、加湿器和除湿器动作和通风系统动作构成；
S3、对于每个情节，设置情节的参数包括N＝4000个单位时间步，令t＝0，也就是使各个状态和动作性参数保持初始状态；
S4、在每个情节中每个时间步的运行包括对当前状态st，计算出在该时刻下动作因素at；当采取这个时刻的动作时，根据建立的状态转移函数计算该状态的转移情况，得出下一刻相应的状态st+1；然后根据上述建立的奖赏函数公式，计算出在当前状态st和动作因素at下的奖赏值rt；
S5、判断终止条件：对观察所有状态因素下的动作值函数的值判断是否是预设值，若不满足则返回到步骤S3进行新的情节的运行，若满足则结束循环。


2.根据权利要求1所述的基于同策蒙特卡罗算法的室内环境舒适度改善方法，其特征在于，在步骤S1中：建立奖赏函数如公式(1)～(5)、状态转移函数如公式(6)～(10)：












r＝-ω1(T)-ω2(h)-ω3(I)-ω4(CO2)(5)
T(t+1)＝T(t)-[(-1)AC/2×Tc×(1-0.2×VS)](6)



h(t+1)＝h(t)+0.1×H-0.1×DH(8)
ρ(t+1)＝ρ(t)-0.2×VS(9)
I(t+1)＝I(t)+(-1)L％2×0.1×L(10)；
其中，环境状态s＝[T1，h1，ρ1，I1]这几个参数组成，见式(1)到式(5)；
在式(1)中，Ts是设置的最舒适温度，Tm...

【专利技术属性】
技术研发人员：涂春光，
申请(专利权)人：深圳市建滔科技有限公司，
类型：发明
国别省市：广东;44