一种基于强化学习的密闭式畜禽舍环境智能调控方法技术

本发明专利技术涉及一种基于强化学习的密闭式畜禽舍环境智能调控方法，其技术特点是：采集密闭式畜禽舍环境信息并将其输入到基于强化学习的智能调控模型中；智能调控模型根据贪婪策略，随机选择动作或者根据Q值表找出最优动作，控制畜禽舍通风/加热设备进行相应动作；根据当前状态和奖励更新Q值表；经过多轮迭代学习并逐渐更新Q值表，得到状态

【技术实现步骤摘要】
一种基于强化学习的密闭式畜禽舍环境智能调控方法


[0001]本专利技术属于自动化控制
，涉及畜禽环境控制方法，尤其是一种基于强化学习的密闭式畜禽舍环境智能调控方法。

技术介绍

[0002]随着人民生活水平的提高，畜禽养殖业的不断发展，如何提高畜禽养殖自动化水平已经迫在眉睫。目前，密闭式畜禽舍养殖环境监控远远落后于畜禽生产迅速发展的步伐。密闭式畜禽养殖环境是防控疾病和提高生产效率的关键因素，适宜的生长环境可以增强畜禽机体的抗病能力，充分发挥个体遗传潜力，保证正常的生产性能指标。
[0003]密闭式畜禽舍养殖环境控制包含因素较多，培训专门管理人员费时、费力。此外，由于调控不及时，环境变化对畜禽养殖造成难以估计的损失，因此，如何智能调控畜禽舍环境是目前迫切需要解决的问题。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提供一种基于强化学习的密闭式畜禽舍环境智能调控方法，解决养殖户对畜禽舍环境调控费时、费力、学习成本高以及对畜禽舍环境调控不准确的问题。
[0005]本专利技术解决现有的技术问题是采取以下技术方案实现的：
[0006]一种基于强化学习的密闭式畜禽舍环境智能调控方法，包括以下步骤：
[0007]步骤1、采集包括畜禽舍内环境信息、畜禽舍外环境信息、畜禽舍信息和畜禽养殖指标信息的密闭式畜禽舍环境信息，将采集的畜禽舍内外环境信息作为状态值输入到基于强化学习的智能调控模型中；
[0008]步骤2、智能调控模型根据ε贪婪策略，随机选择动作或者根据Q值表找出最优动作，并发出控制指令，使畜禽舍通风/加热设备进行相应动作；
[0009]步骤3、动作执行后，根据当前状态和奖励更新Q值表；
[0010]步骤4、经过多轮迭代学习并逐渐更新Q值表，得到状态
‑
动作的映射关系，并给出一组具有最大累计奖励的动作序列，该动作序列包含了对密闭式畜禽舍环境设备的调控。
[0011]进一步，所述畜禽舍内环境信息包括：畜禽舍内的温度、相对湿度、氨气浓度、硫化氢浓度、小窗风速、过道风速、二氧化碳浓度、气溶胶浓度和一氧化碳浓度，所述气溶胶浓度包括PM1.0浓度、PM2.5浓度和TSP浓度；
[0012]所述畜禽舍外环境信息包括：畜禽舍外的温度、相对湿度、风向、风力、大气压强和气象灾害，所述气象灾害包括沙尘暴、暴雪、暴雨、台风、梅雨、寒潮、高温、热浪和龙卷风；
[0013]所述畜禽舍信息包括：畜禽舍的长度、宽度、檐高、山墙高度、起脊角度、经度、纬度、朝向、风扇功率、风扇个数、风扇排布、小窗长度、小窗宽度、小窗个数、湿帘个数、湿帘面积、湿帘排布、湿帘电机个数、湿帘电机功率、湿帘电机排布、挡风帘个数、挡风帘长度、挡风帘高度、加热器类型、加热器功率和加热器个数；
[0014]所述畜禽品种信息包括：畜禽舍内的畜禽品种、畜禽日龄和畜禽理想环境信息，所述畜禽理想环境信息包括理想温度、理想湿度、理想氨气浓度、理想硫化氢浓度、理想氧气浓度、理想气溶胶浓度和理想一氧化碳浓度。
[0015]进一步，所述畜禽舍内外环境信息与基于强化学习的智能调控模型交互使用统一数据格式四元组(S,A,R,S')来表示，其中S表示智能调控模型所处环境状态集合，A为智能调控模型根据环境状态采取的动作合集，R表示奖励，S'表示为状态S经过动作A之后的新状态。
[0016]进一步，所述步骤2智能调控模型根据如下ε贪婪策略，随机选择动作或者根据Q值表找出最优动作a
t
的方法为：
[0017][0018]其中，s
t
畜禽舍内外环境的状态，s
t
∈S，S表示智能调控模型所处环境状态集合，Q(s
t
)表示状态为s
t
、选择动作a时的Q值，p表示概率，p取值为0.9，ε表示概率的取值。
[0019]进一步，所述步骤3的具体实现方法为：
[0020]执行动作a
t
后，畜禽舍内环境发生改变，产生新状态s
t+1
以及根据畜禽养殖内外环境状态产生的奖励r，使用下述公式更新Q值表：
[0021][0022]其中，α表示为学习率，γ表示对未来奖励的衰减值；
[0023]根据下述公式计算奖励r：
[0024][0025]其中，ω1+ω2+ω3＝1，ω1为温度项权重系数，T
current
为畜禽养殖舍内环境当前温度，T
ideal
为当前品种畜禽当前日龄下的最适温度，ω2为相对湿度项权重系数，RH
current
为畜禽养殖舍内环境当前相对湿度，RH
ideal
为当前品种畜禽当前日龄下的最适相对湿度，ω3为其他环境参数的权重系数，Other为其他环境参数。
[0026]进一步，所述其他环境参数Other的计算公式如下：
[0027][0028]其中，ω
11
至ω
17
的和为1且值分别为0.15，0.15，0.1，0.3，0.1，0.1，0.1；NH表示为氨气，H2S为硫化氢气体，vi表示小窗风速，vg表示为过道风速，CO为一氧化碳，PM15为PM1.5，PM25为PM2.5，TSP为总悬浮颗粒物。
[0029]进一步，所述温度项权重系数ω1设置为0.3
‑
0.5；所述相对湿度项权重系数ω2设置为0.2
‑
0.4；所述其他环境参数的权重系数ω3设置为0.1
‑
0.5。
[0030]进一步，所述密闭式畜禽舍环境设备包括加热设备和通风设备。
[0031]本专利技术的优点和积极效果是：
[0032]本专利技术通过采集包括畜禽舍内环境信息、畜禽舍外环境信息、畜禽舍信息和畜禽养殖指标信息的密闭式畜禽舍环境信息并将其输入到基于强化学习的智能调控模型中，采用强化学习方法实现对密闭式畜禽舍环境的智能调控功能，进而有效解决了养殖户对畜禽舍环境调控费时、费力、学习成本高、对畜禽舍环境调控不准确的问题，节省了人力及财力开销，降低了肉鸡养殖成本。
附图说明
[0033]图1为本专利技术的基于强化学习的密闭式畜禽舍环境智能调控方法的流程图；
[0034]图2为本专利技术的强化学习方法过程示意图。
具体实施方式
[0035]以下结合附图对本专利技术实施例做进一步详述。
[0036]一种基于强化学习的密闭式畜禽舍环境智能调控方法，如图1所示，包括如下步骤：
[0037]步骤1、采集包括畜禽舍内环境信息、畜禽舍外环境信息、畜禽舍信息和畜禽养殖指标信息的密闭式畜禽舍环境信息，将采集的畜禽舍内外环境信息作为状态值输入到基于强化学习的智能调控模型中。
[0038]在本步骤中，首先采集密闭式畜禽舍环境信息，这些信息包括：
[0039]所述畜禽舍内环境信息包括：畜禽舍内的温度、相对湿度、氨气浓度、硫化氢浓度、小窗风速、过道风速、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的密闭式畜禽舍环境智能调控方法，其特征在于：包括以下步骤：步骤1、采集包括畜禽舍内环境信息、畜禽舍外环境信息、畜禽舍信息和畜禽养殖指标信息的密闭式畜禽舍环境信息，将采集的畜禽舍内外环境信息作为状态值输入到基于强化学习的智能调控模型中；步骤2、智能调控模型根据ε贪婪策略，随机选择动作或者根据Q值表找出最优动作，并发出控制指令，使畜禽舍通风/加热设备进行相应动作；步骤3、动作执行后，根据当前状态和奖励更新Q值表；步骤4、经过多轮迭代学习并逐渐更新Q值表，得到状态
‑
动作的映射关系，并给出一组具有最大累计奖励的动作序列，该动作序列包含了对密闭式畜禽舍环境设备的调控。2.根据权利要求1所述的一种基于强化学习的密闭式畜禽舍环境智能调控方法，其特征在于：所述畜禽舍内环境信息包括：畜禽舍内的温度、相对湿度、氨气浓度、硫化氢浓度、小窗风速、过道风速、二氧化碳浓度、气溶胶浓度和一氧化碳浓度，所述气溶胶浓度包括PM1.0浓度、PM2.5浓度和TSP浓度；所述畜禽舍外环境信息包括：畜禽舍外的温度、相对湿度、风向、风力、大气压强和气象灾害，所述气象灾害包括沙尘暴、暴雪、暴雨、台风、梅雨、寒潮、高温、热浪和龙卷风；所述畜禽舍信息包括：畜禽舍的长度、宽度、檐高、山墙高度、起脊角度、经度、纬度、朝向、风扇功率、风扇个数、风扇排布、小窗长度、小窗宽度、小窗个数、湿帘个数、湿帘面积、湿帘排布、湿帘电机个数、湿帘电机功率、湿帘电机排布、挡风帘个数、挡风帘长度、挡风帘高度、加热器类型、加热器功率和加热器个数；所述畜禽品种信息包括：畜禽舍内的畜禽品种、畜禽日龄和畜禽理想环境信息，所述畜禽理想环境信息包括理想温度、理想湿度、理想氨气浓度、理想硫化氢浓度、理想氧气浓度、理想气溶胶浓度和理想一氧化碳浓度。3.根据权利要求1所述的一种基于强化学习的密闭式畜禽舍环境智能调控方法，其特征在于：所述畜禽舍内外环境信息与基于强化学习的智能调控模型交互使用统一数据格式四元组(S,A,R,S')来表示，其中S表示智能调控模型所处环境状态集合，A为智能调控模型根据环境状态采取的动作合集，R表示奖励，S'表示为状态S经过动作A之后的新状态。4.根据权利要求1所述的一种基于强化学习的密闭式畜禽舍环境智能调控方法，其特征在于：所述步骤2智能调控模型根据如下ε贪婪策略，随机选择动作或者根据Q值表找出最优动作a
...

【专利技术属性】
技术研发人员：陈长喜，王齐，赵光煜，韦冰，张万潮，吴凯，孔祥超，
申请(专利权)人：天津农学院，
类型：发明
国别省市：