一种蘑菇生长状态时空预测方法技术

本发明专利技术公开了一种蘑菇生长状态时空预测方法；该方法采集蘑菇生长过程中的彩图和深度图历史序列图像，通过改进的卷积长短时记忆神经网络（ConvLSTM）预测未来某一时刻的蘑菇生长状态图，该改进模型将ConvLSTM与实例分割网络融合并结合SSIM损失函数来提高预测图像的质量与预测精度。然后，将预测出的彩图通过实例分割算法进行分割，提取出蘑菇子实体，并与深度图匹配计算出预测图像中各蘑菇的尺寸大小；最后，通过预测的蘑菇大小及位置特征对蘑菇长势进行预测；本发明专利技术方法能替代人工巡检，为更加精准有效的开展农作物温室环境因子控制及农作物的智能采摘及疏蕾等科学合理安排提供信息基础和判断依据，提高蘑菇产量和质量。量。量。

【技术实现步骤摘要】
一种蘑菇生长状态时空预测方法


[0001]本专利技术属于智慧农业
及食用菌
，具体的说，涉及一种蘑菇生长状态时空预测方法。

技术介绍

[0002]目前的蘑菇温室环境监控系统，只对温室环境参数进行采集，由用户预先设定好环境参数，中控单元通过对传感器采集的数据进行检查再根据用户的预设参数进行简单对比来确定生产中间的设备状态，该方式相对于最开始的无环境监测的开环控制系统，对于食用菌生长环境控制的实时性有了明显改善。但蘑菇等农作物的生长影响因素较多，其生长过程和状态不像工业产品那么可控，其很难按预计设定状态进行生长，时间长了，往往调控效果不好。所以，目前蘑菇培养基地通常还是需要人工隔一段时间去巡视菇房，观察菇菌的生长状态(长势)，然后根据长势对环境参数进行人工微调干预，这种人工观察的方式工作量大，而且对菌菇长势的预测不够准确，对菇菌长势实际变化的自适应调整能力较差。
[0003]此外，蘑菇是易密集或成簇生长的果实，通常还需要避免果实过密导致的生长空间限制以及营养竞争而对果实的质量和产量造成影响。并且，需要对果实的后续采摘时间和采摘量进行预测，便于较优地对采摘任务和疏蕾蔬果进行合理安排，使得大部分果实能适时被采摘。所以，要达到更精准的农作物温室智能控制、优化栽培和采摘管理智能化水平，提高产量和质量，仅靠人工或生长状态监测是不够的，需要对其生长状态进行自动、智能预测，提前进行干预。
[0004]对果实未来生长状态预测的技术目前一般采用生长模型建模方式，通过研究果实生长环境因子对其生长的影响，建立生长模型实现对果实生长的预测。但是由于农作物生长的随机性强、生长过程受影响因素非常多，不仅仅受环境因子的影响，还会受到培养基成分、厚度等影响，生长模型通常准确度不高。

技术实现思路

[0005]针对现有技术中对蘑菇生长状态监测和预测中存在的上述缺陷，本专利技术的目的是提供一种蘑菇生长状态时空预测方法，该方法能替代人工对蘑菇的生长状态进行监测，特别地能对蘑菇的生长状态进行图像预测，其考虑了蘑菇生长状态的时空变化，将卷积长短时记忆神经网络ConvLSTM与实例分割网络融合，并结合SSIM损失函数来提高蘑菇生长状态的预测图像的质量与预测精度。本专利技术通过对蘑菇生长状态的精准预测，有利于解决现有蘑菇温室环境调控中存在的人工精细化调控难、各菇房生长状态各有不同、调控手段单一且不能24小时全天值守调控等问题，实现温室环境因子的更加精准控制，提高蘑菇产量和质量；此外，还有利于对蘑菇的成熟期及生长聚集程度进行预测，辅助进行蘑菇采摘时间、采摘人员、疏蕾计划安排等栽培和生产管理计划进行更加科学合理的安排。
[0006]为实现本专利技术的目的，本专利技术采用以下技术方案：
[0007]一种蘑菇生长状态时空预测方法，包括以下步骤：
[0008](1)采用RGBD深度相机每隔x分钟拍摄多张图像用于获取蘑菇生长过程中的彩图与深度图；
[0009](2)按照生长潮数、生长天数，采用峰值信噪比PSNR对拍摄到的蘑菇生长状态的彩图与深度图进行数据清洗，得到处理后清晰的图片数据；
[0010](3)采用实例分割算法识别提取蘑菇子实体
[0011]对清洗后得到的彩图，按一定时间间隔t取出前n次图像，构成生长状态彩图图像序列P
ntc0
；再利用实例分割算法从该序列图像的每张图像中提取出蘑菇子实体图像，去除背景图像形成仅含蘑菇的彩图图像序列P
ntc
；
[0012](4)取若干张和彩图图像序列P
ntc
同时刻对应的连续的深度图组成深度图像序列P
ntd
，将彩图图像序列P
ntc
、深度图像序列P
ntd
分别输入ConvLSTM网络中进行预测，预测出K时刻后的彩图图像P
To+Kc
和深度图图像P
To+Kd
；
[0013](5)彩图与深度图匹配提取预测图像蘑菇特征
[0014]将预测的彩图图像P
To+Kc
通过实例分割算法识别提取出各蘑菇并对提取的蘑菇进行椭圆拟合获得各蘑菇的轮廓和中心点坐标，然后与深度图图像P
To+Kd
进行蘑菇高度匹配，计算出蘑菇的尺寸大小，获得K时刻后的蘑菇大小及中心点位置，进而预测蘑菇的长势特征，长势特征包括：蘑菇生长速度预测、蘑菇成熟时间预测、未来第1、2
…
L天的成熟蘑菇量预测、蘑菇分布均匀程度、蘑菇聚集情况、蘑菇总数和蘑菇生长密度。
[0015]进一步的，步骤(2)和步骤(5)中，实例分割算法独立的选自SOLO v2、Mask RCNN、YOLACT等中任一种。
[0016]进一步的，步骤(3)中，彩图图像序列P
ntc
、深度图像序列P
ntd
分别输入ConvLSTM网络中，分别通过卷积网络进行特征提取和编码，编码后特征信息输入LSTM神经网络经更新状态门i、遗忘门f、隐藏层h提取出长序列隐藏信息与短序列隐藏信息，然后送入解码器解码输出预测结果，ConvLSTM网络结构公式如下，
[0017][0018][0019][0020][0021][0022]式中，为矩阵元素的乘积，x
t
表示t时刻输入，i
t
表示输出门状态保留概率，f
t
表示遗忘门状态保留概率，C
t
表示t时刻单元状态，o
t
表示t时刻输出门输出概率，H
t
表示t时刻隐含层输出，W
xi
、W
hi
、W
ci
、b
i
分别表示输入门的权重和阈值，W
xf
、W
hf
、W
cf
、b
f
分别表示遗忘门的权重和阈值，W
xc
、W
hc
、b
c
分别表示状态门的权重和阈值，W
xo
、W
ho
、W
co
、b
o
分别表示输出门的权重和阈值。
[0023]进一步的，步骤(4)中，ConvLSTM网络中，采用MS
‑
SSIM损失函数进行训练调优，MS
‑
SSIM损失函数计算公式如下：
[0024][0025]其中，M表示不同的尺度；μ
p
,μ
g
分别表示预测图像和实际图像的均值；σ
p
,σ
g
分别表
示预测图像和实际图像之间的标准差；σ
pg
表示预测值和实际图像之间的协方差；β
m
和γ
m
分别表示两项之间的相对重要性，c1和c2是为了防止除数为0而添加的常数项。
[0026]进一步的，步骤(4)中，ConvLSTM网络中，使用Adam优化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种蘑菇生长状态时空预测方法，其特征在于：包括以下步骤：（1）采用RGBD深度相机每隔x分钟拍摄多张图像用于获取蘑菇生长过程中的彩图与深度图；（2）采用峰值信噪比PSNR对拍摄到的蘑菇生长状态的彩图与深度图进行数据清洗，得到处理后清晰的图片数据；（3）采用实例分割算法识别提取蘑菇子实体对清洗后得到的彩图，按一定时间间隔t取出前n次图像，构成生长状态彩图图像序列P
ntc0
；再利用实例分割算法从该序列图像的每张图像中提取出蘑菇子实体图像，去除背景图像形成仅含蘑菇的彩图图像序列P
ntc
；（4）取若干张和彩图图像序列P
ntc
在同样时间段内、具有相同间隔的连续的深度图组成深度图像序列P
ntd
，将彩图图像序列P
ntc
、深度图像序列P
ntd
分别输入ConvLSTM网络中进行预测，预测出K时刻后的生长状态的彩图图像P
To+Kc
和深度图图像P
To+Kd
；（5）彩图与深度图匹配提取预测图像蘑菇特征将预测的彩图图像P
To+Kc
通过实例分割算法识别提取出各蘑菇并对提取的蘑菇进行椭圆拟合获得各蘑菇的轮廓和中心点坐标，然后与深度图图像P
To+Kd
进行蘑菇高度匹配，计算出蘑菇的尺寸大小，获得K时刻后的蘑菇大小及位置特征，进而预测蘑菇的长势特征，长势特征包括：蘑菇生长速度预测、蘑菇成熟时间预测、未来第1、2
ꢀ…ꢀ
L天的成熟蘑菇量预测、蘑菇分布均匀程度、蘑菇聚集情况、蘑菇总数和蘑菇生长密度。2.根据权利要求1所述的蘑菇生长状态预测方法，其特征在于，步骤（2）和步骤（5）中，实例分割算法独立的选自SOLO v2、Mask RCNN或 YOLACT中任一种。3.根据权利要求1所述的蘑菇生长状态预测方法，其特征在于，步骤（3）中，彩图图像序列P
ntc
、深度图像序列P
ntd
分别输入ConvLSTM网络中，分别通过卷积神经网络进行特征提取和编码，编码后特征信息输入LSTM神经网络经更新状态门i、遗忘门f、隐藏层h提取出长序列隐藏信息与短序列隐藏信息，然后送入解码器解码输出预测结果，ConvLSTM网络结构公式如下，式中，为矩阵元素的乘积，x
t
表示t时刻输入，i
t
表示输出门状态保留概率，f
t
表示遗忘门状态保留概率，C
t
表示t时刻单元状态，o
t
表示t时刻输出门输出概率，H
t
表示t时刻隐含层输出，W
xi
、W
hi
、W
ci
、b
i
分别表示输入门的权重和阈值，W
xf
、W
hf
、W
cf
、b
f
分别表示遗忘门的权重和阈值，W
xc
、W
hc
、b
c
分别表示状态门的权重和阈值，W
xo
、W
ho
、W
co
、b
o
分别表示输出门的权重和阈值。4.根据权利要求1所述的蘑菇生长状态预测方法，其特征在...

【专利技术属性】
技术研发人员：杨淑珍，黄杰，俞涛，
申请(专利权)人：上海第二工业大学，
类型：发明
国别省市：