植物叶片气孔个体行为检测分析方法、系统及存储介质技术方案

本申请提供一种植物叶片气孔个体行为检测分析方法、系统及存储介质。本申请通过多目标跟踪算法识别视频图像中各气孔位置，通过目标检测算法检测视频图像中各气孔的开闭状态，再将两者进行匹配，标记出气孔的开闭时间，实现对气孔开闭时序的跟踪解析。本申请通过对植物叶片视频的检测分析，利用多深度学习任务的集成系统获得气孔个体开闭状态、长宽、面积和周长等多种性状。相对于传统的气孔性状研究，本发明专利技术通过对气孔视频的超时序解析技术，结合目标检测和语义分割等算法，实现气孔开闭状态的定性跟踪和气孔形态特征的量化分析，有助于分析气孔个体开闭节律的生理机理，揭示气孔个体和群体水平的运动规律。体和群体水平的运动规律。体和群体水平的运动规律。

【技术实现步骤摘要】
植物叶片气孔个体行为检测分析方法、系统及存储介质


[0001]本申请涉及植物信息监测
，具体而言涉及一种植物叶片气孔个体行为检测分析方法、系统及存储介质。

技术介绍

[0002]植物叶片上的气孔是植物与外界环境进行CO2和水分交换的重要通道。气孔的形态学变化直接影响了植物的光合作用、蒸腾作用、水分利用效率以及抗逆性等重要生理过程。
[0003]受内源信号和外界环境因子的共同调控，气孔个体行为会表现出极大的差异。受观测方法的限制，早期认为单个气孔对环境等外界刺激的反应是独立且相似的，其行为只会表现出细微的随机差异。然而，经过大量观察和研究表明，植物叶片中气孔的行为通常表现出明显的时空异质性：例如，同一植物叶片上某些区域气孔张开，其相邻区域气孔会关闭。这种气孔行为的异质性被认为是植物适应环境的重要机制。
[0004]然而，现有的针对气孔个体行为的分析技术尚不完善。传统的气孔表型性状分析依赖于人工标定，繁琐且耗时耗力。近年来，研究人员虽然开发了一些可以识别气孔或划分表皮细胞的软件，但是，这些软件精度有限，需要使用者耗费大量精力进行人工校正工作。此外，虽然现有深度学习的图像分析算法已经可以准确地量化气孔密度等参数，但是尚不能对气孔的个体行为进行详细的性状分析。
[0005]此外，植物的气孔对干旱等胁迫环境的响应过程是迅速而敏感的，时序数据有利于更精确的反应气孔变化。然而，传统的气孔观测方法多使用硅胶油印迹法或破坏性上的表皮剥离法，这些方法难以实现密集的时间序列观测。现有技术难以对气孔个体进行连续观测，这种连续观测技术的不足，也导致目前气孔分析技术多集中在单点的图像分析算法上，进而也造成了气孔个体状态时序分析的研究空白。

技术实现思路

[0006]本申请针对现有技术的不足，提供一种植物叶片气孔个体行为检测分析方法、系统及存储介质，本申请利用卡尔曼滤波算法配合匈牙利算法实现对气孔检测框的预测跟踪，能够通过多目标跟踪算法，对视频图像各帧序列之间的关联性进行描述，赋予每个气孔一个“身份证”，进而分别对各个气孔的开闭状态和形状特征进行识别与跟踪。本申请具体采用如下技术方案。
[0007]首先，为实现上述目的，提出一种植物叶片气孔个体行为检测分析方法，其按照植物叶片视频图像各帧顺序，分别对每一帧图像执行以下步骤：第一步，通过多目标跟踪算法识别视频各帧图像中各个气孔所对应的目标检测框，并标记各目标检测框所对应的气孔身份信息；第二步，通过目标检测算法分别识别视频各帧图像中气孔的开闭状态，并将各气孔开闭状态与气孔身份信息进行匹配，分别标记各气孔所对应的开闭状态和开闭时间；第三步，根据各目标检测框将相应气孔图片输入语义分割模型中，检测获得气孔图片中的气孔
复合体区域，根据气孔复合体区域对视频图像进行掩膜输出，并基于掩膜图像分别提取各气孔所对应的形态特征。
[0008]可选的，如上任一所述的植物叶片气孔个体行为检测分析方法，其中，所述多目标跟踪算法包括如下步骤：步骤101，通过目标检测器检测获得分别对应于叶片上各个气孔的目标检测框，通过卡尔曼滤波算法根据上一帧的目标检测框生成本帧预测框；步骤102，按照目标检测框与本帧预测框之间匹配程度分别识别各帧中气孔的关联情况，标记各目标检测框所对应的气孔身份信息。
[0009]可选的，如上任一所述的植物叶片气孔个体行为检测分析方法，其中，步骤102具体包括如下步骤：通过匈牙利算法匹配目标检测框与本帧预测框，若仅存在目标检测框而没有与之相匹配的本帧预测框，则为该目标检测框所对应的气孔单独新增气孔身份信息进行标记，并新增一条对应于该气孔身份信息的轨迹；若目标检测框与本帧预测框相匹配，则继续通过卡尔曼滤波算法对该目标检测框进行更新，生成用于匹配下一帧目标检测框的预测框；若没有与本帧预测框相匹配的目标检测框，则删除对应本帧预测框所属气孔身份信息的轨迹。
[0010]可选的，如上任一所述的植物叶片气孔个体行为检测分析方法，其中，通过多目标跟踪算法识别出的各气孔所对应的目标检测框标记为[x1,y1,x2,y2,ID]，其中(x1,y1)和(x2,y2)分别表示目标检测框两对角的像素坐标，ID表示目标检测框所对应的气孔身份信息；第二步中通过目标检测算法分别识别视频各帧图像中气孔的开闭状态，将各气孔开闭状态与气孔身份信息进行匹配，分别标记各气孔所对应的开闭状态和开闭时间的具体步骤包括：通过基于YOLOv3
‑
tiny的二分类目标检测算法分别识别视频各帧图像中气孔的开闭状态，记为状态检测框[x',y',x”,y”,类别]，其中，(x',y')和(x”,y”)分别表示状态检测框两对角的像素坐标，类别表示状态检测框所对应的气孔的开闭状态；通过字符识别算法获取帧视频图像中的时间信息；比较状态检测框[x',y',x”,y”,类别]与目标检测框[x1,y1,x2,y2,ID]之间像素坐标距离，将目标检测框的开闭状态更新为与之像素坐标距离最近的状态检测框的开闭状态，输出[x1,y1,x2,y2,ID,类别，时间]。
[0011]可选的，如上任一所述的植物叶片气孔个体行为检测分析方法，其中，所述语义分割算法为基于Unet的深度学习模型，由编码器
‑
解码器的网络结构构成；其中的编码器对目标检测框图像逐层下采样进行特征提取，各层编码器分别通过深度可分离卷积结构将其所提取出的特征融合至相应层的解码器，各层所述解码器逐层上采样后使用2维卷积调整特征层维度为2，然后将特征展开，再使用softmax激活函数对每个像素点进行二分类以检测确定各像素点是否属于气孔复合体区域。
[0012]可选的，如上任一所述的植物叶片气孔个体行为检测分析方法，其中，所述编码器包括4层，语义分割模型中仅将编码器的中间层三层分别与上采样解码器进行特征融合，在3次特征层融合操作后，对最后一层解码器所输出的特征层使用2维卷积调整其维度为2以分别标记气孔像素点和背景像素点。
[0013]可选的，如上任一所述的植物叶片气孔个体行为检测分析方法，其中，根据气孔复合体区域分别提取各气孔所对应的形态特征的步骤包括：计算气孔复合体区域所对应的轮廓，根据轮廓计算气孔周长，根据轮廓内像素点个数计算气孔面积，根据轮廓上横纵坐标的极值之差计算气孔长宽。
[0014]可选的，如上任一所述的植物叶片气孔个体行为检测分析方法，其中，计算气孔复合体区域所对应的轮廓的步骤具体包括：对气孔复合体区域的掩膜图像进行腐蚀和膨胀，去除噪声点后，计算剩余连通区域的轮廓为气孔复合体区域所对应的轮廓。
[0015]同时，为实现上述目的，本申请还提供一种植物叶片气孔个体行为检测分析系统，其包括：显微镜，用于拍摄植物叶片中气孔的视频图像；检测分析单元，用于执行如上任一所述的植物叶片气孔个体行为检测分析方法；输出单元，其根据检测分析单元所得各气孔的气孔身份信息、形态特征和/或开闭状态和/或气孔复合体区域，掩膜输出视频图像或图表数据。
[0016]此外，本申请还同时提供一种计算机可读存储介质，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种植物叶片气孔个体行为检测分析方法，其特征在于，按照植物叶片视频图像各帧顺序，分别对每一帧图像执行以下步骤：第一步，通过多目标跟踪算法识别视频各帧图像中各个气孔所对应的目标检测框，并标记各目标检测框所对应的气孔身份信息；第二步，通过目标检测算法分别识别视频各帧图像中气孔的开闭状态，并将各气孔开闭状态与气孔身份信息进行匹配，分别标记各气孔所对应的开闭状态和开闭时间；第三步，根据各目标检测框将相应气孔图片输入语义分割模型中，检测获得气孔图片中的气孔复合体区域，根据气孔复合体区域对视频图像进行掩膜输出，并基于掩膜图像分别提取各气孔所对应的形态特征。2.如权利要求1所述的植物叶片气孔个体行为检测分析方法，其特征在于，所述多目标跟踪算法包括如下步骤：步骤101，通过目标检测器检测获得分别对应于叶片上各个气孔的目标检测框，通过卡尔曼滤波算法根据上一帧的目标检测框生成本帧预测框；步骤102，按照目标检测框与本帧预测框之间匹配程度分别识别各帧中气孔的关联情况，标记各目标检测框所对应的气孔身份信息。3.如权利要求2所述的植物叶片气孔个体行为检测分析方法，其特征在于，步骤102具体包括如下步骤：通过匈牙利算法匹配目标检测框与本帧预测框，若仅存在目标检测框而没有与之相匹配的本帧预测框，则为该目标检测框所对应的气孔单独新增气孔身份信息进行标记，并新增一条对应于该气孔身份信息的轨迹；若目标检测框与本帧预测框相匹配，则继续通过卡尔曼滤波算法对该目标检测框进行更新，生成用于匹配下一帧目标检测框的预测框；若没有与本帧预测框相匹配的目标检测框，则删除对应本帧预测框所属气孔身份信息的轨迹。4.如权利要求1
‑
3所述的植物叶片气孔个体行为检测分析方法，其特征在于，通过多目标跟踪算法识别出的各气孔所对应的目标检测框标记为[x1,y1,x2,y2,ID]，其中(x1,y1)和(x2,y2)分别表示目标检测框两对角的像素坐标，ID表示目标检测框所对应的气孔身份信息；第二步中通过目标检测算法分别识别视频各帧图像中气孔的开闭状态，将各气孔开闭状态与气孔身份信息进行匹配，分别标记各气孔所对应的开闭状态和开闭时间的具体步骤包括：通过基于YOLOv3
‑
tiny的二分类目标检测算法分别识别视频各帧图像中气孔的开闭状态，记为状态检测框[x',y',x”,y”,类别]，其中，(x',y')和(x”,y”)分别表示状态检测框两对角的像素坐标，类别表...

【专利技术属性】
技术研发人员：孙壮壮，金时超，李庆，姜东，
申请(专利权)人：南京农业大学，
类型：发明
国别省市：