一种复杂背景下植物叶片精准分割方法及系统技术方案

本发明专利技术公开了一种复杂背景下植物叶片精准分割方法及系统，涉及图像处理技术领域。该方法包括：获取复杂背景下的植物图像作为目标叶片图像；将目标叶片图像输入至叶片分割模型中，得到目标叶片图像的预测图像分割掩码；该预测图像分割掩码用于分割目标叶片图像；其中，叶片分割模型包括训练好的复合主干网络和训练好的图像分割网络；复合主干网络包括多层级残差跳跃连接的辅助主干网络和引导主干网络；辅助主干网络基于卷积神经网络和Transformer网络构建；引导主干网络基于卷积神经网络构建。本发明专利技术能够实现在复杂背景下的植物叶片分割，提高分割精度和分割速度，且使分割结果准确反映植物叶片的表型性状。分割结果准确反映植物叶片的表型性状。分割结果准确反映植物叶片的表型性状。

【技术实现步骤摘要】
一种复杂背景下植物叶片精准分割方法及系统


[0001]本专利技术涉及图像处理
，特别是涉及一种复杂背景下植物叶片精准分割方法及系统。

技术介绍

[0002]植物在生长过程中会受到生物胁迫和非生物胁迫，为获取胁迫类型，须持续监测植物叶片相关的表型性状，植物在体图像检测是一种快速监测方法，但从图像复杂背景中精准分割出植物叶片成为技术难点。
[0003]传统图像分割算法高度依赖专家经验且普适性不强，且对于在复杂背景下的植物叶片分割的速度和精度不高，分割结果无法准确反映植物叶片的表型性状。
[0004]随着算法理论和硬件计算能力的进步，深度学习由于其强力的非线性学习能力和鲁棒的泛化能力成为了一个更好的图像分割方法。特别是卷积神经网络的深层堆叠结构和更好的特征表示，使得它逐渐成为了植物表型领域的一个主流架构。虽然，卷积神经网络已经被广泛地应用于植物表型领域。但是它也有一些明显的缺点。例如，它不能完全学习图像的低层次特征。而且，全局信息的缺失表明它在一些复杂的环境中往往是无效的。近年来，Transformer已经成为计算机视觉领域的一个热点。因为它们对全局上下文有很好的理解，在大数据集任务上有很高的精度表现，很快就被植物研究人员所认可。但在某些方面，Transformer仍然有不可忽视的缺陷。例如，由于缺乏正确的归纳偏置，它们的泛化能力常常不如卷积神经网络。此外，Transformer也不能快速应用到农业任务中，因为更大的模型容量带来了更多的参数和更高的算力要求。因此，结合了卷积神经网络和Transformer所有优点的混合神经网络正逐渐成为一种新的研究方向。

技术实现思路

[0005]本专利技术的目的是提供一种复杂背景下植物叶片精准分割方法及系统，以实现在复杂背景下的植物叶片分割，提高叶片分割精度和分割速度，从而为准确获取植物叶片的表型参数提供数据基础。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种复杂背景下植物叶片精准分割方法，所述复杂背景下植物叶片精准分割方法包括：
[0008]获取目标叶片图像；所述目标叶片图像为复杂背景下的植物叶片图像；
[0009]将所述目标叶片图像输入至叶片分割模型中，得到目标叶片图像的预测图像分割掩码；所述目标叶片图像的预测图像分割掩码用于分割所述目标叶片图像；
[0010]所述叶片分割模型由混合神经分割网络训练得到；所述混合神经分割网络包括复合主干网络和图像分割网络；训练好的复合主干网络用于对所述目标叶片图像进行特征提取，得到所述目标叶片图像的多层融合特征图；训练好的图像分割网络用于根据所述目标叶片图像的多层融合特征图确定所述目标叶片图像的预测图像分割掩码；
[0011]所述复合主干网络包括多层级残差跳跃连接的辅助主干网络和引导主干网络；所述辅助主干网络基于卷积神经网络和Transformer网络构建；所述引导主干网络基于卷积神经网络构建。
[0012]可选地，所述叶片分割模型的确定方法包括：
[0013]获取样本数据集；所述样本数据集包括多幅样本叶片图像和对应的真实图像分割掩码；
[0014]将每幅样本叶片图像输入至复合主干网络中进行特征提取，得到每幅样本叶片图像的多层辅助特征图和多层融合特征图；
[0015]将每幅样本叶片图像的多层辅助特征图输入至图像分割网络中进行预测分割，得到每幅样本叶片图像的辅助图像分割掩码；
[0016]将每幅样本叶片图像的多层融合特征图输入至图像分割网络中进行预测分割，得到每幅样本叶片图像的预测图像分割掩码；
[0017]根据所述真实图像分割掩码、所述辅助图像分割掩码和所述预测图像分割掩码确定综合交叉熵损失；所述综合交叉熵损失包括：所述复合主干网络的交叉熵损失和所述辅助主干网络的交叉熵损失；
[0018]以综合交叉熵损失最小为目标，对混合神经分割网络进行训练，得到叶片分割模型；所述叶片分割模型包括训练好的复合主干网络和训练好的图像分割网络。
[0019]可选地，所述将每幅样本叶片图像输入至复合主干网络中进行特征提取，得到每幅样本叶片图像的多层辅助特征图和多层融合特征图，具体包括：
[0020]对于任意一幅样本叶片图像，将所述样本叶片图像输入至所述辅助主干网络中进行特征提取，得到多层辅助特征图；所述多层辅助特征图包括：多层局部特征图和多层全局特征图；
[0021]将所述多层辅助特征图和所述样本叶片图像输入至所述引导主干网络中进行特征提取，得到多层融合特征图。
[0022]可选地，所述辅助主干网络包括：三个卷积神经网络模块和两个自注意力网络模块，且相邻两个网络模块之间存在残差跳跃连接；
[0023]所述将所述样本叶片图像输入至所述辅助主干网络中进行特征提取，得到多层辅助特征图，具体包括：
[0024]将所述样本叶片图像输入至所述辅助主干网络的第一个卷积神经网络模块进行特征提取，得到第一层局部特征图；
[0025]将第一层局部特征图输入至所述辅助主干网络的第二个卷积神经网络模块进行特征提取，得到第二层局部特征图；
[0026]将第二层局部特征图输入至所述辅助主干网络的第三个卷积神经网络模块进行特征提取，得到第三层局部特征图；
[0027]将第三层局部特征图输入至所述辅助主干网络的第一个自注意力网络模块进行特征提取，得到第一层全局特征图；
[0028]将第一层全局特征图输入至所述辅助主干网络的第二个自注意力网络模块进行特征提取，得到第二层全局特征图。
[0029]可选地，所述引导主干网络包括：五个卷积神经网络模块，且相邻两个网络模块之
间存在残差跳跃连接；
[0030]所述将所述多层辅助特征图和所述样本叶片图像输入至所述引导主干网络中进行特征提取，得到多层融合特征图，具体包括：
[0031]将第一至第三层局部特征图、第一至第二层全局特征图及所述样本叶片图像输入至所述引导主干网络的第一个卷积神经网络模块进行特征提取，得到第一层融合特征图；
[0032]将第二至第三层局部特征图、第一至第二层全局特征图及第一层融合特征图输入至所述引导主干网络的第二个卷积神经网络模块进行特征提取，得到第二层融合特征图；
[0033]将第三层局部特征图、第一至第二层全局特征图及第二层融合特征图输入至所述引导主干网络的第三个卷积神经网络模块进行特征提取，得到第三层融合特征图；
[0034]将第一至第二层全局特征图及第三层融合特征图输入至所述引导主干网络的第四个卷积神经网络模块进行特征提取，得到第四层融合特征图；
[0035]将第二层全局特征图及第四层融合特征图输入至所述引导主干网络的第五个卷积神经网络模块进行特征提取，得到第五层融合特征图。
[0036]可选地，所述辅助主干网络和所述引导主干网络之间的每层残差跳跃连接处还包括一个通道批量归一化模块；将多层辅助特征图与对应的中间图像输入至所述引导主干网络中对应的卷积神经网络模块之前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复杂背景下植物叶片精准分割方法，其特征在于，所述复杂背景下植物叶片精准分割方法包括：获取目标叶片图像；所述目标叶片图像为复杂背景下的植物叶片图像；将所述目标叶片图像输入至叶片分割模型中，得到目标叶片图像的预测图像分割掩码；所述目标叶片图像的预测图像分割掩码用于分割所述目标叶片图像；所述叶片分割模型由混合神经分割网络训练得到；所述混合神经分割网络包括复合主干网络和图像分割网络；训练好的复合主干网络用于对所述目标叶片图像进行特征提取，得到所述目标叶片图像的多层融合特征图；训练好的图像分割网络用于根据所述目标叶片图像的多层融合特征图确定所述目标叶片图像的预测图像分割掩码；所述复合主干网络包括多层级残差跳跃连接的辅助主干网络和引导主干网络；所述辅助主干网络基于卷积神经网络和Transformer网络构建；所述引导主干网络基于卷积神经网络构建。2.根据权利要求1所述的复杂背景下植物叶片精准分割方法，其特征在于，所述叶片分割模型的确定方法包括：获取样本数据集；所述样本数据集包括多幅样本叶片图像和对应的真实图像分割掩码；将每幅样本叶片图像输入至复合主干网络中进行特征提取，得到每幅样本叶片图像的多层辅助特征图和多层融合特征图；将每幅样本叶片图像的多层辅助特征图输入至图像分割网络中进行预测分割，得到每幅样本叶片图像的辅助图像分割掩码；将每幅样本叶片图像的多层融合特征图输入至图像分割网络中进行预测分割，得到每幅样本叶片图像的预测图像分割掩码；根据所述真实图像分割掩码、所述辅助图像分割掩码和所述预测图像分割掩码确定综合交叉熵损失；所述综合交叉熵损失包括：所述复合主干网络的交叉熵损失和所述辅助主干网络的交叉熵损失；以综合交叉熵损失最小为目标，对混合神经分割网络进行训练，得到叶片分割模型；所述叶片分割模型包括训练好的复合主干网络和训练好的图像分割网络。3.根据权利要求2所述的复杂背景下植物叶片精准分割方法，其特征在于，所述将每幅样本叶片图像输入至复合主干网络中进行特征提取，得到每幅样本叶片图像的多层辅助特征图和多层融合特征图，具体包括：对于任意一幅样本叶片图像，将所述样本叶片图像输入至所述辅助主干网络中进行特征提取，得到多层辅助特征图；所述多层辅助特征图包括：多层局部特征图和多层全局特征图；将所述多层辅助特征图和所述样本叶片图像输入至所述引导主干网络中进行特征提取，得到多层融合特征图。4.根据权利要求3所述的复杂背景下植物叶片精准分割方法，其特征在于，所述辅助主干网络包括：三个卷积神经网络模块和两个自注意力网络模块，且相邻两个网络模块之间存在残差跳跃连接；所述将所述样本叶片图像输入至所述辅助主干网络中进行特征提取，得到多层辅助特
征图，具体包括：将所述样本叶片图像输入至所述辅助主干网络的第一个卷积神经网络模块进行特征提取，得到第一层局部特征图；将第一层局部特征图输入至所述辅助主干网络的第二个卷积神经网络模块进行特征提取，得到第二层局部特征图；将第二层局部特征图输入至所述辅助主干网络的第三个卷积神经网络模块进行特征提取，得到第三层局部特征图；将第三层局部特征图输入至所述辅助主干网络的第一个自注意力网络模块进行特征提取，得到第一层全局特征图；将第一层全局特征图输入至所述辅助主干网络的第二个自注意力网络模块进行特征提取，得到第二层全局特征图。5.根据权利要求3所述的复杂背景下植物叶片精准分割方法，其特征在于，所述引导主干网络包括：五个卷积神经网络模块，且相邻两个网络模块之间存在残差跳跃连接；所述将所述多层辅助特征图和所述样本叶片图像输入至所述引导主干网络中进行特征提取，得到多层融合特征图，具体包括：将第一至第三层局部特征图、第一至第二层全局特征图及所述样本叶片图像输入至所述引导主干网络的第一个卷积神经网络模块进行特征提取，得到第一层融合特征图；将第二至第三层局部特征图、第一至第二层全局特征图及第一层融合特征图输入至所述引导主干网络的第二个卷积神经网络模块进行特征提取，得到第二层融合特征图；将第三层局部特征图、第一至第二层全局特征图及第二层融合特征图输入至所述引导主干网络的第三个卷积神经网络模块进行特征提取，得到第三层融合特征图；将第一至第二层全局特征图及第三层融合特征图输入至所述引导主干网络的...

【专利技术属性】
技术研发人员：高攀，闫靖昆，鄢天颖，黄毓贤，张远，吕新，
申请(专利权)人：石河子大学，
类型：发明
国别省市：