一种基于双层卷积网络和掩码细化的植物叶片精细分割方法技术

本发明专利技术公开了一种基于双层卷积网络和掩码细化的植物叶片精细分割方法，实现了端到端精细分割自然环境下获取的植物叶片。本发明专利技术网络有三个主要部分组成：1)自底向上的路径增强网络，将更多浅层的特征信息传递到更深层的特征中，生成更高质量的特征图。2)基于Mask R

【技术实现步骤摘要】
一种基于双层卷积网络和掩码细化的植物叶片精细分割方法


[0001]本专利技术涉及图像处理领域，特别是一种基于双层卷积网络和掩码细化的植物叶片精细分割方法。

技术介绍

[0002]植物表型是指能够反映植物细胞、组织、器官、植株和群体结构及功能特征的物理、生理和生化性质。植物表型深入发掘了“基因型
‑
表型
‑
环境型”之间的内在关系，揭示了植物性状的形成机制，极大地促进了功能基因组学、作物分子育种与高效栽培的进展。传统的表型获取方式，耗时费力，随着图像技术的发展，无创、快速、高精度的植物表型图像获取已经很成熟，但对获取的高通量植物表型数据，需要研究各类特征提取方法。
[0003]在表型特征提取中，植物叶片精细分割仍是一项具有挑战性的任务。特别是在具有复杂背景的自然环境下，叶片分割存在很多难点，如：光照、阴影等因素干扰，不同叶片相互遮挡，叶片边缘模糊不清等，这些都造成植物叶片颜色、形状和大小随图像采集时间、角度不同而变化问题。因此对于自然环境下获取的植物单叶片精细分割问题亟需新的解决方法。

技术实现思路

[0004]针对现有技术中存在的问题，本专利技术提供了一种实现了端到端地分割植物叶片，提高自然环境下获取的植物叶片分割的准确性的基于双层卷积网络和掩码细化的植物叶片精细分割方法。
[0005]本专利技术的目的通过以下技术方案实现。
[0006]一种基于双层卷积网络和掩码细化的植物叶片精细分割方法，包括以下步骤：
[0007]1)自底向上的路径增强网络，将浅层的特征信息传递到更深层的特征中，生成更高质量的特征图；
[0008]2)基于Mask R
‑
CNN的双层卷积网络，用于解耦遮挡叶片和被遮挡叶片；
[0009]3)掩码细化模块，通过点选择策略和多层感知机细化叶片边缘。
[0010]所述步骤1)具体包括：采用Faster R
‑
CNN目标检测器检测生成叶片的边界框，然后使用掩码分支预测每一个检测框内的前景掩码，基于ResNet的FPN网络，在FPN网络之后添加了一个自底向上的路径增强，所述路径增强从最底层的P2开始，对P2到P5逐渐下采样得到{N2，N3，N4，N5}，其中N2和P2为同一特征图。在这个过程中，特征传递的层数不超过10层。
[0011]所述步骤2)具体包括：通过双层卷积网络建模了遮挡实例和被遮挡实例，显示地解耦了遮挡实例和被遮挡实例的边界：对于ROI Align后的感兴趣区域，其中一条遮挡感知分支检测遮挡轮廓和掩码，对遮挡区域进行显示建模，提取遮挡物的形状和位置信息，通过残差结构指导另一条遮挡感知分支对遮挡区域进行轮廓和掩码检测，其中每一条遮挡感知分支由四个3
×
3，stride为1的卷积层组成。
[0012]所述步骤3)引入了一个边缘细化模块，所述边缘细化模块首先对不确定的像素点迭代上采样，再预测像素点的类别，所述边缘细化模块包括：点采样，逐点表示和点头三个部分。
[0013]所述步骤3)具体包括：
[0014]3‑
1)点采样训练时，采用一种非迭代随机采样的方式来训练模型，点的选取使用过采样率及重要性，推断时，使用迭代上采样的方式由粗到细分类像素点，在每一次迭代中，首先使用双线性插值对之前预测的掩码进行上采样，然后在分辨率更高的图像上选择最N个不确定的点，点的选取策略同训练时相同，再计算像素点的逐点表示并预测它们类别，反复上述操作五次，便可得到一组包含叶片边缘细节的高分辨率特征图，分别为56
×
56，112
×
112，224
×
224，448
×
448和896
×
896；
[0015]3‑
2)逐点表示中，边缘细化模块通过结合细粒度特征和粗粒度特征构成的点特征向量对不确定的像素点进行判断分类，其中的细粒度特征来自自底向上路径增强中的N2特征图，该特征图中包含了丰富的细节信息，而粗粒度特征来自双层遮挡模块预测的被遮挡物的掩码，提供额外的位置信息；
[0016]3‑
3)点头中边缘细化模块使用一个简单的多层感知机进行逐点预测分类，所述多层感知机为一个全局共享的多层感知机。
[0017]相比于现有技术，本专利技术的优点在于：1、构建了一个全新的两阶段实例分割网络，称之为LSNet(Leaf Segmentation Net)。
[0018]2、通过一个自底向上的路径增强网络将更多的浅层特征传递到深层网络中，可以提高叶片的分割精度。
[0019]3、在网络提取ROI后同时对遮挡叶片和被遮挡叶片进行分割，解耦遮挡叶片和被遮挡叶片，以此来提高叶片的分割精度。
[0020]4、掩码细化模块(Mask Refining Module)。该模块可以自适应地选择实例对象中不确定的像素点，并结合特征金字塔中的细粒度特征，共同细化叶片的掩码，尤其是叶片的边缘部分。
附图说明
[0021]图1是本专利技术的网络结构示意图。
[0022]图2是自底向上的路径增强结构示意图。
[0023]图3是点采样形式示意图。
具体实施方式
[0024]下面结合说明书附图和具体的实施例，对本专利技术作详细描述。
[0025]一种基于双层卷积网络和掩码细化的植物叶片精细分割方法，包括以下步骤：
[0026]步骤1：自底向上的路径增强网络，将更多浅层的特征信息传递到更深层的特征中，生成更高质量的特征图。采用Faster R
‑
CNN目标检测器检测生成叶片的边界框，然后使用掩码分支预测每一个检测框内的前景掩码。基于ResNet的FPN网络，特征在自底向上传递的过程中，经过几十甚至上百个卷积层后，浅层特征往往会发生丢失或偏移。因此本文在FPN之后添加了一个自底向上的路径增强(Bottom
‑
up Path Augmentation，BPA)。该结构从
最底层的P2开始，对P2到P5逐渐下采样得到{N2，N3，N4，N5}，其中N2和P2为同一特征图。在这个过程中，特征传递的层数不到10层，能减少浅层特征信息在传递过程中的丢失。特征图{N3，N4，N5}的具体生成方式如图2所示：Ni经过一个3
×
3，stride为2的卷积层，将特征图缩小为原先的一半。然后将生成的特征图和Pi+1做逐元素相加(element
‑
wiseadd)，得到的特征再经过一个3
×
3，stride为1的卷积层，最后得到特征图Ni+1。
[0027]步骤2：基于MaskR
‑
CNN的双层卷积网络，用于解耦遮挡叶片和被遮挡叶片；端到端的双阶段实例分割模型，所述步骤2)具体包括：通过双层卷积网络建模了遮挡实例和被遮挡实例，显示地解耦了遮挡实例和被遮挡实例的边界：对于ROIAlign后的感兴趣区域，其中一条遮挡感知本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双层卷积网络和掩码细化的植物叶片精细分割方法，其特征在于，包括以下步骤：1)自底向上的路径增强网络，将浅层的特征信息传递到更深层的特征中，生成更高质量的特征图；2)基于Mask R
‑
CNN的双层卷积网络，用于解耦遮挡叶片和被遮挡叶片；3)掩码细化模块，通过点选择策略和多层感知机细化叶片边缘。2.根据权利要求1所述的基于自然环境中自动化分割叶片的方法，其特征在于，所述步骤1)具体包括：采用Faster R
‑
CNN目标检测器检测生成叶片的边界框，然后使用掩码分支预测每一个检测框内的前景掩码，基于ResNet的FPN网络，在FPN网络之后添加了一个自底向上的路径增强，所述路径增强从最底层的P2开始，对P2到P5逐渐下采样得到{N2，N3，N4，N5}，其中N2和P2为同一特征图。在这个过程中，特征传递的层数不超过10层。3.根据权利要求1所述的基于自然环境中自动化分割叶片的方法，其特征在于，所述步骤2)具体包括：通过双层卷积网络建模了遮挡实例和被遮挡实例，显示地解耦了遮挡实例和被遮挡实例的边界：对于ROI Align后的感兴趣区域，其中一条遮挡感知分支检测遮挡轮廓和掩码，对遮挡区域进行显示建模，提取遮挡物的形状和位置信息，通过残差结构指导另一条遮挡感知分支对遮挡区域进行轮廓和掩码检测，其中每一条遮挡感知分支由四个3
×
3，stride为1的卷积层组成。4.根据权利要求1所述的基于自然环境中自动化分割叶片的方法，其特征...

【专利技术属性】
技术研发人员：李庆铁，熊迎军，李靖，任守纲，顾兴健，朱勇杰，
申请(专利权)人：上海蓝长自动化科技有限公司，
类型：发明
国别省市：