目标果实实例分割方法及系统技术方案

本发明专利技术提供一种目标果实实例分割方法及系统，属于计算机视觉技术领域，对于获取的果园环境图像；利用预先训练好的分割模型对果园环境图像进行处理，获得识别分割结果；其中，预先训练好的分割模型由训练集训练得到，训练集包括多张果园环境图像以及标注图像中目标果实的标签；利用预先训练好的分割模型对果园环境图像进行处理时，对提取的特征进行语义类别识别和掩码分割，得到目标果实实例分割结果。本发明专利技术避免了模型对锚框的依赖性，减少了模型的复杂性，以端到端的方式为实例分割任务单独使用掩码注释来优化网络；不依赖于模型检测框，而是直接得到实例的像素分割结果，提高了目标果实识别与分割速度，鲁棒性高、实时性强，减少漏检和误检率。减少漏检和误检率。减少漏检和误检率。

【技术实现步骤摘要】
目标果实实例分割方法及系统


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于优化的SOLO
‑
A网络的目标果实实例分割方法及系统。

技术介绍

[0002]对于苹果、西红柿、草莓等水果蔬菜的采摘或药物喷洒，采用智能机器人进行机器采摘或打药来代替传统的人工方式，可大大提高工作效率。而实现目标物的快速、精准识别与定位，直接影响着采摘机器人的对目标果实采摘的可靠性与实时性。目标果实的精准识别与定位是视觉系统的关键所在。但是对于复杂的果园环境，会出现枝叶遮挡、果实重叠、阴雨天气等问题，导致机器人识别果实的难度增大。
[0003]近年来，针对提高目标的识别效率，提出了许多优秀的检测与分割方法。基于机器学习的目标识别方法对目标果实的检测和分割具有重要的启蒙作用。但是基于机器学习的方法不能解决复杂的问题，因此，衍生出深度学习网络。基于深度学习，已经提出了很多优秀的分割模型，如Mask RCNN、YOLCAT、PolarMask等等。但是这些方法，在复杂的果园环境下，往往精确度不够高，不能达到实时作业的要求。

技术实现思路

[0004]本专利技术的目的在于提供一种提高了果实识别精确度，增强了鲁棒性的基于优化的SOLO
‑
A网络的目标果实实例分割方法及系统，以解决上述
技术介绍
中存在的至少一项技术问题。
[0005]为了实现上述目的，本专利技术采取了如下技术方案：
[0006]一方面，本专利技术提供一种目标果实实例分割方法，包括：
[0007]获取果园环境图像；
[0008]利用预先训练好的分割模型对果园环境图像进行处理，获得目标果实的识别分割结果；其中，所述预先训练好的分割模型由训练集训练得到，所述训练集包括多张果园环境图像以及标注图像中目标果实的标签；
[0009]其中，利用预先训练好的分割模型对果园环境图像进行处理时，对提取的特征进行语义类别识别和掩码分割，得到目标果实实例分割结果。
[0010]优选的，训练所述分割模型包括：
[0011]构建基础网络对训练集的图像进行特征提取，并对提取的特征进行特征融合，得到融合特征图；
[0012]对融合特征图中的每一层特征图分别进行预测，得到每一个目标实例的语义类别预测结果，同时生成预测的掩码分割结果；
[0013]计算预测值与真实值之间的差值，并通过梯度反向传播网络参数，最终进行收敛，得到最后的优化好的分割模型。
[0014]优选的，基础网络采用ResNet网络来提取图像特征，在每一个网络层后添加CBAM
注意力机制，增强图像特征的表达能力。
[0015]优选的，采用特征金字塔网络FPN，以自顶向下结合横向连接的方式融合ResNet中残差块的输出，得到融合特征图。
[0016]优选的，采集果园环境下的多张果实照片，进行果实轮廓的标注；对标注后的图像进行预处理，依次通过灰度化、几何变换、图像增强来增强图像的有用信息，得到训练集。
[0017]优选的，基于损失函数计算预测值与真实值之间的差值，其中，损失函数分为语义分类和掩码分割两个部分的损失函数。
[0018]第二方面，本专利技术提供一种目标果实实例分割系统，包括：
[0019]获取模块，用于获取果园环境图像；
[0020]分割模块，用于利用预先训练好的分割模型对果园环境图像进行处理，获得目标果实的识别分割结果；其中，所述预先训练好的分割模型由训练集训练得到，所述训练集包括多张果园环境图像以及标注图像中目标果实的标签；
[0021]其中，利用预先训练好的分割模型对果园环境图像进行处理时，对提取的特征进行语义类别识别和掩码分割，得到目标果实实例分割结果。
[0022]第三方面，本专利技术提供一种果实采摘机器人，包括如上所述的目标果实实例分割系统。
[0023]第四方面，本专利技术提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的目标果实实例分割方法。
[0024]第五方面，本专利技术提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的目标果实实例分割方法的指令。
[0025]本专利技术有益效果：避免了模型对锚框的依赖性，大大减少了模型的复杂性，以端到端的方式为实例分割任务单独使用掩码注释来优化网络；不依赖于模型检测框，而是直接得到实例的像素分割结果，提高了目标果实识别与分割速度，鲁棒性高、实时性强，减少漏检和误检率。
[0026]本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0027]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0028]图1为本专利技术实施例所述的分割模型的测试阶段的整体流程图。
[0029]图2为本专利技术实施例所述逇在果园环境下采集的不同条件状态下的果实图像示意图。
[0030]图3为本专利技术实施例所述的CBAM注意力机制的整体结构图。
[0031]图4为本专利技术实施例所述的基于优化SOLO
‑
A的头部结构图。
[0032]图5为本专利技术实施例所述的基于优化SOLO
‑
A的整体结构图
[0033]图6为本专利技术实施例所述的基于优化SOLO
‑
A模型的目标果实分割结果示意图。
具体实施方式
[0034]下面详细叙述本专利技术的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。
[0035]本
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。
[0036]还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
[0037]本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本专利技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
[0038]在本说明书的描述中，参考术语“一个实施例”、“一些实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标果实实例分割方法，其特征在于，包括：获取果园环境图像；利用预先训练好的分割模型对果园环境图像进行处理，获得目标果实的识别分割结果；其中，所述预先训练好的分割模型由训练集训练得到，所述训练集包括多张果园环境图像以及标注图像中目标果实的标签；其中，利用预先训练好的分割模型对果园环境图像进行处理时，对提取的特征进行语义类别识别和掩码分割，得到目标果实实例分割结果。2.根据权利要求1所述的目标果实实例分割方法，其特征在于，训练所述分割模型包括：构建基础网络对训练集的图像进行特征提取，并对提取的特征进行特征融合，得到融合特征图；对融合特征图中的每一层特征图分别进行预测，得到每一个目标实例的语义类别预测结果，同时生成预测的掩码分割结果；计算预测值与真实值之间的差值，并通过梯度反向传播网络参数，最终进行收敛，得到最后的优化好的分割模型。3.根据权利要求2所述的目标果实实例分割方法，其特征在于，基础网络采用ResNet网络来提取图像特征，在每一个网络层后添加CBAM注意力机制，增强图像特征的表达能力。4.根据权利要求3所述的目标果实实例分割方法，其特征在于，采用特征金字塔网络FPN，以自顶向下结合横向连接的方式融合ResNet中残差块的输出，得到融合特征图。5.根据权利要求2所述的目标果实实例分割方法，其特征在于，采集果园环境下的多张果实照片，进行果实轮廓的标注；对标注后的图像进行预处理，依次通过灰...

【专利技术属性】
技术研发人员：魏金梦，贾伟宽，张为可，赵瑞娜，丁艳辉，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：