【技术实现步骤摘要】
本专利技术涉及农业果实识别，具体涉及基于优化后混合任务级联的密集蓝莓果实实例分割方法。
技术介绍
1、蓝莓果实的检测是进行蓝莓产量估算和穗形态评估的重要步骤。成像设备是替代传统人工方法实现自动检测的有用工具。高光谱成像相机可以为蓝莓检测提供丰富的光谱信息。但这种方法的应用受到了限制，由于目标光谱易受环境变化的影响，因此需要在室内均匀光照且无风的理想条件下进行研究。与多光谱相机相比，使用数字相机拍摄生成的数据量更少，并且成像时间大大缩短，是实现有效蓝莓检测的替代方案。
2、具有强大特征学习能力的深度学习在rgb图像中产生了许多应用。它将低级特征组合编码成更具有区分性的高级特征，可以以更高的精度解决更复杂问题。深度学习模型主要应用于目标分类、目标检测和图像分割这三个领域。目前，将深度学习方法用于蓝莓果实的研究主要集中在目标分类和检测上。但在蓝莓表型研究中通常需要精确的像素区域，仅通过检测边界框无法实现。图像分割提供了有关图像中各段的大小、形状和相对位置等信息，可用于分析表型特征，如果实大小、形状和分布。因此，有必要探索一种分割蓝莓果实的方法，以满足蓝莓表型研究中对精确果实区域的需求。
3、语义分割可以实现蓝莓果实与环境的分割，但在蓝莓果实互相重叠遮挡时不能将蓝莓果实单独分割出来，而这是蓝莓生长中的常见情况。实例分割可以有效地分割部分遮挡的蓝莓果实。该方式在像素级别定位图像中的感兴趣对象，实现目标检测和语义分割的双重效果。
4、田间拍摄的蓝莓图像具有复杂的背景且蓝莓果实生长密集互相遮挡严重，许多蓝莓
技术实现思路
1、本专利技术的目的在于，提出基于优化后混合任务级联的密集蓝莓果实实例分割方法，该方法解决了严重遮挡和复杂背景下蓝莓分割困难的问题，满足了蓝莓表型研究中对于精确像素区域的需求。
2、为实现上述目的，本申请提出的基于优化后混合任务级联的密集蓝莓果实实例分割方法，包括：
3、获取不同时间段和天气条件下具有多种遮挡情况的蓝莓果实图像；
4、使用图像标注工具labelme对所述蓝莓果实图像进行标注并划分数据集、验证集和测试集；
5、级联三个maskr-cnn来构建混合任务级联模型，交织box分支和mask分支使mask分支利用更新后的bbox信息，在所述mask分支之间添加直接信息流充分利用前一阶段的mask特征，在convnext主干网络与mask分支之间添加语义分割分支探索更多上下文信息；
6、采用convnext主干网络优化混合任务级联模型，通过多尺度训练方法改善模型的性能，混合精度训练减少内存占用加快计算，利用adamw函数优化学习策略；
7、使用标注好的蓝莓果实图像对优化的混合任务级联模型进行训练、验证和测试并评估模型性能。
8、进一步的，不同时间段为09:00-16:00的任意时间段，天气条件包括晴天和多云，多种遮挡情况包括果实之间互相遮挡、果实被叶子遮挡、果实被枝干遮挡等。
9、进一步的，使用图像标注工具labelme对所述蓝莓果实图像进行标注，具体为：
10、将蓝莓果实图像放大两倍以上，使用多边形轮廓手动勾画出每个蓝莓的边界，分为成熟蓝莓和不成熟蓝莓，蓝紫色果实被标记为成熟蓝莓，绿色、红色或深红色果实被标记为不成熟蓝莓。
11、进一步的，所述交织box分支和mask分支及特征融合方式为：
12、
13、
14、
15、
16、其中，x表示主干网络的特征，和表示x与输入roi的box和mask特征；s表示语义分割head；每个阶段的boxhead与mask head以主干网络提取的roi特征为输入；p表示池化操作，bt和mt表示第t个阶段的boxhead和maskhead，rt和mt表示box和mask的预测，表示mt-1的中间特征；表示将当前阶段与前一阶段的特征组合，gt表示1x1卷积层。
17、进一步的，多尺度训练过程中随机选择输入图像的短边大小，长边大小则根据原始图像大小等比例缩放。
18、
19、进一步的，多尺度训练中优化器学习策略为：
20、mt＝β1mt-1+(1-β1)gt
21、
22、
23、
24、其中，gt表示梯度，mt与νt表示梯度的一阶矩与二阶矩，β1与β2表示一阶矩与二阶矩的衰减因子，与表示一阶矩与二阶矩的偏差。
25、进一步的，使用iou为0.5时的平均精度对模型的性能进行评估，平均精度使用coco数据集的评测指标，通过对召回率的每个值插值得到最大精确度：
26、
27、
28、
29、
30、
31、tp表示正确检测到的蓝莓果实，fp表示错误检测到的蓝莓果实，fn表示未检测到的蓝莓果实的实际数；precision表示模型检测到的蓝莓果实中有多少是真实的蓝莓果实；recall表示模型在所有真实蓝莓果实中检测到了多少；是在召回率处的测得的精度；iou是两个边界框之间的交并比；a表示手动标记的边界框，b表示模型生成的边界框。
32、本专利技术采用的以上技术方案，与现有技术相比，具有的优点是：可以自动的在田间环境下分割蓝莓果实，采用混合级联的结构将检测任务分解为一系列的子任务从而充分利用丰富的box和mask信息。以convnext为主干网络，采用多尺度训练学习不同尺度的特征信息。基于这种方法解决了严重遮挡和复杂背景下蓝莓分割困难的问题，满足了蓝莓表型研究中对于精确像素区域的需求，有助于推动蓝莓的生产和管理。
本文档来自技高网...【技术保护点】
1.基于优化后混合任务级联的密集蓝莓果实实例分割方法，其特征在于，包括：
2.根据权利要求1所述基于优化后混合任务级联的密集蓝莓果实实例分割方法，其特征在于，不同时间段为09:00-16:00的任意时间段，天气条件包括晴天和多云，多种遮挡情况包括果实之间互相遮挡、果实被叶子遮挡、果实被枝干遮挡。
3.根据权利要求1所述基于优化后混合任务级联的密集蓝莓果实实例分割方法，其特征在于，使用图像标注工具LabelMe对所述蓝莓果实图像进行标注，具体为：
4.根据权利要求1所述基于优化后混合任务级联的密集蓝莓果实实例分割方法，其特征在于，所述交织box分支和mask分支及特征融合方式为：
5.根据权利要求1所述基于优化后混合任务级联的密集蓝莓果实实例分割方法，其特征在于，多尺度训练过程中随机选择输入图像的短边大小，长边大小则根据原始图像大小等比例缩放。
6.根据权利要求1所述基于优化后混合任务级联的密集蓝莓果实实例分割方法，其特征在于，多尺度训练中优化器学习策略为：
7.根据权利要求1所述基于优化后混合任务级联的密集蓝
...【技术特征摘要】
1.基于优化后混合任务级联的密集蓝莓果实实例分割方法，其特征在于，包括：
2.根据权利要求1所述基于优化后混合任务级联的密集蓝莓果实实例分割方法，其特征在于，不同时间段为09:00-16:00的任意时间段，天气条件包括晴天和多云，多种遮挡情况包括果实之间互相遮挡、果实被叶子遮挡、果实被枝干遮挡。
3.根据权利要求1所述基于优化后混合任务级联的密集蓝莓果实实例分割方法，其特征在于，使用图像标注工具labelme对所述蓝莓果实图像进行标注，具体为：
4.根据权利要求1所述基于优化后混合任务级联的密集蓝莓果实实例分割方法，其特征在于，所述交织...
【专利技术属性】
技术研发人员：盖荣丽，高进，刘勇，王康，王鹏飞，
申请(专利权)人：大连大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。