基于多尺度注意力机制的红熟期番茄果实采摘关键点检测方法和装置制造方法及图纸

基于多尺度注意力机制的红熟期番茄果实采摘关键点检测方法和装置，其方法包括如下步骤：包括如下步骤：对于拍摄图像进行预处理得到数据集，构建YOLOv8‑pose模型主干网络，在模型中添加LSKA注意力机制模块，使模型更加关注目标本身；修改网络结构中的neck部分，引入BiFPN模块，完成不同尺度和层次之间的双向信息流动；训练该网络模型，用训练好的模型对测试数据集进行检测。本发明专利技术提高了红熟期番茄果柄和果实检测的准确性，降低了模型出现漏检和误检的几率；解决了模型随着网络深度加深，训练的收敛速度回变慢，性能下降的问题。

【技术实现步骤摘要】

本专利技术涉及计算机视觉、深度学习、人工智能，更具体涉及红一种基于多尺度注意力机制的红熟期番茄果实采摘关键点检测方法和装置。

技术介绍

1、番茄，抓取采摘容易损害果实，番茄采摘机器人需采用剪切果柄的方式进行采摘。因此，识别番茄果实和果柄是采摘机器人的关键步骤。

2、番茄果实及剪切点检测与一般的目标检测存在着较大差异，很多目标检测方法并不完全适用于番茄果实及果柄检测，主要原因有以下几点：

3、(1)果实之间(如相邻番茄)的视觉相似度较高，番茄采摘关键点的定位容易出现误差和不确定

4、(2)自然环境下光照条件的变化，机器人运动过程中番茄果实之间存在的遮挡问题等多种复杂因素共同增加了番茄识别任务的复杂性

5、我国是一个农业大国，基于人工智能的采摘机器人可以代替人工来从事繁重的采摘劳动。传统番茄采摘劳动力需求大、操作复杂程度高、季节性强，随着中国老龄化社会问题加剧，人工成本上升的同时，果农收入下降。针对以上问题，采摘机器人的应用和推广具有重要的意义。

6、作物病害的早期检测可以有效实现作物增产，高等人提出本文档来自技高网...

【技术保护点】

1.一种基于多尺度注意力机制的红熟期番茄果实采摘关键点检测方法，包括如下步骤：

2.根据权利要求1所述的一种基于多尺度注意力机制的红熟期番茄果实采摘关键点检测方法，其特征在于，步骤1中采用BiFPN执行特征融合操作，不同的特征输入分辨率不同，对最终特征网络的输出贡献也会有所差异，所以需要让网络去学习这个weights，BiFPN实现高层和低层特征信息之间的双向跨尺度信息流动和快速归一化特征融合，具体包括：将不同层次的特征图输入BiFPN_Concat层(以BiFPN_Concat2为例)中，给定两个特征图其中C1、C2是输入通道数，H和W分别代表特征图的高度和宽度，BiFPN...

【技术特征摘要】

1.一种基于多尺度注意力机制的红熟期番茄果实采摘关键点检测方法，包括如下步骤：

2.根据权利要求1所述的一种基于多尺度注意力机制的红熟期番茄果实采摘关键点检测方法，其特征在于，步骤1中采用bifpn执行特征融合操作，不同的特征输入分辨率不同，对最终特征网络的输出贡献也会有所差异，所以需要让网络去学习这个weights，bifpn实现高层和低层特征信息之间的双向跨尺度信息流动和快速归一化特征融合，具体包括：将不同层次的特征图输入bifpn_concat层(以bifpn_concat2为例)中，给定两个特征图其中c1、c2是输入通道数，h和w分别代表特征图的高度和宽度，bifpn_concat2模块权重初始化为w＝[1,1]，给予每个输入特征图相同的初始重要性，并且每次前向传播时进行归一化,设∈＝0.0001用于防止分母归零，归一化后的权重计算公式为：

3.根据权利要求1所述的基于多尺度注意力机制的红熟期番茄果实采摘关键点检测方法，其特征在于，步骤2中获取红熟期番茄初始数据集中，采用labelme对数据进行人工标注，标记为json格式，通过脚本程序转化为txt格式；其中包括标签类别为tomato，关键点类别为p1、p1_hide、p2、p2_hide、p3和p3_hide，其中hide后缀表示关键点存在于图像中但被遮挡。

4.根据权利要求3所述的一种基于多尺度注意力机制的红熟期番茄果实采摘关键点检测方法，其特征在于，图像的输入分辨率为4000×3000。

5.根据权利要求1所述的一种基于多尺度注意力机制的红熟期番茄果实采摘关键点检测方法，其特征在于，步骤2中数据增强预处理是指采用随机旋转、翻转和添加高斯噪声中的一种或多种。

6.根据权利要求5所述的一种基于多尺度注意力机制的红熟期番茄果实采摘关键点检测方法，其特征在于，所述随机旋转具体为：选择图片顺时针随...

【专利技术属性】
技术研发人员：王涌，徐顺发，程孔昊，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：