【技术实现步骤摘要】
果实分割识别方法及系统、果实采摘机器人
本专利技术涉及果实采摘机器人
，具体涉及一种果实分割识别方法及系统、果实采摘机器人。
技术介绍
果实采摘机器人的真正应用，对于推动果蔬产业的生产自动化与管理智能化具有重要意义，而视觉系统作为其中最基础且重要的环节，能够在复杂果园环境下实现目标果实的精准分割，将直接关联到采摘机器人的作业质量与运行效率。自上世纪中叶智能采摘问世以来，目标果实的识别算法就吸引了众多国内外学者的关注，并已在机器学习和深度学习等技术范畴积累了一定的研究基础与成果，然而，目前的分割方法尚难以应对自然环境下存在的诸多干扰，比如果实重叠、枝叶遮挡、光照与天气变化、混合噪声及同色系背景等因素，极大限制了各模型的分割效果。因此，应进一步提升模型的检测精度与抗干扰能力，完善视觉系统的高效性与稳定性。而造成模型检测效果下降的主要原因，通常在于模型自身的特征提取能力不足，加之果园环境下存在的各种干扰，导致目标果实在形状、颜色、纹理等方面的特征发生缺失，难以支撑模型的后续步骤做出正确判断，从而误检、漏检目标果实。<...
【技术保护点】
1.一种果实分割识别方法，其特征在于，包括：/n步骤S110：采集果园环境下包含不同干扰的果实图像，并标注果实图像中的目标果实的轮廓；/n步骤S120：提取标注后的果实图像中目标果实尺度大小与目标缺失果实的特征；/n步骤S130：将步骤S120得到的特征图输送至区域候选网络，经非极大值抑制获取相同尺度的感兴趣区域；/n步骤S140：相同尺度的感兴趣区域通过两个全连接层与一个全卷积网络预测果实置信度、边框坐标与分割掩膜；/n步骤S150：计算果实置信度、边框坐标与分割掩膜与标注值之间的损失，并通过梯度回传更新网络参数，不断迭代至参数稳定，得到识别模型，对果园环境图像中的果实进行分割识别。/n
【技术特征摘要】
1.一种果实分割识别方法，其特征在于，包括：
步骤S110：采集果园环境下包含不同干扰的果实图像，并标注果实图像中的目标果实的轮廓；
步骤S120：提取标注后的果实图像中目标果实尺度大小与目标缺失果实的特征；
步骤S130：将步骤S120得到的特征图输送至区域候选网络，经非极大值抑制获取相同尺度的感兴趣区域；
步骤S140：相同尺度的感兴趣区域通过两个全连接层与一个全卷积网络预测果实置信度、边框坐标与分割掩膜；
步骤S150：计算果实置信度、边框坐标与分割掩膜与标注值之间的损失，并通过梯度回传更新网络参数，不断迭代至参数稳定，得到识别模型，对果园环境图像中的果实进行分割识别。
2.根据权利要求1所述的果实分割识别方法，其特征在于，所述步骤S120具体包括：
步骤S121：标注后的果实图像分批输入到残差网络中，通过卷积操作进行连续下采样；
步骤S122：引入特征金字塔网络，通过自上至下以及横向连接整合残差网络中的各层特征表示；
步骤S123：采样特征金字塔网络中的各层特征图至相同尺度并整合，通过高斯非局部注意力机制聚合全图信息，将聚合后的的特征表示回采样并重新融合，得到平衡后的特征金字塔，输出平衡后的特征图。
3.根据权利要求2所述的果实分割识别方法，其特征在于，所述步骤S130具体包括：
步骤S131：将平衡后的特征图输入到区域候选网络中，以特征图上每一个空间位置对应在原图上的坐标为中心，按照不同的尺寸与宽高比生成预定义锚框；
步骤S132：基于每一个锚框与所有标注框之间的交并比，判定正负样本，并生成区域候选网络的训练目标，通过分类分支与回归分支，对目标果实进行初步预测；
步骤S133：将生成的候选框通过边界剔除与非极大值抑制进行筛选，再按照置信度排序选择前N个候选框，按照一定比例选择正负样本并输入到RoIAlign层采样至相同尺寸。
4.根据权利要求3所述的果实分割识别方法，其特征在于，所述步骤S140具体包括：
步骤S141：将相同尺寸的感兴趣区域输入到两个全连接分支，分别输出每个候选框属于目标果实的概率向量，以及对应的边框偏移量；
步骤S142：与所述两个全连接分支并行一个全卷积网络实现目标果实掩膜预测，针对每个候选框分割出多维度的特征表示，并进行二值化，产生背景与前景的分割图。
5.根据权利要求4所述的果实分割识别方法，其特征在于，所述步骤S150具体包括：
将果实置信度、边框坐标与分割掩膜与标注值之间的损失相加，得到最终的损失函数，利用随机梯...
【专利技术属性】
技术研发人员：贾伟宽，张中华，邵文静，侯素娟，郑元杰，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。