基于改进SOLO网络的果实识别方法、装置及果实采摘机器人制造方法及图纸

本发明专利技术提供一种基于改进SOLO网络的果实识别方法、装置及果实采摘机器人，属于果实采摘机器人技术领域，获取果园环境中的果树照片；将果树照片输入到基于改进SOLO网络的识别模型中，确定所述果树照片中是否有果实；其中，所述基于改进SOLO网络的识别模型为使用多组数据通过机器学习训练得出；所述多组数据中的每组数据均包括：有果实的照片和标识该照片有果实的标注信息。本发明专利技术基于改进SOLO网络的果实识别方法，解决了采摘机器人的视觉系统果实分割效率较差的问题，其方法简单、实践速度快，能够得到相对精准的分割结果，适用于采摘机器人的实时作业。人的实时作业。人的实时作业。

【技术实现步骤摘要】
基于改进SOLO网络的果实识别方法、装置及果实采摘机器人


[0001]本专利技术涉及果实采摘机器人
，具体涉及一种基于改进SOLO网络的果实识别方法、装置及果实采摘机器人。

技术介绍

[0002]我国水果产量稳居全球第一，但仍以人工采摘为主。随着人口城镇化、老龄化趋势加剧，社会生产中的人工成本日益攀升，研发一种水果采摘机器人代替人工进行采摘，不仅可以提高劳动效率，增加经济效益，也对促进农业机械的智能化发展具有较强的现实意义。
[0003]实现目标果实的快速、精准分割，直接影响着采摘机器人可靠性与实时性。目标物的精准分割是视觉系统的关键所在。绿色果实的采摘是不可忽视的一部分，也是果实精准分割的难点。
[0004]由于果实生长环境的复杂性，传统的机器视觉方法只能解决单一的分割任务，有一定的局限性，不满足在复杂果园环境下精准分割的要求。近几年深度卷积神经网络在目标分割领域显示出巨大的优越性，深度神经网络可以实现对其目标高维特征的高度提取，省去了传统视觉算法的很多复杂操作。虽然取得了一定的进展，但这些方法还是存在一些问题：需要大量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进SOLO网络的果实识别方法，其特征在于，包括：获取果园环境中的果树照片；将果树照片输入到基于改进SOLO网络的识别模型中，确定所述果树照片中是否有果实；其中，所述基于改进SOLO网络的识别模型为使用多组数据通过机器学习训练得出；所述多组数据中的每组数据均包括：有果实的照片和标识该照片有果实的标注信息。2.根据权利要求1所述的基于改进SOLO网络的果实识别方法，其特征在于，基于改进SOLO网络的识别模型的训练包括：采集果园环境中果实的图像，并对果实的图像进行预处理和标注，作为原始数据集；构建SOLO基础网络；根据果实的识别需求，对SOLO基础网络进行优化，将主干网络替换为ResNeSt网络，得到改进的SOLO网络；利用所述原始数据集在PyTorch框架下对优化后的SOLO基础网络进行训练和测试，得到所述基于改进SOLO网络的识别模型。3.根据权利要求2所述的基于改进SOLO网络的果实识别方法，其特征在于，构建SOLO基础网络包括：搭建SOLO基础网络，构造类别和实例掩码两个分支；借助类别分支预测语义类别，将果实图像划分为S
×
S个网格，对于每个网格，SOLO预测C维输出，C表示类别数，输出空间为S
×
S
×
C；若网格落入任何真值掩码的中心区域，将该网格视为正样本；在语义类别预测的同时，实例掩码分支生成相应的果实图像中果实的实例预测掩码；实例预测掩码的输出维数为H1×
W1×
S2，H1表示图像的高度，W1表示图像的宽度，S2表示果实图像的S
×
S个网格的实例预测掩码的个数；在语义类别和与语义类别无关的实例掩码之间，建立一对一的对应关系；构造SOLO总损失函数：L＝L
cate
+λL
mask
；其中，λ表示超参数，L
cate
表示类别分支的损失函数FocalLoss，L
mask
表示实例掩码分支的损失函数；实例掩码分支的损失函数为：其中，索引i＝[k/S]，j＝kmodS，mod表示取模运算，索引顺序是从上到下，从左往右产生；N
pos
表示正样本的数量；p
*
表示网格网格的语义类别，m
*
表示网格的实例掩码；∏表示指标函数，如果则为1，否则为0；d
mask
采用的是Dice Loss函数。4.根据权利要求2所述的基于改进SOLO网络的果实识别方法，其特征在于，对SOLO基础网络进行优化包括：以残差网络ResNet样式堆叠分离注意力块Split
‑

【专利技术属性】
技术研发人员：贾伟宽，李倩雯，孟虎，郑元杰，赵艳娜，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：