本发明专利技术提供了一种成熟果实识别和采摘点定位方法及装置，该方法包括：获取包含有目标果实的二维图像；获取训练完备的目标识别模型，并基于所述训练完备的目标识别模型对二维图像中的果实进行识别并判断果实的成熟度，同时对成熟果实的采摘点进行识别确定成熟果实的采摘点；构建立体算法模型，基于所述立体算法模型以及所述二维图像中成熟果实的采摘点进行坐标转换后得到果实采摘点图像的三维空间坐标。本发明专利技术通过深度学习能够提高对果实采摘点识别以及采摘点坐标的精确确定，大大提高了采摘效率。了采摘效率。了采摘效率。
【技术实现步骤摘要】
一种成熟果实识别和采摘点定位方法及装置
[0001]本专利技术属于智能采摘以及机器图像处理
，尤其涉及一种成熟果实识别和采摘点定位方法及装置。
技术介绍
[0002]果实的智能化采摘可以明显提高果实采摘的效率，果实而的采摘点的定位是实现果实智能化采摘的基础。目前对果实的采摘点定位的研究主要有两种方法。
[0003]一种是传统分割算法下，基于阈值法或结合颜色信息特征和边缘距离识别果实，并进一步确定果实的采摘点，定位二维采摘点,此方法泛化能力较低，对于光照、拍摄角度、背景的要求较高，自然背景下对于果实的精确识别与定位的效果并不理想。
[0004]另一种是基于深度学习的算法，利用目标检测算法识别定位出果实，结合骨架提取法确定采摘点的二维坐标，但利用的目标检测算法基本上都是水平框，并不利于对果实采摘点进行精确的识别定位,尤其是后续再进行的骨架提取确定采摘点，大大加长了任务的时间，且精确度不高。
[0005]因此，本专利技术提供需要一种成熟果实识别和采摘点定位方法及装置用于解决现有技术方案采摘点识别和定位精度不高的问题。
技术实现思路
[0006]有鉴于此，为解决现有技术方案采摘点识别和定位精度不高的问题，有必要提供一种成熟果实识别和采摘点定位方法及装置提高果实采摘点识别和定位的精度问题。
[0007]为达到上述目的，本专利技术提供了以下技术方案
[0008]一种成熟果实识别和采摘点定位方法，包括：
[0009]获取包含有目标果实的二维图像；
[0010]获取训练完备的目标识别模型，并基于所述训练完备的目标识别模型对二维图像中的果实进行识别并判断果实的成熟度，同时对成熟果实的采摘点进行识别确定成熟果实的采摘点；
[0011]构建立体算法模型，基于所述立体算法模型以及所述二维图像中成熟果实的采摘点进行坐标转换后得到果实采摘点图像的三维空间坐标。
[0012]在一些可能实现的方式中，所述目标识别模型为基于Yolox网络模型改进的Yolox网络模型；
[0013]所述改进的Yolox网络模型包括特征提取主干模块、注意力机制模块、特征提取金字塔模块以及改进的特征检测头模块。
[0014]在一些可能实现的方式中，基于所述训练完备的目标识别模型对二维图像中的果实进行识别并判断果实的成熟度，同时对成熟果实的采摘点进行识别确定成熟果实的采摘点，包括：
[0015]将所述包含有目标果实的二维图像输入到特征提取主干模块进行特征提取得到
第一目标特征图；
[0016]基于第一目标特征图片和注意力机制模块确定带有注意力信息的第二目标特征图；
[0017]通过特征提取金字塔模块对所述第二目标特征进行特征提取以及特征融合得到目标特征图；
[0018]根据目标特征图通过特征检测头模块识别二维图像中的果实别并判断果实的成熟度，同时确定成熟果实的采摘点。
[0019]在一些可能实现的方式中，所述特征提取主干模块包括Focus结构和CSPDarknet结构；所述CSPDarknet结构包括：CBL模块、第一CSP1
‑
X模块、第二CSP1
‑
X模块、第一CSP
‑
res8模块、第二CSP
‑
res8模块、第一Nonlinear mapping模块和第二Nonlinear mapping模块；将所述包含有目标果实采摘点的二维图像输入到特征提取主干模块进行特征提取得到第一目标特征图，包括：
[0020]将有目标果实采摘点的二维图像输入到Focus结构后，对第一目标特征图行和列的方向进行隔像素抽取，组成新的特征层，每个特征图重组为4个特征层，然后将4个特征层进行堆叠，将输入通道扩展为4倍进行输出得到Focus目标特征图；
[0021]将Focus目标特征图输入至CSPDarknet结构，Focus目标特征图依次进过CBL模块、第一CSP1
‑
X模块、第二CSP1
‑
X模块、第一CSP
‑
res8模块、第二CSP
‑
res8模块、第一Nonlinear mapping模块和第二Nonlinear mapping模块处理得到第一目标特征图。
[0022]在一些可能实现的方式中，所述注意力机制模块包括第一注意力机制子模块、第二注意力机制子模块和第二注意力机制子模块是三个一样的注意力机制子模块，所述注意力机制子模块，包括依次连接的全局平均池化层、Concat函数层、第一1*1的卷积层、第一激活函数层、第二1*1的卷积层、第二激活函数层；
[0023]所述基于第一目标特征图片和注意力机制模块确定带有注意力信息的第二目标特征图，包括：
[0024]基于所述全局平均池化层进行池化操作得到宽方向特征图和高方向特征图；
[0025]基于所述Concat函数层将宽方向特征图和高方向特征图进行合并得到合并特征图；
[0026]基于第一1*1的卷积层进行对合并特征图进行降维得到降维后的合并特征图；
[0027]基于所述第一激活函数层确定宽方向特征图和高方向的特征图的第一注意力权重；
[0028]基于所述第二1*1的卷积层将宽方向特征图和高方向的特征图恢复到原本的维度；
[0029]基于第二激活函数确定恢复到原本维度的宽方向特征图和高方向的特征图第二注意力权重；
[0030]根据第一注意力权重和第二注意力权重对第一目标特征图片进行加权操作，获得带有注意力信息的第二标特征图。
[0031]在一些可能实现的方式中，所述特征提取金字塔模块，包括由三个特征层组成的FPN网络，所述FPN网络包括第一FPN网络特征层、第二FPN网络特征层和第三FPN网络特征层；
[0032]所述通过特征提取金字塔模块对所述第二目标特征图进行特征提取以及特征融合得到目标特征图，包括：
[0033]将第一注意力机制子模块的输出作为输入，输入到第一FPN网络特征层得到第一FPN网络特征；
[0034]将第二注意力机制子模块的输出作为输入，输入到第二FPN网络特征层第二FPN网络特征；
[0035]将第三注意力机制子模块的输出作为输入，输入到第三FPN网络特征层第三FPN网络特征；
[0036]基于第一FPN网络特征、第一FPN网络特征和第三FPN网络特征得到目标特征图。
[0037]在一些可能实现的方式中，所述特征检测头模块包括第一检测头、第二检测头和第三检测头；
[0038]根据目标特征图通过特征检测头模块识别二维图像中的果实别并判断果实的成熟度，同时确定成熟果实的采摘点，包括：
[0039]根据所述目标特征图带有的特征信息，通过第一检测头识别果实是否成熟；
[0040]根据所述目标特征图带有的特征信息，通过第二检测头的识别果实中成熟果实的采摘点；
[0041]根据所述目标特征图带有的特征信息，通过本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种成熟果实识别和采摘点定位方法，其特征在于，包括：获取包含有目标果实的二维图像；获取训练完备的目标识别模型，并基于所述训练完备的目标识别模型对二维图像中的果实进行识别并判断果实的成熟度，同时对成熟果实的采摘点进行识别确定成熟果实的采摘点；构建立体算法模型，基于所述立体算法模型以及所述二维图像中成熟果实的采摘点进行坐标转换后得到果实采摘点图像的三维空间坐标。2.根据权利要求1所述一种成熟果实识别和采摘点定位方法，其特征在于，所述目标识别模型为基于Yolox网络模型改进的Yolox网络模型；所述改进的Yolox网络模型包括特征提取主干模块、注意力机制模块、特征提取金字塔模块以及改进的特征检测头模块。3.根据权利要求2所述的一种成熟果实识别和采摘点定位方法，其特征在于，基于所述训练完备的目标识别模型对二维图像中的果实进行识别并判断果实的成熟度，同时对成熟果实的采摘点进行识别确定成熟果实的采摘点，包括：将所述包含有目标果实的二维图像输入到特征提取主干模块进行特征提取得到第一目标特征图；基于第一目标特征图片和注意力机制模块确定带有注意力信息的第二目标特征图；通过特征提取金字塔模块对所述第二目标特征进行特征提取以及特征融合得到目标特征图；根据目标特征图通过特征检测头模块识别二维图像中的果实别并判断果实的成熟度，同时确定成熟果实的采摘点。4.根据权利要求3所述的一种成熟果实识别和采摘点定位方法，其特征在于，所述特征提取主干模块包括Focus结构和CSPDarknet结构；所述CSPDarknet结构包括：CBL模块、第一CSP1
‑
X模块、第二CSP1
‑
X模块、第一CSP
‑
res8模块、第二CSP
‑
res8模块、第一Nonlinear mapping模块和第二Nonlinear mapping模块；将所述包含有目标果实采摘点的二维图像输入到特征提取主干模块进行特征提取得到第一目标特征图，包括：将有目标果实采摘点的二维图像输入到Focus结构后，对第一目标特征图行和列的方向进行隔像素抽取，组成新的特征层，每个特征图重组为4个特征层，然后将4个特征层进行堆叠，将输入通道扩展为4倍进行输出得到Focus目标特征图；将Focus目标特征图输入至CSPDarknet结构，Focus目标特征图依次进过CBL模块、第一CSP1
‑
X模块、第二CSP1
‑
X模块、第一CSP
‑
res8模块、第二CSP
‑
res8模块、第一Nonlinear mapping模块和第二Nonlinear mapping模块处理得到第一目标特征图。5.根据权利要求3所述一种成熟果实识别和采摘点定位方法，其特征在于，所述注意力机制模块包括第一注意力机制子模块、第二注意力机制子模块和第二注意力机制子模块是三个一样的注意力机制子模块，所述注意力机制子模块，包括依次连接的全局平均池化层、Concat函数层、第一1*1的卷积层、第一激活函数层、第二1*1的卷积层、第二激活函数层；所述基于第一目标特征图片和注意力机制模块确定带有注意力信息的第二目标特征图，包括：基于所述全局平均池化层进行池化操作得到宽方向特征图和高方向特征图；...
【专利技术属性】
技术研发人员：刘唯真，曾淇，袁晓辉，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。