基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法技术

本发明专利技术涉及基于注意力机制和改进PV‑RCNN网络的枸杞枝条识别定位方法，与现有技术相比解决了由于枸杞枝条被遮挡、断点、重叠等原因致使二维图像难以精准识别的缺陷。本发明专利技术包括以下步骤：训练样本的收集和预处理；三维点云的体素化处理；构建枸杞枝条及其关键点检测网络；训练枸杞枝条及其关键点检测网络；待识别枸杞枝条图像的收集和预处理；枸杞枝条的识别和定位。本发明专利技术能够补充在体素化和稀疏3D卷积网络中进行卷积运算丢失的大量定位信息，同时依据注意力网络获得相关点对于目标检测的贡献程度和精修网络中特征增强来提高枸杞枝条和枝条末端关键点检测的精准性，实现了枸杞枝条的准确识别定位。

【技术实现步骤摘要】
基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法
本专利技术涉及枸杞采收
，具体来说是基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法。
技术介绍
随着枸杞种植面积不断扩大，枸杞的采摘成为制约枸杞产业持续发展的卡脖子问题。由于国内外市场并没有技术较成熟的采摘机械，所以枸杞的采收主要依靠于人工完成，但人工采收枸杞的效率仅为3-5kg/h，所需费用达到生产成本的50％以上。研制适应于我国国情的枸杞采收机械，对降低所需成本、提高农民收入、保障枸杞产业稳态持续发展具有重大意义。各种枸杞采收机械均依赖于操作人员的主观判断操作，利用枸杞采收夹持装置夹住枸杞枝条，对枸杞枝条进行摆动或梳刷，效率较为低下。而枸杞果实的数量比较多、体积较小，采摘时存在树叶和枝条对果实的遮挡，致使枸杞枝条的准确识别与定位在二维图像下难以精准识别。若能利用基于三维点云数据(三维点云数据可以获得目标的空间维度、分布特征以及三维形态等具体空间信息)的计算机识别技术准确地识别和判断枸杞枝条的位置及其枝条末端关键点的坐标，根据枝条的位置和走势及其枝条末端关键点坐标利用机械臂将其定点抓起进行枸杞高效率采摘，不仅可以提高枸杞采摘效率、采净率而且能够最大程度地降低对枸杞的损伤以及对树的保护而不被损坏。然而，目前对枸杞枝条的检测仍以二维图像为主，但自然环境复杂以及存在遮挡、断点、重叠等问题，故很难利用二维图像直接判断枝条的位置。因此，如何提高枸杞枝条检测的精准性已成为当前亟待解决的关键技术问题。
技术实现思路
本专利技术的目的是为了解决现有技术中由于枸杞枝条被遮挡、断点、重叠等原因致使二维图像难以精准识别的缺陷，提供一种基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法来解决上述问题。为了实现上述目的，本专利技术的技术方案如下：基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法，包括以下步骤：训练样本的收集和预处理：通过双目相机获取枸杞树不同角度的20张图像，构建三维模型获得三维点云，对三维点云进行标注，对枝条末端关键点建立半径为r的球体作标注；三维点云的体素化处理：将三维点云经过VolexNet网络进行体素化处理，形成多个栅格；其中，点云输入区域的大小为(L,W,H)，每个栅格的大小为(l,w,h)，共有栅格个数为(L/l,W/w,H/h)，每个栅格中点云数量设置为8；构建枸杞枝条及其关键点检测网络：基于PV-RCNN网络构建枸杞枝条及其关键点检测网络，并在枸杞枝条及其关键点检测网络的PV-RCNN内融合注意力机制获得枸杞枝条及关键点目标定位的精修网络；训练枸杞枝条及其关键点检测网络：利用训练样本对枸杞枝条以其关键点检测网络进行训练；待识别枸杞枝条图像的收集和预处理：获取双目相机拍摄的待识别枸杞树不同角度的20张图像，利用已构建的三维模型获得待识别的三维点云，并对待识别的三维点云进行体素化处理；枸杞枝条的识别和定位：将处理后待识别的三维点云数据输入训练后的枸杞枝条及其关键点检测网络，获得枸杞枝条和枝条末端关键点位置，实现枸杞枝条的识别与定位。所述构建枸杞枝条及其关键点检测网络包括以下步骤：基于PV-RCNN网络构建枸杞枝条及其关键点检测网络，设定其输入层为：枸杞枝条三维点云进行体素化后的诸多栅格和枝条末端关键点半径为r的球体；设定其特征提取层为：利用稀疏3D卷积网络对输入栅格及其关键点半径为r的球体进行多尺度逐层特征提取；对利用FPS选取的相关点通过基于注意力机制的PointNet网络进行点云的特征提取；在枸杞枝条及其关键点检测网络PV-RCNN内构建融合注意力机制的精修网络：基于注意力机制构建枸杞枝条及其关键点目标候选框的精准定位网络，作为目标回归精修网络；设定基于改进PV-RCNN网络枸杞枝条及其关键点检测网络的输出层为枸杞枝条位置及其枝条末端关键点坐标。所述训练枸杞枝条及其关键点检测网络包括以下步骤：将诸多栅格和关键点半径为r的球体输入3D稀疏卷积神经网络中进行逐层特征提取；稀疏卷积神经网络由四层C1、C2、C3、C4，3×3×3的3D稀疏卷积组成，逐层进行特征提取；将C4特征图转换成俯视特征图，俯视特征图的大小为根据特征图大小由RPN网络生成个anchorboxes，角度分别为0度、45度、135度，通过NMS非极大值抑制操作生成3Dproposal，最终获得3Dproposal对应的类别和坐标位置；利用FPS选取的k个相关点并通过基于注意力机制的PointNet网络进行点云的特征提取；目标回归精修网络的训练：将3Dproposals对应的俯视图特征和k个相关点权重特征Fi′进行级联；再利用Fusion模型对级联后的结果和3Dproposals卷积产生的注意力特征相乘进行融合；最后通过多层感知机获得精修的边界框3Dbox精确位置；在训练过程中进行损失函数的训练：损失函数包括RPN的多任务目标损失函数LRPN和回归框精修损失函数LREFINE。所述的利用FPS选取的k个相关点并通过基于注意力机制的PointNet网络进行点云的特征提取包括以下步骤：利用FPS算法从三维点云中选取k个相关点，其公式如下：κ＝{p1，p2,…,pk}；每一个相关点pi的特征表示如下：其中i＝1，2，3，...，k；其中，为每一层3D稀疏卷积上产生的特征图，c＝1，2，3，4；是三维点云通过SA模型计算的第i个相关点pi特征；是对俯视图利用双线性插值获得的特征；计算相关点pi的特征Fi的权重如下：F′i＝Λ(pi)⊙Fii＝1，2，3，...，k；其中，Λ(·)∈[0，1]为注意力网络，其值代表对应输入相关点的注意力向量，即该相关点的重要程度，Fi是相关点pi的特征。所述在训练过程中进行损失函数的训练包括以下步骤：训练多任务目标损失函数LRPN，该损失函数包括分类任务损失函数Lcls；目标回归框损失函数Lboxreg；关键点回归损失函数Lkeyreg：：当IoU＞0.6时，anchor被认为是正样本；当IoU＜0.45时，anchor被认为是负样本；其表达式如下：LRPN＝Lcls+Lboxreg+Lkeyreg；分类任务的损失函数Lcls，其表达式如下：其中，Lcls(x，y)＝-(xlog(y)+(1-x)log(1-y))，N+表示正样本个数，N-表示负样本个数；目标回归框损失函数Lboxreg，其表达式如下：其中，令σ＝2；训练关键点回归损失函数Lkeyreg，其表达式如下：其中，是标记的关键点坐标，f(xi)预测的关键点坐标；训练包括枝条目标框和关键点目标框的3Dbox回归框精修损失函数LREFINE，其表达式如下：其中，是标记的目标框，3Db本文档来自技高网...

【技术保护点】
1.一种基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法，其特征在于，包括以下步骤：/n11)训练样本的收集和预处理：通过双目相机获取枸杞树不同角度的20张图像，构建三维模型获得三维点云，对三维点云进行标注，对枝条末端关键点建立半径为r的球体作标注；/n12)三维点云的体素化处理：将三维点云经过VolexNet网络进行体素化处理，形成多个栅格；其中，点云输入区域的大小为(L，W，H)，每个栅格的大小为(l，w，h)，共有栅格个数为(L/l，W/w，H/h)，每个栅格中点云数量设置为8；/n13)构建枸杞枝条及其关键点检测网络：基于PV-RCNN网络构建枸杞枝条及其关键点检测网络，并在枸杞枝条及其关键点检测网络的PV-RCNN内融合注意力机制获得枸杞枝条及关键点目标定位的精修网络；/n14)训练枸杞枝条及其关键点检测网络：利用训练样本对枸杞枝条以其关键点检测网络进行训练；/n15)待识别枸杞枝条图像的收集和预处理：获取双目相机拍摄的待识别枸杞树不同角度的20张图像，利用已构建的三维模型获得待识别的三维点云，并对待识别的三维点云进行体素化处理；/n16)枸杞枝条的识别和定位：将处理后待识别的三维点云数据输入训练后的枸杞枝条及其关键点检测网络，获得枸杞枝条和枝条末端关键点位置，实现枸杞枝条的识别与定位。/n...

【技术特征摘要】
1.一种基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法，其特征在于，包括以下步骤：
11)训练样本的收集和预处理：通过双目相机获取枸杞树不同角度的20张图像，构建三维模型获得三维点云，对三维点云进行标注，对枝条末端关键点建立半径为r的球体作标注；
12)三维点云的体素化处理：将三维点云经过VolexNet网络进行体素化处理，形成多个栅格；其中，点云输入区域的大小为(L，W，H)，每个栅格的大小为(l，w，h)，共有栅格个数为(L/l，W/w，H/h)，每个栅格中点云数量设置为8；
13)构建枸杞枝条及其关键点检测网络：基于PV-RCNN网络构建枸杞枝条及其关键点检测网络，并在枸杞枝条及其关键点检测网络的PV-RCNN内融合注意力机制获得枸杞枝条及关键点目标定位的精修网络；
14)训练枸杞枝条及其关键点检测网络：利用训练样本对枸杞枝条以其关键点检测网络进行训练；
15)待识别枸杞枝条图像的收集和预处理：获取双目相机拍摄的待识别枸杞树不同角度的20张图像，利用已构建的三维模型获得待识别的三维点云，并对待识别的三维点云进行体素化处理；
16)枸杞枝条的识别和定位：将处理后待识别的三维点云数据输入训练后的枸杞枝条及其关键点检测网络，获得枸杞枝条和枝条末端关键点位置，实现枸杞枝条的识别与定位。


2.根据权利要求1所述的基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法，其特征在于，所述构建枸杞枝条及其关键点检测网络包括以下步骤：
21)基于PV-RCNN网络构建枸杞枝条及其关键点检测网络，设定其输入层为：枸杞枝条三维点云进行体素化后的诸多栅格和枝条末端关键点半径为r的球体；
22)设定其特征提取层为：利用稀疏3D卷积网络对输入栅格及其关键点半径为r的球体进行多尺度逐层特征提取；对利用FPS选取的相关点通过基于注意力机制的PointNet网络进行点云的特征提取；
23)在枸杞枝条及其关键点检测网络PV-RCNN内构建融合注意力机制的精修网络：基于注意力机制构建枸杞枝条及其关键点目标候选框的精准定位网络，作为目标回归精修网络；
24)设定基于改进PV-RCNN网络枸杞枝条及其关键点检测网络的输出层为枸杞枝条位置及其枝条末端关键点坐标。


3.根据权利要求1所述的基于注意力机制和改进PV-RCNN网络的枸杞枝条识别定位方法，其特征在于，所述训练枸杞枝条及其关键点检测网络包括以下步骤：
31)将诸多栅格和关键点半径为r的球体输入3D稀疏卷积神经网络中进行逐层特征提取；
稀疏卷积神经网络由四层C1、C2、C3、C4，3×3×3的3D稀疏卷积组成，逐层进行特征提取；
将C4特征图转换成俯视特征图，俯视特征图的大小为
根据特征图大小由RPN网络生成个anchorboxes，角度分别为0度、45度、135度，通过NMS非极大值抑制操作生成3Dproposa]，...

【专利技术属性】
技术研发人员：李伟，贾秀芳，王红艳，王儒敬，黄河，孙丙宇，李娇娥，胡宜敏，金洲，
申请(专利权)人：中国科学院合肥物质科学研究院，西部电子商务股份有限公司，
类型：发明
国别省市：安徽;34