一种猕猴桃实例分割的3D视觉空间定位方法技术

本发明专利技术提出了一种猕猴桃实例分割的3D空间定位方法，首先采集猕猴桃图像，构建猕猴桃实例分割数据集；然后构建Mask

【技术实现步骤摘要】
一种猕猴桃实例分割的3D视觉空间定位方法


[0001]本专利技术涉及智慧农业
，尤其涉及一种猕猴桃实例分割的3D视觉空间定位方法。

技术介绍

[0002]猕猴桃被誉为“水果之王”，其营养价值丰富，且质地柔软、口感酸甜，具有稳定情绪、降胆固醇、帮助消化、保护心脏等诸多作用。近年来，被越来越多的人所熟知和喜爱。我国是猕猴桃的原产地，是目前世界上猕猴桃种植面积最大的国家。然而，相比于新西兰、智利、意大利、法国和日本等发达国家，我国的猕猴桃种植基本集中在农村。目前，对于猕猴桃的采摘，一是主要依靠人力，其采摘自动化程度很低；二是农业劳动力正在逐年减少，呈现老年化态势，导致农业生产成本也相应提高，降低了产品的市场竞争力。随着棚架式栽培模式的推广普及，机械采摘猕猴桃的需求越来越大。智能化控制的快速发展，促进了农业机械采摘技术的提升，正在从半自动化向全自动化方向升级，而空间定位果实成了完成自动化采摘的关键步骤。
[0003]针对猕猴桃的3D视觉空间定位，国内外学者提出了许多方法，一般由猕猴桃的二维识别与三维空间定位两步完成，猕猴桃的二维识别是3D视觉空间定位的关键，主要有基于传统图像处理的方法和基于深度学习的方法。前者通过颜色特征对猕猴桃进行像素分割提取，效果往往不佳，不具普适性，并只能在单一环境下识别出猕猴桃，不能满足自然复杂环境下采摘机器人的各种应用需求。近年来，盛行的深度学习被引入到农业领域，有基于RCNN，Faster RCNN，Yolo系列等网络模型的猕猴桃检测，相比传统方法而言，识别精度更高，鲁棒性更强。然而，对于猕猴桃的二维定位坐标计算，往往将花萼部分作为识别对象。实际果园中，花萼部分的特征与猕猴桃外观颜色纹理接近，花萼部分占整个猕猴桃外观的比重较小，且容易受到果实、树叶和树枝等自然环境遮挡，导致难以乃至无法识别出花萼，给猕猴桃的智能化自动化采摘造成了极大的障碍与困难。

技术实现思路

[0004]本专利技术的目的是解决
技术介绍
中的问题，而提出的一种猕猴桃实例分割的3D视觉空间定位方法。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]一种猕猴桃实例分割的3D视觉空间定位方法，所述一种猕猴桃实例分割的3D视觉空间定位方法，包括以下步骤：
[0007]步骤1：采集猕猴桃的原始图像，并建设猕猴桃实例分割数据集；
[0008]步骤2：构造Mask
‑
RCNN网络结构，利用步骤1的数据集训练Mask
‑
RCNN网络模型，进而对猕猴桃图像进行实例分割，形成若干个猕猴桃彩色实例像素点群；
[0009]步骤2.1：构造Mask
‑
RCNN网络结构，该结构包括主干特征提取模块(RPN)、特征融合模块(FPN)和联合实例语义分割模块(Network Heads)；其中，FPN同时利用低层特征高分
辨率和高层特征的高语义信息，通过融合不同层的特征达到预测的效果；Network Heads模块包括3个分支，分别是分类、回归和mask，该模块实现了mask和class预测的关系的解耦，用以生成实例预测。
[0010]步骤2.2：对步骤2.1构造Mask
‑
RCNN网络结构，采用步骤1建设的猕猴桃数据集进行模型训练与参数寻优。
[0011]步骤2.3：利用步骤2.2寻优完成的网络模型对猕猴桃数据集以外的猕猴桃图像进行实例分割推理，形成若干个猕猴桃实例像素点群。
[0012]步骤3：对步骤2实例分割的单个猕猴桃实例像素群，采用像素点二维坐标记作K
m
＝[x
n
,y
n
]，m＝1,2,
…
,M，n＝1,2,
…
,N，计算该实例像素点群的二维质心坐标KC
m
＝[x
c_m
,y
c_m
]，将其作为猕猴桃采摘的二维像素定位坐标：
[0013][0014]式中：[x
n
,y
n
]表示单个猕猴桃实例像素点群中X和Y两个方向上的第n个二维坐标，N为单个猕猴桃实例中包含像素点的总数；m为第m个猕猴桃实例；M表示所有单个猕猴桃实例的个数。
[0015]步骤4：对步骤3的单个猕猴桃的二维定位坐标，利用基于主动的双目立体视觉原理计算相机坐标系下的采摘点3D视觉空间坐标，记作KSC
m
＝[x
sc_m
,y
sc_m
,z
sc_m
]，m＝1,2,
…
,M，则：
[0016][0017]可简化为：
[0018][0019]式中：[x
sc_m
,y
sc_m
,z
sc_m
]表示单个猕猴桃实例像素点中X、Y和Z三个方向上的第sc_m个坐标，[x
n
,y
n
]表示单个猕猴桃实例像素点中X和Y两个方向上的第n个坐标，[x
c_m
,y
c_m
]为单个猕猴桃实例的二维定位坐标，(f
x
,f
y
)为计算机图像平面坐标系中水平和垂直方向上的有效焦距，λ为不确定因子，A为相机成像的内部参数矩阵。
[0020]步骤5：按照步骤4的3D视觉空间定位坐标计算方式，依次完成单张猕猴桃图像中所有单个猕猴桃实例的3D视觉空间坐标计算，可表达为：
[0021]KC＝{KC1,KC2,
…
,KC
m
,
…
,KC
M
}
[0022]式中：KC表示单张猕猴桃图像中所有单个猕猴桃实例的空间定位坐标集合。
[0023]本专利技术的有益效果与上述技术相比在于：
[0024]1、模型一旦训练好无须再调节，比传统方法的众多人为调节的参数相比简单易操
作。
[0025]2、模型泛化能力较强，即使测试图像与训练集相差交大，处理效果也令人满意。
[0026]3、可以并行处理，即可同时处理多张图像，大大提升了处理效率。
[0027]4、采用猕猴桃实例分割的质心坐标作为采摘点的定位坐标，优于猕猴桃花萼确定的采摘点坐标，且可适应复杂多变的果园环境，可靠性高。
[0028]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0029]图1猕猴桃实例分割的3D视觉空间定位方法流程图；
[0030]图2部分猕猴桃实例分割的标注数据集；
[0031]图3单幅猕猴桃图像实例分割结果与部分猕猴桃编号。
具体实施方式
[0032]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种猕猴桃实例分割的3D视觉空间定位方法，其特征在于：采用以下步骤：步骤1：采集猕猴桃的原始图像，并构建猕猴桃的实例分割数据集；步骤2：构造Mask
‑
RCNN网络结构，利用步骤1的数据集训练Mask
‑
RCNN网络模型，进而对猕猴桃图像进行实例分割推理，形成若干个猕猴桃的实例，获取单个猕猴桃实例像素点二维坐标数据；步骤3：对步骤2实例分割的单个猕猴桃的二维像素点群，计算该二维像素点群的质心坐标，将其记作猕猴桃的二维像素定位坐标；步骤4：对步骤3计算的单个猕猴桃二维像素定位坐标，利用双目立体视觉原理进行三维空间坐标转换，即完成一个猕猴桃的视觉空间定位。2.根据权力要求1所述的一种猕猴桃实例分割的视觉空间定位方法，其特征在于：步骤1中建立猕猴桃数据集的过程为：步骤1.1：使用Labelimg软件对猕猴桃图像进行单个猕猴桃的描画，打标签标注，并以*.json文件格式保存；步骤1.2：对步骤1.1的*.json文件，采用镜像...

【专利技术属性】
技术研发人员：卢津，范梦雨，孔宪光，孙巍，孙宜君，孙伟，
申请(专利权)人：智秦西安科技产业发展有限公司，
类型：发明
国别省市：