一种基于非完整性蘑菇图像的三维空间视觉定位方法、系统及装置制造方法及图纸

本发明专利技术涉及三维空间视觉定位领域，公开了一种基于非完整性蘑菇图像的三维空间视觉定位方法、系统及装置，包括图像采集模块、测距模块、主控模块；所述图像采集模块用于采集待检测蘑菇的图像信息；所述测距模块用于测量图像采集模块与待检测蘑菇的垂直距离；所述主控模块用于对采集图像进行预处理，然后对预处理后图像中的蘑菇进行识别和定位，再对识别出的蘑菇进行完整性检测，在识别定位时，根据图像完整性分别确定图像中蘑菇的中心点，最终生成蘑菇的三维坐标。与现有技术相比，本发明专利技术所提出的方法可以实现对图像采集不完整的蘑菇进行定位以及进一步提高蘑菇的定位精度。定位以及进一步提高蘑菇的定位精度。定位以及进一步提高蘑菇的定位精度。

【技术实现步骤摘要】
一种基于非完整性蘑菇图像的三维空间视觉定位方法、系统及装置


[0001]本专利技术涉及三维空间视觉定位领域，尤其是基于非完整性蘑菇图像中定位的运用，即一种基于非完整性蘑菇图像的三维空间视觉定位方法、系统及装置。

技术介绍

[0002]近年来，蘑菇的采摘作业方式由最开始的人工采摘转向了机器人采摘的作业方式，已知较为成熟的采摘蘑菇作业方式是基于单目相机的机器人作业方式，但是基于单目相机的机器人作业方式对蘑菇定位时由于遮挡等问题定位精度仍然存在一定的偏差，而且对于图像采集不完全的蘑菇通常直接放弃定位。这样整个采摘过程的效率就大大降低了，其精度也不高，在采摘过程中可能存在漏采、错采的情况。对于采集的不完全图像，如何对蘑菇进行三维空间视觉定位，提高定位精度，是急需解决的问题。

技术实现思路

[0003]技术目的：为解决现有技术存在的问题，本专利技术提供了一种对于非完整性采集蘑菇图像的三维空间视觉定位方法、系统及装置，从定位精度和对于非完整性采集蘑菇图像的定位处理上，弥补了基于单目相机的机器人作业方式的不足。
[0004]技术方案：本专利技术1.一种基于非完整性蘑菇图像的三维空间视觉定位方法，其特征在于，包括以下步骤：
[0005]步骤1：固定拍摄高度H，进行相机标定，得到标定参数，所述相机包括左目相机和右目相机，标定参数包括内参矩阵N、外参旋转矩阵W与平移矩阵B；
[0006]步骤2：对待检测的蘑菇进行图像采集，并对所述左目相机采集的图像进行图像预处理操作；
[0007]步骤3：将预处理后的图像传入神经网络模型，识别出图像中的蘑菇并生成边界框，以确定蘑菇在图像中的位置；
[0008]步骤4：根据步骤3所生成的边界框，判断图像中各个蘑菇的完整性r，计算所测蘑菇的中心点，从而得到所测蘑菇的像素坐标，计算出蘑菇的世界坐标；
[0009]步骤5：采集左目相机到蘑菇的距离，计算所测蘑菇的高度，求得所测蘑菇的三维坐标；
[0010]步骤6：对所述右目相机采集的图像执行同样的步骤2至步骤5操作，并将右目相机采集的图像与左目相机采集的图像进行一一对应，得到与左目相机所采集的图像中蘑菇的中心点坐标O
w
的对应点O
k
，将O
k
用来微调O
w
的坐标可得到最终的三维坐标O
f
：
[0011]2.根据权利要求1所述的基于非完整性蘑菇图像的三维空间视觉定位方法，其特征在于，所述步骤2中预处理操作为：采用缩放、旋转，再进行图像增强，并获得用于网络训练的图像数据集合。
[0012]3.根据权利要求1所述的基于非完整性蘑菇图像的三维空间视觉定位方法，其特征在于，所述步骤3中使用的神经网络模型为YOLOv3网络模型，其对预处理后的图像进行识别和定位，生成图像中各个蘑菇的边界框。
[0013]4.根据权利要求1所述的基于非完整性蘑菇图像的三维空间视觉定位方法，其特征在于，所述步骤4中计算所测蘑菇中心点的具体步骤如下：
[0014]步骤4.1：根据边界框的宽e
w
与边界框的高e
h
，计算采集图像中蘑菇的完整性
[0015]步骤4.2：记左目相机采集的图像中完整性r低于0.25或高于4的蘑菇图像为伪目标，并将伪目标移除；
[0016]步骤4.3：分别将图像中的蘑菇和土壤作为图像的前景对象与背景对象，使用聚类算法K
‑
means将图像中的像素点分类为两个簇，将采集图像中的蘑菇图像从土壤图像中分离出来；
[0017]步骤4.4：对分离出来的蘑菇图像进行像素级的轮廓检测，并使用先验圆拟合蘑菇图像的轮廓，获得完整的蘑菇图像的轮廓；
[0018]步骤4.5：当采集图像中蘑菇的完整性r为1或处于(0.5，2)区间时，在蘑菇图像区域Q
ij
内进行搜索中心点O
l
，o
l
＝argmax{Q
ij
}；其中，i为搜索的行数，j为搜索的列数；否则，转步骤4.4；
[0019]步骤4.6：当采集图像中蘑菇完整性r处于(0.25，0.5)U(2，4)区间时计算对应的中心点。
[0020]5.根据权利要求4所述的基于非完整性蘑菇图像的三维空间视觉定位方法，其特征在于，所述步骤4.4中根据计算所得轮廓边缘确定蘑菇图像的轮廓包括如下步骤：
[0021]步骤4.4.1：将前景区域与边缘检测滤波器进行运算，提取采集图像中蘑菇的像素级轮廓边缘；
[0022]步骤4.4.2：根据所得轮廓边缘的每个像素作为锚点，并假设这些锚点是蘑菇的先验圆中的点，使得每个锚点对应一个先验圆；
[0023]步骤4.4.3：计算先验圆的像素数，选取各个先验圆中共有蘑菇图像区域最大的先验圆作为蘑菇图像的轮廓。
[0024]6.根据权利要求5所述的基于非完整性蘑菇图像的三维空间视觉定位方法，其特征在于，所述步骤4.6中完整性处于(0.25，0.5)U(2，4)区间具有非完整性蘑菇图像中心点的计算方法包括如下步骤：
[0025]步骤4.6.1：若蘑菇图像的完整性处于(0.25，0.5)U(2，4)区间中，则将左目相机采集的图像采用纯白色对宽和高各填充一定的像素值P，P的范围为(25，100)，以填充后的图片左上角为原点建立像素坐标系；
[0026]步骤4.6.2：在获取的蘑菇图像的轮廓边缘上任取四个锚点坐标a(a
x
，a
y
)、b(b
x
，b
y
)、c(c
x
，c
y
)、d(d
x
，d
y
)分别可得a(a
x
，a
y
)、b(b
x
，b
y
)与c(c
x
，c
y
)、d(d
x
，d
y
)的垂直平分线l1与l2计算可得两线交点O
L
(O
Lx
，O
Ly
)，即蘑菇图像中心点的像素坐标，其中：
[0027][0028][0029][0030][0031]其中，x1为l1所经过点的横坐标，，y1为l1所经过点的纵坐标，x2为l2所经过点的横坐标，，y2为l2所经过点的纵坐标；
[0032]步骤4.6.3：根据测得相机与蘑菇间的垂直距离h，进而计算可得蘑菇的高度O
wz
：
[0033]O
wz
＝H
‑
h
[0034]其中，H是固定的拍摄高度；
[0035]步骤4.6.4：通过计算可将所得中心点的像素坐标O
L
，转化为世界三维坐标O
w
：
[0036]O
w
＝W
‑1N
‑1T<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于非完整性蘑菇图像的三维空间视觉定位方法，其特征在于，包括以下步骤：步骤1：固定拍摄高度H，进行相机标定，得到标定参数，所述相机包括左目相机和右目相机，标定参数包括内参矩阵N、外参旋转矩阵W与平移矩阵B；步骤2：对待检测的蘑菇进行图像采集，并对所述左目相机采集的图像进行图像预处理操作；步骤3：将预处理后的图像传入神经网络模型，识别出图像中的蘑菇并生成边界框，以确定蘑菇在图像中的位置；步骤4：根据步骤3所生成的边界框，判断图像中各个蘑菇的完整性r，计算所测蘑菇的中心点，从而得到所测蘑菇的像素坐标，计算出蘑菇的世界坐标；步骤5：采集左目相机到蘑菇的距离，计算所测蘑菇的高度，求得所测蘑菇的三维坐标；步骤6：对所述右目相机采集的图像执行同样的步骤2至步骤5操作，并将右目相机采集的图像与左目相机采集的图像进行一一对应，得到与左目相机所采集的图像中蘑菇的中心点坐标O
w
的对应点O
k
，将O
k
用来微调O
w
的坐标可得到最终的三维坐标O
f
：2.根据权利要求1所述的基于非完整性蘑菇图像的三维空间视觉定位方法，其特征在于，所述步骤2中预处理操作为：采用缩放、旋转，再进行图像增强，并获得用于网络训练的图像数据集合。3.根据权利要求1所述的基于非完整性蘑菇图像的三维空间视觉定位方法，其特征在于，所述步骤3中使用的神经网络模型为YOLOv3网络模型，其对预处理后的图像进行识别和定位，生成图像中各个蘑菇的边界框。4.根据权利要求1所述的基于非完整性蘑菇图像的三维空间视觉定位方法，其特征在于，所述步骤4中计算所测蘑菇中心点的具体步骤如下：步骤4.1：根据边界框的宽e
w
与边界框的高e
h
，计算采集图像中蘑菇的完整性r：步骤4.2：记左目相机采集的图像中完整性r低于0.25或高于4的蘑菇图像为伪目标，并将伪目标移除；步骤4.3：分别将图像中的蘑菇和土壤作为图像的前景对象与背景对象，使用聚类算法K
‑
means将图像中的像素点分类为两个簇，将采集图像中的蘑菇图像从土壤图像中分离出来；步骤4.4：对分离出来的蘑菇图像进行像素级的轮廓检测，并使用先验圆拟合蘑菇图像的轮廓，获得完整的蘑菇图像的轮廓；步骤4.5：当采集图像中蘑菇的完整性r为1或处于(0.5，2)区间时，在蘑菇图像区域Q
ij
内进行搜索中心点O
l
，O
l
＝argmax{Q
ij
}；其中，i为搜索的行数，j为搜索的列数；否则，转步骤4.4；步骤4.6：当采集图像中蘑菇完整性r处于(0.25，0.5)∪(2，4)区间时计算对应的中心点。5.根据权利要求4所述的基于非完整性蘑菇图像的三维空间视觉定位方法，其特征在于，所述步骤4.4中根据计算所得轮廓边缘确定蘑菇图像的轮廓包括如下步骤：步骤4.4.1：将前景区域与边缘检测滤波器进行运算，提取采集图像中蘑菇的像素级轮廓边缘；
步骤4.4.2：根据所得轮廓边缘的每个像素作为锚点，并假设这些锚点是蘑菇的先验圆中的点，使得每个锚点对应一个先验圆；步骤4.4.3：计算先验圆的像素数，选取各个先验圆中共有蘑菇图像区域最大的先验圆作为蘑菇图像的轮廓。6.根据权利要求5所述的基于非完整性蘑菇图像的三维空间视觉定位方法，其特征在于，所述步骤4.6中完整性处于(0.25，0.5)U(2，4)区间具有非完整性蘑菇图像中心点的计算方法包括如下步骤：步骤4.6.1：若蘑菇图像的完整性处于(0.25，0.5)U(2，4)区间中，则将左目相机采集的图像采用纯白色对宽和高各填充一定的像素值P，P的范围为(25，100)，以填充后的图片左上角为原点建立像素坐标系；步骤4.6.2：在获取的蘑菇图像的轮廓边缘上任取四个锚点坐标a(a
x
，a
y
)、...

【专利技术属性】
技术研发人员：胡荣林，张新新，马鸿泰，董甜甜，邵鹤帅，冯万利，付浩志，刘宬邑，李鑫鑫，荆佳龙，
申请(专利权)人：卓弢机器人盐城有限公司，
类型：发明
国别省市：