一种柑橘识别定位方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种柑橘识别定位方法、装置、设备及存储介质，所述方法包括：将采集的图像输入YOLOV4网络，利用YOLOV4网络获取柑橘中心在像素坐标中的位置信息；相机的内参标定；相机与激光雷达的外参标定；结合所求内参与外参将点云与图像融合，利用坐标变换矩阵将点云投影到图像上；找到目标柑橘对应的点云获得其深度值信息，完成柑橘的定位；本发明专利技术的优点在于：对柑橘的识别精度较高，定位过程计算量小，保证定位精度和实时性。保证定位精度和实时性。保证定位精度和实时性。

【技术实现步骤摘要】
一种柑橘识别定位方法、装置、设备及存储介质


[0001]本专利技术涉及计算机视觉/多传感器数据融合
，更具体涉及一种柑橘识别定位方法、装置、设备及存储介质。

技术介绍

[0002]柑橘的识别与定位是采摘机器人实现自动化采摘的重要部分，其主要分成两个部分：目标检测、目标定位。随着深度学习的发展和应用，基于深度学习的目标检测网络应运而生。在目标检测方面，传统的柑橘识别依赖于颜色空间的转换和图像分割聚类，以区分柑橘果实和背景，这类方法对复杂场景下遮挡严重的柑橘检测精度较差。采用卷积神经网络自动提取目标区域特征信息，可以适应复杂的自然环境，具有更强的泛化能力，但卷积神经网络在目标检测中通常运行较慢，很难做到检测速度和检测精度的平衡。在目标定位方面，获取目标位置信息多采用双目相机利用视差计算距离方法。但双目相机对环境光照过于敏感，不适用于单调缺乏纹理的场景，且计算复杂度高，精度和实时性难以得到保证。
[0003]例如，中国专利公开号CN109711317A，公开的基于区域特征的成熟柑橘果实及枝叶的分割识别方法，首先以彩色图像的颜色特征生成特征向量，并使用特征映射表对颜色特征进行特征降维，以减少特征向量的维度；然后通过采摘机器人工作空间、双目摄像机视场大小以及柑橘果实大小，来确定目标物的ROI大小，将R、B通道中目标范围像素点数量占比大小作为选出ROI的依据；最终对得到的多个初选ROI中重合度较大的ROI进行分数排序，选择最大分数的ROI作为最佳分割识别区域。该专利申请的试验结果表明，在光线变化的条件下该方法对柑橘果实、背景和枝叶综合识别精度达到94％，单张分割时间达到0.2s，满足实时性要求。但是该专利申请依赖于颜色空间的转换和图像分割聚类，以区分柑橘果实和背景，对复杂场景下遮挡严重的柑橘检测精度较差，获取目标位置信息采用双目相机利用视差计算距离方法，但双目相机对环境光照过于敏感，不适用于单调缺乏纹理的场景，且计算复杂度高，精度和实时性难以得到保证。

技术实现思路

[0004]本专利技术所要解决的技术问题在于现有技术柑橘识别定位方法对复杂场景下遮挡严重的柑橘识别精度较差，定位过程计算复杂度高，定位精度和实时性难以得到保证的问题。
[0005]本专利技术通过以下技术手段实现解决上述技术问题的：一种柑橘识别定位方法，所述方法包括：
[0006]步骤一：将采集的图像输入YOLOV4网络，利用YOLOV4网络获取柑橘中心在像素坐标中的位置信息；
[0007]步骤二：相机的内参标定；
[0008]步骤三：相机与激光雷达的外参标定；
[0009]步骤四：结合所求内参与外参将点云与图像融合，利用坐标变换矩阵将点云投影
到图像上；
[0010]步骤五：找到目标柑橘对应的点云获得其深度值信息，完成柑橘的定位。
[0011]本专利技术将采集的图像输入YOLOV4网络获取柑橘中心在像素坐标中的位置信息，YOLOV4网络相较于其他网络识别速度更快、识别精度更高，将广泛应用于自动驾驶场景中的激光雷达转移应用到柑橘定位，扫描目标输出的点云位置信息相较于双目相机更为准确且实时性更高，将雷达和相机的输出数据融合，完成激光雷达与相机联合标定后将点云投影到图像上，目标的像素和点云建立了对应关系，处理像素与点云数据的位置信息实现目标定位，定位过程计算量小，进一步提升定位精度和实时性。
[0012]进一步地，所述步骤一包括：
[0013]YOLOV4网络将一幅图像分成S
ⅹ
S个网格，每个网格预测的类别信息和预测框包含对象的置信真值相乘，结果为预测框与真值之间的重合度以及对象属于某个类的概率；在YOLOV4网络的最终输出中，每个预测框中包含对象的位置信息即预测框的中心点坐标和边长参数，至此利用YOLOV4网络完成了柑橘的检测以及获取到柑橘中心在像素坐标中的位置信息。
[0014]更进一步地，所述步骤二包括：
[0015]定义oxy为图像坐标系，O
c
为摄像机的光心，O
c
X
c
Y
c
为摄像机所在的世界坐标系，oO
c
的距离为f，则通过公式
[0016][0017][0018]求解世界坐标系与图像坐标系变换关系；
[0019]将图像坐标系转换为像素坐标系，设像素坐标系在x轴上缩放了α倍，在y轴上缩放了β倍，同时原点平移了[c
x
，c
y
]T
，那么像素坐标系上的点[u，v]T
表示为：
[0020][0021]将式(1)代入式(3)入并把αf合并成f
x
，把βf合并成f
y
，得：
[0022][0023]将式(3)转换为矩阵形式：
[0024][0025]式(5)中间矩阵即为所求相机的内参矩阵。
[0026]更进一步地，所述步骤二还包括：
[0027]考虑相机的非线性畸变，假设归一化平面上的任意一点p，坐标为[x，y]T
，[x
distored
，y
distored
]T
为畸变后点的归一化坐标，r为点p与坐标原点之间的距离，则
[0028]x
distored
＝x(1+k1r2+k2r4+k3r6)(6)
[0029]y
distored
＝y(1+k1r2+k2r4+k3r6)(7)
[0030]另外对于切向畸变用另外两个参数进行修正：
[0031]x
distored
＝x+2p1xy+p2(r2+2x2)(8)
[0032]y
distored
＝y+p1(r2+2y2)+2p2xy(9)
[0033]其中，k1，k2，k3，p1，p2相机的五个畸变参数；
[0034]内参标定采用棋盘格标定方式，利用OpenCV中的findchessboardCorners函数提取标定板中的内角点，在已知标定板尺寸的前提下建立三维空间点和像素点之间的对应关系完成上述式子中的各参数求解,内参矩阵和畸变参数的求解即完成了相机的内参标定。
[0035]更进一步地，所述步骤三包括：
[0036]由相机捕获的图像数据由(u,v)表示，激光雷达捕获的点云位置信息用(X,Y,Z)表示，两者转换关系表示为
[0037][0038]其中f
x
，f
y
，c
x
，c
y
为相机的内参矩阵参数，R，t为相机与激光雷达相对位姿的旋转和平移矩阵，外参标定的过程即求解参数R，t的过程；
[0039]求解标定板在激光雷达坐标系和相机坐标系下的中心点坐标、平面法向量、四个角点坐标，在采集多组不同位置的数据后，构造目标函数优化求解外参，求解得到参数R，t。
[0040]更进一步地，所述步骤四包括：激光雷达捕获的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种柑橘识别定位方法，其特征在于，所述方法包括：步骤一：将采集的图像输入YOLOV4网络，利用YOLOV4网络获取柑橘中心在像素坐标中的位置信息；步骤二：相机的内参标定；步骤三：相机与激光雷达的外参标定；步骤四：结合所求内参与外参将点云与图像融合，利用坐标变换矩阵将点云投影到图像上；步骤五：找到目标柑橘对应的点云获得其深度值信息，完成柑橘的定位。2.根据权利要求1所述的一种柑橘识别定位方法，其特征在于，所述步骤一包括：YOLOV4网络将一幅图像分成S
ⅹ
S个网格，每个网格预测的类别信息和预测框包含对象的置信真值相乘，结果为预测框与真值之间的重合度以及对象属于某个类的概率；在YOLOV4网络的最终输出中，每个预测框中包含对象的位置信息即预测框的中心点坐标和边长参数，至此利用YOLOV4网络完成了柑橘的检测以及获取到柑橘中心在像素坐标中的位置信息。3.根据权利要求2所述的一种柑橘识别定位方法，其特征在于，所述步骤二包括：定义oxy为图像坐标系，O
c
为摄像机的光心，O
c
X
c
Y
c
为摄像机所在的世界坐标系，oO
c
的距离为f，则通过公式则通过公式求解世界坐标系与图像坐标系变换关系；将图像坐标系转换为像素坐标系，设像素坐标系在x轴上缩放了α倍，在y轴上缩放了β倍，同时原点平移了[c
x
，c
y
]
T
，那么像素坐标系上的点[u，v]
T
表示为：将式(1)代入式(3)入并把αf合并成f
x
，把βf合并成f
y
，得：将式(3)转换为矩阵形式：式(5)中间矩阵即为所求相机的内参矩阵。
4.根据权利要求3所述的一种柑橘识别定位方法，其特征在于，所述步骤二还包括：考虑相机的非线性畸变，假设归一化平面上的任意一点p，坐标为[x，y]
T
，[x
distored
，y
distored
]
T
为畸变后点的归一化坐标，r为点p与坐标原点之间的距离，则x
distored
＝x(1+k1r2+k2r4+k3r6)(6)y
distored
＝y(1+k1r2+k2r4+k3r6)(7)另外对于切向畸变用另外两个参数进行修正：x
distored
＝x+2p1xy+p2(r2+2x2)(8)y
distored
＝y+p1(r2+2y2)+2p2x...

【专利技术属性】
技术研发人员：王灿，许成杰，孔斌，易炳良，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：