基于制造技术

本申请涉及一种基于

【技术实现步骤摘要】
基于YOLO的类圆柱目标位姿估计方法、装置和设备


[0001]本申请涉及位姿估计领域，特别是涉及一种基于
YOLO
的类圆柱目标位姿估计方法
、
装置
、
计算机设备和存储介质
。

技术介绍

[0002]随着机器视觉技术的发展，装备视觉技术的工业机器人也被广泛应用到各种各样的工业场景中
。
在工业领域中，如何实现对类圆柱目标的准确定位仍是一个非常受关注的问题
。
希望通过检测形状确定目标位置，分析目标大小
、
方位等信息，进一步挖掘图像中反应的实体信息
。
但由于类圆柱体的截面为圆形，没有直线段，特征点不唯一，因此如何利用椭圆上的特征信息进行检测是急需解决的难题
。
[0003]目前，不同的椭圆检测算法在性能和鲁棒性方面有很大的差别
。
基于
Hough
变换的椭圆检测算法的时间复杂度较高，当得到的边缘图像中非零像素点过多且椭圆个数较多时便很难达到实时性的要求；基于椭圆几何性质的椭圆检测算法的时间复杂度较低，但是其检测的准确度低于
Hough
椭圆捡测算法，且容易受到噪声干扰；基于最小二乘法的椭圆检测算法的检测精度较高，但时间复杂度受具体的边缘图像影响
。
[0004]总结来看，现有的研究方法存在以下不足：
(1)
在进行目标检测时，容易受环境因素影响，实际应用效果较差；
(2)
针对空间圆
、
圆环目标遮挡和缺失的情况，目标位姿估计的鲁棒性较差
。
因此，现有技术存在适应性不佳的问题
。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够提高类圆柱目标识别鲁棒性的基于
YOLO
的类圆柱目标位姿估计方法
、
装置
、
计算机设备和存储介质
。
[0006]一种基于
YOLO
的类圆柱目标位姿估计方法，所述方法包括：
[0007]构建待检测的类圆柱目标的训练图像集；所述训练图像集中包括所述类圆柱目标的多种位姿的目标图像；所述目标图像上标注了所述类圆柱目标的目标检测框；所述类圆柱目标具有两个圆环特征；
[0008]通过所述训练图像集对基于
YOLO
的目标检测网络进行训练，得到训练好的目标检测网络；
[0009]获取待检测的类圆柱目标的图像，将所述待检测的类圆柱目标的图像输入所述训练好的目标检测网络中，得到对应的目标检测框，根据所述目标检测框对所述待检测的类圆柱目标的图像中的类圆柱目标进行裁剪，得到裁剪后图像；
[0010]根据所述裁剪后图像，通过基于弧段邻接矩阵的快速椭圆检测算法对所述类圆柱目标进行椭圆检测，得到两组椭圆信息；
[0011]根据所述两组椭圆信息，通过
EPnP
算法求解得到所述类圆柱目标的位姿信息
。
[0012]在其中一个实施例中，还包括：通过相机采集所述类圆柱目标的图像，得到图像集；其中，在采集目标图像时，所述类圆柱目标被放置于预设的
aruco
板上；
[0013]根据所述图像集中的图像，对所述
aruco
板的特征点进行检测，得到
aruco
板特征点信息，根据所述
aruco
板特征点信息，通过投影方程及最小二乘优化算法确定对应当前图像的位姿信息；
[0014]获取所述类圆柱目标的三维点云模型信息；所述三维点云模型由所述类圆柱目标圆环上多个三维点构成；
[0015]根据所述位姿信息和所述三维点云模型信息，通过投影方程确定所述三维点云模型的像素点坐标；
[0016]根据所述三维点云模型的像素点坐标确定所述类圆柱目标的目标检测框信息，作为当前图像的标签信息；
[0017]由所述图像集及其中图像对应的标签信息构成训练图像集
。
[0018]在其中一个实施例中，还包括：获取预知的所述类圆柱目标的三维骨架模型信息；
[0019]根据所述类圆柱目标的位姿信息和所述三维骨架模型信息，将所述类圆柱目标的三维骨架模型重投影到所述窄带滤波图像上；
[0020]根据重投影结果判定求取的位姿信息的准确性
。
[0021]在其中一个实施例中，还包括：根据所述裁剪后图像提取出边缘线，将所述边缘线分割成椭圆弧，根据所述椭圆弧构造有向的弧段邻接矩阵；
[0022]通过双向遍历所述弧段邻接矩阵，得到候选的弧段组合以及基于累积因子的累积矩阵；
[0023]通过
Jacobi
算法对所述累积矩阵进行二次特征分解，拟合出候选椭圆；
[0024]通过计算验证分数对所述候选椭圆矩阵进行验证，消除虚假椭圆，得到椭圆检测结果及两个圆环对应的椭圆信息
。
[0025]在其中一个实施例中，还包括：所述椭圆信息为椭圆长短轴四个端点坐标信息和椭圆中心点坐标信息
。
[0026]在其中一个实施例中，还包括：获取两组椭圆长短轴四个端点坐标信息和椭圆中心点坐标信息，确定控制点坐标信息；
[0027]获取所述类圆柱目标的三维骨架模型信息；
[0028]根据所述控制点坐标信息与所述三维骨架模型信息建立类圆柱目标椭圆特征的
2D
‑
3D
对应关系；
[0029]根据所述类圆柱目标椭圆特征的
2D
‑
3D
对应关系
EPnP
算法求解得到所述类圆柱目标的位姿信息
。
[0030]在其中一个实施例中，还包括：所述基于
YOLO
的目标检测网络为基于
YOLOv7
的目标检测网络
。
[0031]一种基于
YOLO
的类圆柱目标位姿估计装置，所述装置包括：
[0032]训练图像集构建模块，用于构建待检测的类圆柱目标的训练图像集；所述训练图像集中包括所述类圆柱目标的多种位姿的目标图像；所述目标图像上标注了所述类圆柱目标的目标检测框；所述类圆柱目标具有两个圆环特征；
[0033]目标检测网络训练模块，用于通过所述训练图像集对基于
YOLO
的目标检测网络进行训练，得到训练好的目标检测网络；
[0034]图像裁剪模块，用于获取待检测的类圆柱目标的图像，将所述待检测的类圆柱目
标的图像输入所述训练好的目标检测网络中，得到对应的目标检测框，根据所述目标检测框对所述待检测的类圆柱目标的图像中的类圆柱目标进行裁剪，得到裁剪后图像；
[0035]椭圆信息确定模块，用于根据所述裁剪后图像，通过基于弧段邻接矩阵的快速椭圆检测算法对所述类圆柱目标进行椭圆检测，得到两组椭圆信息；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
YOLO
的类圆柱目标位姿估计方法，其特征在于，所述方法包括：构建待检测的类圆柱目标的训练图像集；所述训练图像集中包括所述类圆柱目标的多种位姿的目标图像；所述目标图像上标注了所述类圆柱目标的目标检测框；所述类圆柱目标具有两个圆环特征；通过所述训练图像集对基于
YOLO
的目标检测网络进行训练，得到训练好的目标检测网络；获取待检测的类圆柱目标的图像，将所述待检测的类圆柱目标的图像输入所述训练好的目标检测网络中，得到对应的目标检测框，根据所述目标检测框对所述待检测的类圆柱目标的图像中的类圆柱目标进行裁剪，得到裁剪后图像；根据所述裁剪后图像，通过基于弧段邻接矩阵的快速椭圆检测算法对所述类圆柱目标进行椭圆检测，得到两组椭圆信息；根据所述两组椭圆信息，通过
EPnP
算法求解得到所述类圆柱目标的位姿信息
。2.
根据权利要求1所述的方法，其特征在于，构建待检测的类圆柱目标的训练图像集，包括：通过相机采集所述类圆柱目标的图像，得到图像集；其中，在采集目标图像时，所述类圆柱目标被放置于预设的
aruco
板上；根据所述图像集中的图像，对所述
aruco
板的特征点进行检测，得到
aruco
板特征点信息，根据所述
aruco
板特征点信息，通过投影方程及最小二乘优化算法确定对应当前图像的位姿信息；获取所述类圆柱目标的三维点云模型信息；所述三维点云模型由所述类圆柱目标圆环上多个三维点构成；根据所述位姿信息和所述三维点云模型信息，通过投影方程确定所述三维点云模型的像素点坐标；根据所述三维点云模型的像素点坐标确定所述类圆柱目标的目标检测框信息，作为当前图像的标签信息；由所述图像集及其中图像对应的标签信息构成训练图像集
。3.
根据权利要求1所述的方法，其特征在于，在根据所述两组椭圆信息，通过
EPnP
算法求解得到所述类圆柱目标的位姿信息之后，包括：获取预知的所述类圆柱目标的三维骨架模型信息；根据所述类圆柱目标的位姿信息和所述三维骨架模型信息，将所述类圆柱目标的三维骨架模型重投影到所述窄带滤波图像上；根据重投影结果判定求取的位姿信息的准确性
。4.
根据权利要求3所述的方法，其特征在于，根据所述裁剪后图像，通过基于弧段邻接矩阵的快速椭圆检测算法对所述类圆柱目标进行椭圆检测，得到两组椭圆信息，包括：根据所述裁剪后图像提取出边缘线，将所述边缘线分割成椭圆弧，根据所述椭圆弧构造有向的弧段邻接矩阵；通过双向遍历所述弧段邻接矩阵，得到候选的弧段组合以及基于累积因子的累积矩阵；通过
Jacobi
...

【专利技术属性】
技术研发人员：杨夏，麦剑霆，陈胜朋，汪炜，欧阳婧璇，张小虎，
申请(专利权)人：中山大学，
类型：发明
国别省市：