一种基于单目视觉的钢带钻孔定位方法、系统及装置制造方法及图纸

本发明专利技术涉及一种基于单目视觉的钢带钻孔定位方法、系统及装置，涉及计算机视觉和钢带钻孔定位技术领域，方法包括：获取待处理图像；从待处理图像中提取线激光图像特征，并对线激光图像特征进行处理，以得到钢带特征图；根据钢带特征图对待处理图像进行图像增强处理，并根据图像增强处理后的待处理图像确定钢带钻孔中心数据组；从待处理图像中提取光斑图像特征，并对光斑图像特征进行预处理，以得到光斑特征图；采用椭圆拟合提取光斑特征图的光斑中心，以得到光斑数据组；根据钢带钻孔中心数据和光斑数据组，计算所述钢带上钻孔的位姿，进而控制钻臂移动至钢带钻孔位置。本发明专利技术提高了钢带钻孔定位精度。钢带钻孔定位精度。钢带钻孔定位精度。

【技术实现步骤摘要】
一种基于单目视觉的钢带钻孔定位方法、系统及装置


[0001]本专利技术涉及计算机视觉和钢带钻孔定位
，特别是涉及一种基于单目视觉的钢带钻孔定位方法、系统及装置。

技术介绍

[0002]随着各种智能化综采设备的研发与应用，煤矿开采能力和效率得到了大幅提升，但是由于煤矿巷道掘进技术仍处在机械化阶段，会导致采掘效率严重失衡，进而导致煤矿行业普遍出现了采快掘慢的问题。因此，智能掘进、减人提效是当前煤炭开采行业发展的趋势。基于此，煤矿巷道的支护工作对于巷道掘进和钻锚设备动作的协调性、准确性和快速性都提出了较高的要求，对相关施工人员的技术水平和身体素质提出了更高的挑战，但却进一步拖慢了巷道掘进的效率，呈现出掘快支慢的问题。
[0003]为了解决掘进工作面掘快支慢的问题，行业中渐渐出现了基于双目视觉的钢带钻孔定位方案及系统，提高了支护效率，减轻了工人的劳动强度。但是，煤矿井下低照度和弱纹理的工作环境对基于视觉的定位方案产生了强烈的撼动，并且双目视觉固定的基线距离和较高的计算复杂度也影响了其定位的精度和实时性。

技术实现思路

[0004]本专利技术的目的是提供一种基于单目视觉的钢带钻孔定位方法、系统及装置，解决煤矿井下的低照度、弱纹理环境对视觉定位的影响，提高钢带钻孔定位精度。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]第一方面，本专利技术提供了一种基于单目视觉的钢带钻孔定位方法，包括：
[0007]获取待处理图像；所述待处理图像中包含巷道煤壁、钢带、线激光束和多个光斑；所述钢带放置于所述巷道煤壁上，所述钢带上设置有多个钻孔；
[0008]从所述待处理图像中提取线激光图像特征，并对所述线激光图像特征进行处理，以得到钢带特征图；
[0009]根据所述钢带特征图对所述待处理图像进行图像增强处理，并根据图像增强处理后的待处理图像确定钢带钻孔中心数据组；
[0010]从所述待处理图像中提取光斑图像特征，并对所述光斑图像特征进行预处理，以得到光斑特征图；
[0011]采用椭圆拟合提取所述光斑特征图的光斑中心，以得到光斑数据组；
[0012]根据所述钢带钻孔中心数据组和所述光斑数据组，计算所述钢带上钻孔在相机坐标系下的位姿；
[0013]根据所述钢带上钻孔在相机坐标系下的位姿，控制钻臂移动至钢带钻孔位置。
[0014]可选地，根据所述钢带特征图对所述待处理图像进行图像增强处理，并根据图像增强处理后的待处理图像确定钢带钻孔中心数据组，具体包括：
[0015]根据所述钢带特征图对所述待处理图像进行基于拉普拉斯算子的图像增强处理，
以确定初步增强图像；
[0016]对所述初步增强图像进行阈值处理，以确定钢带钻孔轮廓图像；
[0017]对所述钢带钻孔轮廓图像进行椭圆拟合，以确定钢带钻孔中心在像素坐标系下的像素坐标；
[0018]对所述钢带钻孔中心在像素坐标系下的像素坐标进行坐标系转换，以确定钢带钻孔中心在对应图像坐标系下的图像坐标；所述钢带钻孔中心在对应图像坐标系下的图像坐标构成钢带钻孔中心数据组。
[0019]可选地，对所述光斑图像特征进行预处理，以得到光斑特征图，具体包括：
[0020]对所述光斑图像特征依次进行金字塔降采样处理、二值化分割处理、Canny边缘检测处理和金字塔上采样处理，以得到光斑特征图；
[0021]所述采用椭圆拟合提取所述光斑特征图的光斑中心，以得到光斑数据组，具体包括：
[0022]采用基于霍夫变换的椭圆拟合提取所述光斑特征图的光斑中心，以确定多个光斑中心点；
[0023]将多个所述光斑中心点按第一顺序排序；所述第一顺序为顺时针或者逆时针；
[0024]针对排序后的相邻两个光斑中心点，确定两个光斑中心点之间的中间点；所述中间点位于相邻两个光斑中心点的连线上；多个所述光斑中心点和多个所述中间点构成光斑数据组。
[0025]可选地，根据所述钢带钻孔中心数据组和所述光斑数据组，计算所述钢带上钻孔在相机坐标系下的位姿，具体包括：
[0026]根据所述光斑数据组中的光斑中心点，计算第一平移向量；所述第一平移向量为从相机坐标系到巷道煤壁坐标系的平移向量；
[0027]根据所述光斑数据组中的中间点，计算第一旋转矩阵；所述第一旋转矩阵为从所述相机坐标系到所述巷道煤壁坐标系的旋转矩阵；
[0028]根据所述钢带钻孔中心数据组，计算第二平移向量；所述第二平移向量为钢带钻孔坐标系到所述巷道煤壁坐标系的平移向量；
[0029]根据所述第一平移向量、所述第一旋转矩阵和所述第二平移向量，计算所述钢带上钻孔在相机坐标系下的位姿。
[0030]可选地，根据所述第一平移向量、所述第一旋转矩阵和所述第二平移向量，计算所述钢带上钻孔在相机坐标系下的位姿，具体包括：
[0031]根据公式
[0032]T
HC
＝T
HW
·
T
WC
[0033]计算钢带上钻孔在相机坐标系下的位姿；
[0034]其中，T
HC
表示钢带上钻孔在相机坐标系下的位姿，T
WC
表示巷道煤壁坐标系在相机坐标系下的位姿，T
HW
表示钢带钻孔坐标系在巷道煤壁坐标系下的位姿，R
WC
表示第一旋转矩阵，t
WC
表示第一平移向
量，t
HW
表示第二平移向量，
[0035]可选地，根据所述光斑数据组中的光斑中心点，计算第一平移向量，具体包括：
[0036]根据公式
[0037][0038]计算第一平移向量；
[0039]其中，t
WC
表示第一平移向量，a表示排序后的相邻两个光斑中心点之间的距离的一半，f表示拍摄待处理图像的相机的焦距，OA
′1表示点O与点A
′1之间的距离，OC
′1表示点O与点C
′1之间的距离，点O为所述光斑特征图在相机坐标系下的原点，点A
′1表示所述光斑数据组中的一个光斑中心点，点C
′1表示所述光斑数据组中与点A
′1不相邻的另一个光斑中心点。
[0040]可选地，根据所述光斑数据组中的中间点，计算第一旋转矩阵，具体包括：
[0041]根据公式
[0042][0043]计算第一旋转矩阵；
[0044]其中，R
WC
表示第一旋转矩阵，表示点E1在巷道煤壁坐标系下的X坐标，点E1表示光斑数据组中的任一中间点在巷道煤壁坐标系下的映射点，表示点E2在巷道煤壁坐标系下的X坐标，点E2表示光斑数据组中的另一中间点在巷道煤壁坐标系下的映射点，表示点F1在巷道煤壁坐标系下的Y坐标，点F1表示光斑数据组中的另一中间点在巷道煤壁坐标系下的映射点，表示点E1在相机坐标系下的Z坐标，表示点E2在相机坐标系下的Z坐标，表示点F1在相机坐本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目视觉的钢带钻孔定位方法，其特征在于，所述基于单目视觉的钢带钻孔定位方法包括：获取待处理图像；所述待处理图像中包含巷道煤壁、钢带、线激光束和多个光斑；所述钢带放置于所述巷道煤壁上，所述钢带上设置有多个钻孔；从所述待处理图像中提取线激光图像特征，并对所述线激光图像特征进行处理，以得到钢带特征图；根据所述钢带特征图对所述待处理图像进行图像增强处理，并根据图像增强处理后的待处理图像确定钢带钻孔中心数据组；从所述待处理图像中提取光斑图像特征，并对所述光斑图像特征进行预处理，以得到光斑特征图；采用椭圆拟合提取所述光斑特征图的光斑中心，以得到光斑数据组；根据所述钢带钻孔中心数据组和所述光斑数据组，计算所述钢带上钻孔在相机坐标系下的位姿；根据所述钢带上钻孔在相机坐标系下的位姿，控制钻臂移动至钢带钻孔位置。2.根据权利要求1所述的基于单目视觉的钢带钻孔定位方法，其特征在于，根据所述钢带特征图对所述待处理图像进行图像增强处理，并根据图像增强处理后的待处理图像确定钢带钻孔中心数据组，具体包括：根据所述钢带特征图对所述待处理图像进行基于拉普拉斯算子的图像增强处理，以确定初步增强图像；对所述初步增强图像进行阈值处理，以确定钢带钻孔轮廓图像；对所述钢带钻孔轮廓图像进行椭圆拟合，以确定钢带钻孔中心在像素坐标系下的像素坐标；对所述钢带钻孔中心在像素坐标系下的像素坐标进行坐标系转换，以确定钢带钻孔中心在对应图像坐标系下的图像坐标；所述钢带钻孔中心在对应图像坐标系下的图像坐标构成钢带钻孔中心数据组。3.根据权利要求1所述的基于单目视觉的钢带钻孔定位方法，其特征在于，对所述光斑图像特征进行预处理，以得到光斑特征图，具体包括：对所述光斑图像特征依次进行金字塔降采样处理、二值化分割处理、Canny边缘检测处理和金字塔上采样处理，以得到光斑特征图；所述采用椭圆拟合提取所述光斑特征图的光斑中心，以得到光斑数据组，具体包括：采用基于霍夫变换的椭圆拟合提取所述光斑特征图的光斑中心，以确定多个光斑中心点；将多个所述光斑中心点按第一顺序排序；所述第一顺序为顺时针或者逆时针；针对排序后的相邻两个光斑中心点，确定两个光斑中心点之间的中间点；所述中间点位于相邻两个光斑中心点的连线上；多个所述光斑中心点和多个所述中间点构成光斑数据组。4.根据权利要求3所述的基于单目视觉的钢带钻孔定位方法，其特征在于，根据所述钢带钻孔中心数据组和所述光斑数据组，计算所述钢带上钻孔在相机坐标系下的位姿，具体包括：
根据所述光斑数据组中的光斑中心点，计算第一平移向量；所述第一平移向量为从相机坐标系到巷道煤壁坐标系的平移向量；根据所述光斑数据组中的中间点，计算第一旋转矩阵；所述第一旋转矩阵为从所述相机坐标系到所述巷道煤壁坐标系的旋转矩阵；根据所述钢带钻孔中心数据组，计算第二平移向量；所述第二平移向量为钢带钻孔坐标系到所述巷道煤壁坐标系的平移向量；根据所述第一平移向量、所述第一旋转矩阵和所述第二平移向量，计算所述钢带上钻孔在相机坐标系下的位姿。5.根据权利要求4所述的基于单目视觉的钢带钻孔定位方法，其特征在于，根据所述第一平移向量、所述第一旋转矩阵和所述第二平移向量，计算所述钢带上钻孔在相机坐标系下的位姿，具体包括：根据公式T
HC
＝T
HW
·
T
WC
计算钢带上钻孔在相机坐标系下的位姿；其中，T
HC
表示钢带上钻孔在相机坐标系下的位姿，T
WC
表示巷道煤壁坐标系在相机坐标系下的位姿，T
HW
表示钢带钻孔坐标系在巷道煤壁坐标系下的位姿，R
WC
表示第一旋转矩阵，t
WC
表示第一平移向量，...

【专利技术属性】
技术研发人员：张旭辉，陈鑫，雷孟宇，杨文娟，杜昱阳，
申请(专利权)人：西安科技大学，
类型：发明
国别省市：