一种面向掘进机自动化的截割头视觉定位定向系统技术方案

本发明专利技术提出一种面向掘进机自动化的截割头视觉定位定向系统，该系统由数台防爆红外摄像仪、数个相机支架和一台工控计算机组成。其中，防爆红外摄像仪用于采集截割头不同视角图像。工控计算机内置视觉处理平台对图像进行预处理和拼接得到截割头宽视场全景图像，进一步进行特征点识别与匹配跟踪工作，拟合出截割头边缘轮廓的曲线；数据处理平台根据特征点的位置坐标及曲线方程，计算出截割头中心一点的坐标、俯仰角以及偏航角。本发明专利技术的特点在于使用多台红外摄像仪对截割头进行多视角成像，结合红外图像拼接技术得到截割头的宽视场图像，利用计算机视觉科学实现掘进机截割头的定位定向功能。

A vision positioning and orientation system for cutting head of roadheader automation

The invention provides a vision positioning and orientation system for cutting head of roadheader automation. The system consists of several explosion-proof infrared cameras, several camera supports and an industrial computer. Among them, the explosion-proof infrared camera is used to collect different view images of the cutting head. The industrial computer built-in visual processing platform preprocesses and splices the images to obtain a wide field of view panoramic image of the cutting head, and then carries out feature point recognition and matching tracking work to fit the curve of the edge contour of the cutting head; the data processing platform calculates the center of the cutting head according to the position coordinates and curve equations of the feature points. The coordinates, pitch angles and yaw angles of a point. The invention is characterized in that a plurality of infrared cameras are used for multi-angle imaging of the cutting head, a wide field of view image of the cutting head is obtained by combining the infrared image mosaic technology, and the positioning and orientation function of the cutting head of the roadheader is realized by using computer vision science.

【技术实现步骤摘要】
一种面向掘进机自动化的截割头视觉定位定向系统
本专利技术涉及一种面向掘进机自动化的截割头视觉定位定向系统，属矿山机械自动化
和计算机视觉应用领域。
技术介绍
悬臂式掘进机作为一种常见的采掘机械，被广泛的应用于采矿和挖掘工作中。随着煤矿产业的发展，煤矿开采已经成为社会发展的重要能源支撑，实现采掘设备的自动化、智能化、无人化工作，对提高采掘企业生产效率、保障从业人员生命安全尤为重要与迫切，而要解决掘进机的自动化无人精确掘进就必须实现掘进机的自主定位定向功能。基于计算机视觉的掘进机自动化定位定向技术，其实质就是利用红外成像原理采集截割头工作过程中不同视角的红外图像，结合计算机视觉科学对红外图像进行处理、拼接、特征识别、匹配跟踪和曲线拟合，结合坐标解算模型得到截割头工作过程中的方位和方向信息，该技术与现有的掘进机截割头定位定向技术相比具有操作简便、工作环境可视化、工作过程自动化、无人化、时效性强、系统结构简单化和测量精度高等特点。
技术实现思路
本专利技术专利针对
技术介绍
的不足，提出一种面向掘进机自动化的截割头视觉定位定向系统，可实时准确地确定掘进机截割头中心一点在巷道截断面坐标系下的方位和方向信息，实现基于视觉检测技术的掘进机截割头定位定向功能，且具有操作可视化、结构简单化、稳定性强等特点。为了实现上述目的，本专利技术提供了一种面向掘进机自动化的截割头视觉定位定向系统，具体方案如下：本专利技术专利是一种面向掘进机自动化的截割头视觉定位定向系统，可实时准确的获取掘进机截割头在巷道截断面坐标系下的方位方向参数，包括偏航角α、俯仰角β以及掘进机截割头中心一点M(u,v)的坐标位置参数。由于掘进机在实际巷道掘进过程中，截割头的方位主要依赖截割部的空间姿态，其中决定性参数就是俯仰角和偏航角，因此本专利技术所述的定位定向功能只涉及截割头的俯仰角α和偏航角β。进一步的，所述系统包括数台防爆红外摄像仪1、数个相机支架2一台工控计算机3。进一步的，所述防爆红外摄像仪1，利用红外成像原理采集掘进机截割头工作过程中的红外图像。进一步的，所述工控计算机3内置视觉平台，通过专用端口与防爆红外摄像仪连接，获取截割头不同角度的窄视场红外图像，并对窄视场截割头图像进行中值滤波、直方图均衡化和畸变校正等图像预处理操作，利用角点检测的方法检测出所述预处理后图像边缘的特征点，结合距离函数判断特征点的相似度进行图像配准，得到所述截割头的宽视场全景图像。进一步的，利用模板匹配的方法对所述截割头全景视频图像进行多目标特征匹配，提取出6～7个特征点的位置坐标，利用最小二乘法拟合出截割头边缘轮廓的曲线，得到截割头边缘轮廓曲线中心一点M的图像像素坐标(u,v)。进一步的，利用特征识别与检测技术对掘进机工作环境的全景图像进行人物检测，得到人员误入工作面的信息反馈，并对掘进机操作仓内的驾驶员进行预警。进一步的，所述工控计算机3内置数据处理平台，根据已建立的坐标解算模型，对上述截割头边缘轮廓曲线中心一点M(u,v)进行坐标变换与解算，得到截割头在巷道截断面坐标系下的偏航角α和俯仰角β。与已有技术相比，本专利技术的有益效果是：本专利技术将红外图像拼接技术应用于掘进机自动化的截割头定位定向系统，简化了繁琐的硬件装置，将整体系统软件化，利用视觉检测的方法代替了传统的人工目测方式，提高了掘进机截割头定位定向系统的时效性与准确性，解决了传统掘进机的不准确挖掘问题，提高了工作人员的安全性，具备一定市场推广价值。附图说明图1为本专利技术面向掘进机自动化的截割头视觉定位定向系统结构图；图2为本专利技术面向掘进机自动化的截割头视觉定位定向方法流程图；图3为本专利技术掘进机截割头在像素坐标模型上的初始位置和工作位置参数；图4为本专利技术掘进机截割头俯仰角α的坐标解算模型；图5为本专利技术掘进机截割头偏航角β的坐标解算模型；具体实施方式为了让技术人员能够更好的理解本专利技术的技术方案，下面结合附图和具体实施方式对本专利技术进一步详细阐述。设备的安装：如图1所示，本专利技术专利是一种面向掘进机自动化的截割头视觉定位定向系统，包括数台防爆红外摄像仪1、数个相机支架2和一台工控计算机3，掘进机截割头坐标系为OXYZ,约定截割头水平摆动角和上下抬升角均为零度时的姿态为截割部的初始姿态。所述相机支架2以巷道中轴线为中心对称固定在巷道顶端，爆红外摄像仪1固定在相机支架2上，安装时以标定好的红外摄像仪1的相机外参数为依据，并保证防爆红外摄像仪1的光轴方向沿掘进机截割头的方向以及截割头成像的完整性。所述工控计算机3安装在远离掘进机的监测室内，为操作员提供可视化的工作界面，实时显示掘进机截割头在巷道截断面上的方位信息。所述掘进机截割头坐标系OXYZ，以初始状态下截割头中心一点O为原点，垂直于巷道地面方向为Z轴，巷道水平方向为X轴，Y轴垂直于XOZ平面。本专利技术专利的流程图如图2所示，具体包括以下步骤：将防爆红外摄像仪1固定在相机支架2上，结合事先离线标定好的防爆红外摄像仪1的相机外参数，以巷道中轴线为中心对称分布，以采集掘进机截割头工作过程中不同视角的红外图像。工控计算机3内置视觉平台，实时提取所述截割头的红外图像，利用中值滤波、直方图均衡化结合自适应阈值化算法进行红外图像预处理；对预处理后的红外图像进行角点检测结合距离函数对所述图像进行配准，得到截割头宽视场全景图像；对所述全景图像进行边缘轮廓的特征识别与跟踪匹配，得到6～7个特征点的位置坐标；利用最小二乘法对所述特征点位置坐标进行曲线拟合，进一步得到截割头边缘轮廓曲线中心一点M的像素坐标(u,v)。掘进机截割头初始位置和工作位置坐标示意图如图3，建立截割头全景图像的像素坐标系OoUV，其中U轴与截割头坐标系的X轴平行，V轴与截割头坐标系的Y轴平行。初始姿态状态下，截割头中心一点O在图像像素坐标系OoUV上的坐标为No(uo,vo)，已知掘进机截割部的长度为h，截割头工作影像某一帧的位置坐标为Mo(u,v)。掘进机截割头俯仰角α为截割部相对截割头坐标系OXYZ上OXY平面的摆角，具体计算模型如图4所示，其中N1(yo,0)为No(uo,vo)在坐标系OYZ上对应的坐标点，M1(y,z)为Mo(u,v)在坐标系OYZ上对应的坐标点，计算公式如下：截割头的俯仰角掘进机截割头俯仰角β为截割部相对截割头坐标系OXYZ上OYZ平面的摆角，具体计算模型如图5所示，其中N1(0,yo)为No(uo,vo)在坐标系OXY上对应的坐标点，M1(x,y)为Mo(u,v)在坐标系OXY上对应的坐标点，计算公式如下：截割头的偏航角利用上述公式可以实时的检测截割头的俯仰角α和偏航角β。本专利技术未详细描述的内容为本领域技术人员公知技术。本文档来自技高网...

【技术保护点】
1.一种面向掘进机自动化的截割头视觉定位定向系统，其特征在于，该系统包括：数台防爆红外摄像仪(1)、数个相机支架(2)和一台工控计算机(3)。其中，所述相机支架(2)固定在巷道顶端；所述防爆红外摄像仪(1)安装在相机支架(2)上，用于采集截割头的红外图像；所述工控计算机(3)内置视觉处理平台和数据处理平台，固定在远离掘进机的监测室内并通过专用端口与防爆红外摄像仪(1)连接，其中视觉处理平台通过对截割头不同视角的图像进行降噪、增强和拼接等工作，得到截割头工作过程的全景视频图像，在截割头全景视频图像上进行人物检测，能够自动识别误入工作面的工作人员并进行预警；在截割头全景视频图像上进行截割头特征点识别与跟踪，并提取出截割头特征点的位置坐标，能够拟合出截割头边缘轮廓的完整曲线，得到截割头边缘曲线中心一点的图像像素坐标；数据处理平台通过建立好的坐标解算模型，计算出掘进机截割头中心一点的位置坐标，以及截割头的俯仰角和偏航角。

【技术特征摘要】
1.一种面向掘进机自动化的截割头视觉定位定向系统，其特征在于，该系统包括：数台防爆红外摄像仪(1)、数个相机支架(2)和一台工控计算机(3)。其中，所述相机支架(2)固定在巷道顶端；所述防爆红外摄像仪(1)安装在相机支架(2)上，用于采集截割头的红外图像；所述工控计算机(3)内置视觉处理平台和数据处理平台，固定在远离掘进机的监测室内并通过专用端口与防爆红外摄像仪(1)连接，其中视觉处理平台通过对截割头不同视角的图像进行降噪、增强和拼接等工作，得到截割头工作过程的全景视频图像，在截割头全景视频图像上进行人物检测，能够自动识别误入工作面的工作人员并进行预警；在截割头全景视频图像上进行截割头特征点识别与跟踪，并提取出截割头特征点的位置坐标，能够拟合出截割头边缘轮廓的完整曲线，得到截割头边缘曲线中心一点的图像像素坐标；数据处理平台通过建立好的坐标解算模型，计算出掘进机截割头中心一点的位置坐标，以及截割头的俯仰角和偏航角。2.根据权利要求1所述的一种面向掘进机自动化的截割头视觉定位定向系统，其特征在于，相机支架(2)固定在巷道顶端，防爆红外摄像仪(1)固定在相机支架(2)上，以巷道中轴线为中心对称分布，防爆红外摄像仪(1)的光轴方向沿掘进机截割头...

【专利技术属性】
技术研发人员：冯云鹏，崔明玉，程灏波，张步勤，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11