一种基于双目立体视觉深度感知的矿用带式输送机煤量检测方法技术

一种基于双目视觉深度感知的矿用带式输送机煤量检测方法，在带式输送机上安装一个速度传感器实时采集运输皮带速度信号传输至上位机，在运输皮带上方安装两个平行放置的摄像机实时采集运输煤料图像传输至上位机，进行图像分析与处理，具体步骤为：采用多分辨率小波变换算法增强运输煤料图像，结合K‑means聚类算法分割出仅含煤料的图像；采用双目视觉方法获取煤料三维点云信息；采用Delaunay算法计算出运输煤料的初始体积，结合T‑S模糊逻辑推理的方法对运输煤料体积进行修正，应用煤量计算公式实现煤料量的检测。本发明专利技术能够根据运输煤料表面煤块的特点实时测得当前运输的煤料量，误差较小、有效性高，具有实用价值，方便推广。

A coal mining belt conveyor detection method based on the depth perception of binocular stereo vision

A belt conveyor of coal mine detection method based on binocular vision and depth perception, the installation of a speed sensor real-time transport belt speed signal transmission to the host computer of the belt conveyor, the installation of two cameras real-time transport coal image transmission to PC in the transport belt above analysis and processing the image, which comprises the following steps: enhanced transport coal image using multi resolution wavelet transform algorithm, combined with K means clustering algorithm to segment the image only containing coal; coal material based on binocular vision method to obtain three-dimensional point cloud information; calculate the initial volume of coal transportation by Delaunay method combined with T algorithm, S fuzzy logic reasoning to modify the coal transport volume, detection formula of application of coal quantity to achieve coal quantity. The invention can according to the real-time measured coal feed current transport characteristics of coal transportation coal surface, smaller error, high efficiency, practical, convenient popularization.

【技术实现步骤摘要】
一种基于双目立体视觉深度感知的矿用带式输送机煤量检测方法
本专利技术涉及煤矿设备自动化在线检测领域，特别涉及一种基于双目立体视觉深度感知的矿用带式输送机煤量检测方法。
技术介绍
煤炭产量是衡量煤矿企业经济效益的一项重要指标，生产各环节中的煤量检测值不仅是产量统计与生产管理的依据，还为过程控制与优化提供重要的物料反馈信息。当前，带式输送机是煤炭生产过程中使用量最多的设备，但由于煤矿开采的不均衡性，使得输送机的煤矿运量不能保持稳定，导致带式输送机常常处于“大马拉小车”的非最优运行状态，造成大量电能消耗。因此，根据煤量优化带式输送机转速成为迫切需要解决的问题，而解决这一问题的关键和前提是实现带式输送机煤量的检测。目前，带式输送机煤量检测方法有电子皮带秤测量法和激光盘煤仪测量法两种。其中，电子皮带秤测量法应用广泛，但是由于受称重拖辊非准直度、皮带张力及运行阻力等“皮带效应”，实际中难以修正称重误差、皮带速度误差、校准误差、环境影响误差等因素对煤量测量的影响。激光盘煤仪测量法是一种全自动高精度的煤量检测方法，采用非接触高速激光测量方式采集运输煤料的三维信息数据，进而求出煤料体积和质量。然而，当前激光器价格昂贵，普及使用代价太高。激光盘煤仪中，由激光器测量煤堆的三维信息。受此启发，本文结合双目立体视觉三维信息测量技术实现对带式输送机煤量的非接触式测量。双目立体视觉测量技术是由不同位置的两台相机同时对运输煤料拍摄，根据煤料上的点在左右图像中的相对位移结合相应参数计算出点的三维坐标，从而实现煤料的体积测量，已被广泛应用在小型工件、植物叶冠、家禽、工业现场大型设备等方面的体积测量中。专利公开号CN105841614A公开了“一种带式输送机输送煤量视觉扫描测距检测方法”，以一个线光源和一个CCD相机采集运输煤料数据，通过对采集的单幅煤料图像分析确定运输煤料横截面积，经时间积分得到输送带在测量时间内的输送量。专利公开号CN101949721公开了“一种基于激光和双目视觉的煤仓料位测量方法和装置”，以一个激光器产生激光束，在煤面上形成光斑；以两个相同参数的CCD相机采集图像对，对获取的图像对利用立体匹配算法计算深度图，最终实现煤仓料位测量。以上专利所述的方法以及相关的文献大多利用了相机采集运输煤料的图像，利用激光、线光源等方法以得出运输煤料的深度数据同时引入了较多的噪声和使用复杂的问题。此外，在实际矿用带式输送机上的煤料与皮带颜色相近存在对比度差、边缘细节模糊的问题，导致运输煤料识别困难，且处于不同生产流程中的带式输送机上煤矿颗粒大小、形状不同，导致填充率不同，使得相同体积和相同密度下可能产生不同的质量即运输煤料量测量不准确。注意到以上方法并未考虑上述问题，因此在矿用带式输送机运输煤料量的检测中存在很大的误差。综上所述，提出一种基于双目视觉深度感知的矿用带式输送机煤料量检测的方法非常必要。
技术实现思路
专利技术目的：为了解决现有矿用带式输送机运输煤料量检测方法的不足，针对带式输送机运输煤料的特点，本文提出一种基于双目视觉深度感知的矿用带式输送机煤料量检测方法，通过在矿用带式输送机运输煤料上方水平安装两个工业相机进行检测。技术方案：本专利技术提出了一种基于双目立体视觉深度感知的矿用带式输送机上煤料量检测方法，包括如下步骤：步骤1，经双目相机采集的运输煤料原始图像中识别出皮带上运输煤料，包括：基于多分辨率小波变换算法的运输煤料图像增强和基于K-means聚类算法的运输煤料图像分割；步骤2，采用双目立体视觉的物体三维数据获取技术对分割后仅含运输皮带上煤料的三维数据进行提取，包括：仅含运输煤料图像对的立体校正、运输煤料视差图的生成和运输皮带上煤料的三维信息提取；步骤3，根据运输皮带煤料三维数据，通过煤料体积计算与修正进行煤料量计算，包括：运输煤料初始体积计算、基于T-S模糊逻辑推理的体积修正和运输煤料量的计算。进一步的，步骤1中基于多分辨率小波变换算法的运输煤料图像增强方法包括以下四步：步骤111，将采集的运输煤料原始图像由RGB色彩空间转换成HSV色彩空间，提取V通道的运输煤料原始图像；步骤112，采用多分辨率二维离散小波分解方法如式(1)对提取的V通道运输煤料原始图像进行分解，得到运输煤料原始图像V通道的低频分量和高频分量；其中，(x,y)为运输煤料原始图像像素坐标，(k,l)为进行分解的像素点坐标，g和h分别为高通滤波器和低通滤波器，cj为运输煤料原始图像，是其垂直高频分量，是其水平高频分量，是其对角高频分量，cj+1为其低频分量；步骤113，对运输煤料原始图像V通道的低频分量cj+1进行非线性对比度增强处理和对V通道的高频分量和进行软阈值去噪处理；步骤114，采用多分辨率二维离散小波重构方法对处理后的V通道高频和低频分量进行重构如式(2)，并合成HSV三通道图像，从而得到运输煤料的原始增强图像cj(x,y)，步骤1中基于K-means聚类算法的运输煤料图像分割方法具体包括以下5个步骤：步骤121，在增强的运输煤料图像基础上，确定其包含的聚类数量K＝5；步骤122，在运输煤料增强的图像中随机进行选取5个像素数据作为运输煤料图像分割初始聚类中心(C1,C2,...,C5)；步骤123，根据灰度和空间信息运用误差平方和相似度函数如式(3)对余下的运输煤料图像数据分配最相似的聚类；其中，d(xi,xj)为增强煤料图像的两个像素点xi和xj之间的距离，σ是一个可调节空间距离标量，A是可调节灰度的矩阵；pi和pj表示煤料图像内像素点xi和xj的归一化空间坐标信息向量；si和sj表示煤料图像内像素点xi和xj的归一化灰度信息向量；步骤124，重新计算运输煤料图像中的新聚类中心Ci；步骤125，通过优化迭代步骤123，步骤124找到最优的运输煤料图像聚类，提取运输煤料所在的类，进而得到仅含运输煤料的图像。进一步的，步骤2包括以下四步：步骤21，获取水平安装在运输煤料上方双目相机的内、外部参数包括相机焦距f、左右相机的主点坐标(cx,cy)、畸变系数α、旋转矩阵R、平移向量T；步骤22，采用获取的相机参数对得到的仅含运输煤料的左右图像进行立体校正；步骤23，对校正后的运输煤料左右图像进行Census匹配算法得出运输煤料校正图像的视差图；步骤24，根据运输煤料的视差图和运输煤料采集工具双目相机的实际参数得出相对于相机的运输煤料表面的三维数据。进一步的，步骤3中运输煤料初始体积计算方法包括：采用三维Delaunay剖分算法对经双目视觉获得运输煤料表面三维数据进行四面体剖分，运用四面体体积计算公式计算出剖分后的运输煤料初始体积；步骤3中基于T-S模糊逻辑推理的体积修正方法包括以下4步：步骤321，对仅含运输煤料的图像，采用Canny算子对运输煤料表面煤块的边缘进行检测，结合轮廓提取的方法，计算运输煤料表面煤块的数量n，并分别计算出每个煤块的面积s和周长l，对运输煤料表面煤块的面积s和周长l作为输入变量；步骤322，将输入语言变量“煤块面积”和“煤块周长”分别设置为7个等级：{非常小(VS)，比较小(SS)，小(S)，中(M)，大(B)，比较大(BB)，非常大(VB)}，煤块面积和煤块周长的隶属度函数采用三角形隶属度函数；步骤323，采用一阶T-S模本文档来自技高网...

【技术保护点】
一种基于双目立体视觉深度感知的矿用带式输送机上煤料量检测方法，其特征在于，包括如下步骤：步骤1，经双目相机采集的运输煤料原始图像中识别出皮带上运输煤料，包括：基于多分辨率小波变换算法的运输煤料图像增强和基于K‑means聚类算法的运输煤料图像分割；步骤2，采用双目立体视觉的物体三维数据获取技术对分割后仅含运输皮带上煤料的三维数据进行提取，包括：仅含运输煤料图像对的立体校正、运输煤料视差图的生成和运输皮带上煤料的三维信息提取；步骤3，根据运输皮带煤料三维数据，通过煤料体积计算与修正进行煤料量计算，包括：运输煤料初始体积计算、基于T‑S模糊逻辑推理的体积修正和运输煤料量的计算。

【技术特征摘要】
1.一种基于双目立体视觉深度感知的矿用带式输送机上煤料量检测方法，其特征在于，包括如下步骤：步骤1，经双目相机采集的运输煤料原始图像中识别出皮带上运输煤料，包括：基于多分辨率小波变换算法的运输煤料图像增强和基于K-means聚类算法的运输煤料图像分割；步骤2，采用双目立体视觉的物体三维数据获取技术对分割后仅含运输皮带上煤料的三维数据进行提取，包括：仅含运输煤料图像对的立体校正、运输煤料视差图的生成和运输皮带上煤料的三维信息提取；步骤3，根据运输皮带煤料三维数据，通过煤料体积计算与修正进行煤料量计算，包括：运输煤料初始体积计算、基于T-S模糊逻辑推理的体积修正和运输煤料量的计算。2.根据权利要求1所述的基于双目立体视觉深度感知的矿用带式输送机上煤料量检测方法，其特征在于，步骤1中基于多分辨率小波变换算法的运输煤料图像增强方法包括以下四步：步骤111，将采集的运输煤料原始图像由RGB色彩空间转换成HSV色彩空间，提取V通道的运输煤料原始图像；步骤112，采用多分辨率二维离散小波分解方法如式(1)对提取的V通道运输煤料原始图像进行分解，得到运输煤料原始图像V通道的低频分量和高频分量；其中，(x,y)为运输煤料原始图像像素坐标，(k,l)为进行分解的像素点坐标，g和h分别为高通滤波器和低通滤波器，cj为运输煤料原始图像，是其垂直高频分量，是其水平高频分量，是其对角高频分量，cj+1为其低频分量；步骤113，对运输煤料原始图像V通道的低频分量cj+1进行非线性对比度增强处理和对V通道的高频分量和进行软阈值去噪处理；步骤114，采用多分辨率二维离散小波重构方法对处理后的V通道高频和低频分量进行重构如式(2)，并合成HSV三通道图像，从而得到运输煤料的原始增强图像cj(x,y)，步骤1中基于K-means聚类算法的运输煤料图像分割方法具体包括以下5个步骤：步骤121，在增强的运输煤料图像基础上，确定其包含的聚类数量K＝5；步骤122，在运输煤料增强的图像中随机进行选取5个像素数据作为运输煤料图像分割初始聚类中心(C1,C2,...,C5)；步骤123，根据灰度和空间信息运用误差平方和相似度函数如式(3)对余下的运输煤料图像数据分配最相似的聚类；其中，d(xi,xj)为增强煤料图像的两个像素点xi和xj之间的距离，σ是一个可调节空间距离标量，A是可调节灰度的矩阵；pi和pj表示煤料图像内像素点xi和xj的归一化空间坐标信息向量；si和sj表示煤料图像内...

【专利技术属性】
技术研发人员：代伟，赵杰，杨春雨，王献伟，陈其鑫，雷汝海，王军，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏,32