一种基于视频监控的运输皮带中煤流识别方法及系统技术方案

本发明专利技术涉及煤流识别的技术领域，特别是涉及一种基于视频监控的运输皮带中煤流识别方法及系统，通过实时视频画面分析，在视频画面中的皮带画面与皮带中的煤进行提取分离，实现煤流画面的提取，将实时煤流量直观、清晰地显示给用户，在此过程中，可实现对皮带跑偏、突发过曝过暗等异常行为的识别，也可以对煤流的事实时宽度进行显示，可简单直观的对超载空载行为的检测；包括以下步骤：S1、系统搭建；S2、实时画面获取；S3、分析区域提取转换；S4、图像清晰化处理；S5、纹理提取：S6、煤‑皮带分离；S7、煤流占比计算；S8、超载空载识别。

【技术实现步骤摘要】
一种基于视频监控的运输皮带中煤流识别方法及系统
本专利技术涉及煤流识别的
，特别是涉及一种基于视频监控的运输皮带中煤流识别方法及系统。
技术介绍
煤炭是不可或缺的能源之一，它在我国的经济发展中占有重要作用，目前国民经济发展迅速，煤炭在能源的消费结构总量中占据70％左右。在相关的国家研究报告中指出到2050年煤炭的消费总量在所有能源消费中占有50％以上。以上的数据表明了在很长时间内，我国的能源消费依然要依靠煤炭资源。因为国民经济的迅速发展需要大量的煤炭量，需要持续大量的开采煤炭，因此国家对煤炭行业的安全开采非常关注随着煤矿需求量的不断增加，煤炭的开采量也不断扩大，井下安全生产水平逐渐受到煤矿企业的重视。大部分矿井都安装了相应的视频监控系统，通过所采集的工业监控视频，地面调度人员可对井下不同场景和工作面进行实时监测。目前井下视频监控以人工监测为主，依靠人工积累的经验判断是否发生异常现象，但是长期监测易造成视觉与操作疲劳，这使得监控系统在不同程度上存在报警准确度不高、误报漏报情况，因而人工监测报警具有一定的偶然性，不利于煤矿安全生产。此外借鉴视觉技术在交通监控系统中的经验，对所采集的工业监控视频，采用视觉技术可以提取视频图像中人工无法理解的信息，而利用这些信息可辅助人工监测，减轻人工监测强度，提高报警的实时性与准确性。因而为提高煤矿安全生产和预防煤矿事故，需要在加强井下管理的同时，对井下监控视频的智能分析工作。在煤矿井下视频监控目标中，胶带输送机因其在煤炭运输过程中的重要作用成为煤矿重点监控和管理的内容之一。随着我国煤炭综合开采机械化程度的不断提高，煤炭运输量日益增大，经过采煤工作面截煤，落煤至运煤一系列生产系统，越来越多的矿井利用胶带输送机一条龙地把煤炭运提至地面，目前胶带输送机正朝着大规模、超长距离、大倾角的方向发展，最大的输送系统可达数百公里，胶带输送机每年以上百万米的速度增长。胶带输送机常用监测方法是在井下安装摄像头进行视频采集，然后将数据传送至井上监控系统，通过人工观测胶带输送机是否运转正常。这种方法直观性强，短时间内在观测中若出现胶带输送机打滑等现象易发现，然而胶带输送机监测是一个长期持续的过程，而人类由于疲劳以及监测任务的枯燥性使得这种监测方法易产生不可靠结果。同时随着胶带输送机在煤矿运输过程中普及使用以及长距离运输的增加，人工监测的方法的局限性更加突出，日积月累过程中胶带输送机的事故逐渐增多，这可能就会造成价值百万元以上的输送带报废，也有可能引起重大矿难，这将严重的危害着矿工人身安全，亦对煤矿生产造成不安全影响。在工作安排上，传统皮带开机是先开启最末节皮带，再依次向上开启，避免前一节皮带已把煤运到而后一节还没开启产生堆积。这样的过程可能会长达数十分钟，对于电力消耗巨大的胶带运输机来说是一件非常浪费的事情，相当于用高耗用来换取高安全。如果可以通过视频监控来智能调度皮带运输机的开停与快慢，则是一件非常有意义的事情。因此从井下工业监控视频的角度出发，对井下胶带输送机视频信息加以分析理解，提取有效的信息进行自动监控是十分必要的。
技术实现思路
为解决上述技术问题，本专利技术提供一种基于视频监控的运输皮带中煤流识别方法及系统，通过实时视频画面分析，在视频画面中的皮带画面与皮带中的煤进行提取分离，实现煤流画面的提取，将实时煤流量直观、清晰地显示给用户，在此过程中，可实现对皮带跑偏、突发过曝过暗等异常行为的识别，也可以对煤流的事实时宽度进行显示，可简单直观的对超载空载行为的检测。本专利技术的一种基于视频监控的运输皮带中煤流识别方法，包括以下步骤：S1、系统搭建：在初始情况下需要安装摄像仪，摄像仪要求能比较清晰的拍摄到一段完整的皮带运输面，这样可以保证能够正常进行分析，并保证系统软件可正常接入摄像机画面；S2、实时画面获取：系统软件获取实时画面；S3、分析区域提取转换：由于摄像机成像角度的影响，画面可能会出现拉伸偏转，此时对目标区域进行透视变换可以在一定程度上使图像还原为其原始结构形状，其原理是对不规则四边形区域内的点集进行插值拉伸处理，使其变为长方形区域；提取后，由于井下场景长期昏暗，摄像机通常会开启红外模式，丢失色彩信息，但输出图像仍为三通道，因此对图像灰度化处理，减少通道数；通过这两步得到图像I2，将全图多通道分析转化为了局部单通道分析，并还原了皮带区域的俯视图像，这样减少了巨大的计算量，也增加了分析精度；S4、图像清晰化处理：这里主要是对画面的清晰度进行处理，在煤矿的场景中，由于成像设备或传输过程的信号影响、画面中雾气或灰尘等原因会在画面中形成不规则分布的噪声区域或噪声点，这些噪声点在图像分析过程中很有可能会被放大或增强，使得最终分析结果出现偏差，这时候需要对图像进行清晰化处理；S5、纹理提取：图像中有效的信息最重要的就是颜色和纹理变化，而颜色变化本身也会引起纹理变化，因此纹理的识别分析非常重要，这里我们使用了自动高低阈值梯度筛选的方法来实现；首先要对S4中的输出图像进行高低阈值法将煤的纹理图像提取出来，这里常规方法是通过预设阈值人为规定或计算某特定阈值长期起效，对于变化、运动场景效果不能保证，这里我们通过自适应的方法动态计算获取阈值；假设图像像素能够根据阈值被分成两部分(区域A1和区域A2)，通过计算该最佳阈值T来区分这两类像素，使得两类像素区分度最大，这就是自适应动态阈值的主要思想；设原始灰度级为M，灰度级为i的像素点个数为ni，对灰度直方图进行归一化：可得到归一化的灰度直方图；整张图片中，平均灰度为：对于A1和A2，其出现概率和平均灰度为：两区域的类间方差g为：g＝ω0·(μ0-μ)2+ω1·(μ1-μ)2采用遍历的方法使得类间方差g最大的阈值T，即为所求；可直接理解为：求取直方图有两个峰值的图像中那两个峰值之间的低谷值T；得到阈值T之后，分别以T和T/10分别作为纹理提取的高阈值和低阈值，然后使用高低阈值法进行边缘提取，主要思想如下：a.先用高斯滤波器平滑图像，用高斯滤波主要是去掉图像上的噪声；b.再使用一阶差分偏导计算梯度值和方向；c.对梯度值不是极大值的地方进行抑制，即对于算出来的梯度值，把不是极值的点，全部置0，去掉了大部分弱的边缘，所以图像边缘会变细；d.最后用双阈值连接图上的联通点，这也是与常规边缘纹理识别算法的主要区别，双阈值T和T/10，大于T的点肯定是边缘，小于T/10的点肯定不是边缘，在T和T/10之间的点，通过已确定的边缘点，发起8领域方向的搜索(广搜)，图中可达的是边缘，不可达的点不是边缘，最终得到边缘纹理图像I5；S6、煤-皮带分离：将视频图像中的煤与皮带相互分离，由于运煤皮带的运输场景不同，有粗煤(大块煤石)和细煤(粉煤)等差别，不同的煤石类型又有不同的颜色、形状等差别，实际场景下摄像头分辨率、成像速度不尽相同，画面也存在明显差异，因此对不同场景进行了不同识别模式本文档来自技高网...

【技术保护点】
1.一种基于视频监控的运输皮带中煤流识别方法，其特征在于，包括以下步骤：/nS1、系统搭建：在初始情况下需要安装摄像仪，摄像仪要求能比较清晰的拍摄到一段完整的皮带运输面，这样可以保证能够正常进行分析，并保证系统软件可正常接入摄像机画面；/nS2、实时画面获取：系统软件获取实时画面；/nS3、分析区域提取转换：由于摄像机成像角度的影响，画面可能会出现拉伸偏转，此时对目标区域进行透视变换可以在一定程度上使图像还原为其原始结构形状，其原理是对不规则四边形区域内的点集进行插值拉伸处理，使其变为长方形区域；/n提取后，由于井下场景长期昏暗，摄像机通常会开启红外模式，丢失色彩信息，但输出图像仍为三通道，因此对图像灰度化处理，减少通道数；/n通过这两步得到图像I

【技术特征摘要】
1.一种基于视频监控的运输皮带中煤流识别方法，其特征在于，包括以下步骤：
S1、系统搭建：在初始情况下需要安装摄像仪，摄像仪要求能比较清晰的拍摄到一段完整的皮带运输面，这样可以保证能够正常进行分析，并保证系统软件可正常接入摄像机画面；
S2、实时画面获取：系统软件获取实时画面；
S3、分析区域提取转换：由于摄像机成像角度的影响，画面可能会出现拉伸偏转，此时对目标区域进行透视变换可以在一定程度上使图像还原为其原始结构形状，其原理是对不规则四边形区域内的点集进行插值拉伸处理，使其变为长方形区域；
提取后，由于井下场景长期昏暗，摄像机通常会开启红外模式，丢失色彩信息，但输出图像仍为三通道，因此对图像灰度化处理，减少通道数；
通过这两步得到图像I2，将全图多通道分析转化为了局部单通道分析，并还原了皮带区域的俯视图像，这样减少了巨大的计算量，也增加了分析精度；
S4、图像清晰化处理：这里主要是对画面的清晰度进行处理，在煤矿的场景中，由于成像设备或传输过程的信号影响、画面中雾气或灰尘等原因会在画面中形成不规则分布的噪声区域或噪声点，这些噪声点在图像分析过程中很有可能会被放大或增强，使得最终分析结果出现偏差，这时候需要对图像进行清晰化处理；
S5、纹理提取：图像中有效的信息最重要的就是颜色和纹理变化，而颜色变化本身也会引起纹理变化，因此纹理的识别分析非常重要，这里我们使用了自动高低阈值梯度筛选的方法来实现；
首先要对S4中的输出图像进行高低阈值法将煤的纹理图像提取出来，这里常规方法是通过预设阈值人为规定或计算某特定阈值长期起效，对于变化、运动场景效果不能保证，这里我们通过自适应的方法动态计算获取阈值；
假设图像像素能够根据阈值被分成两部分(区域A1和区域A2)，通过计算该最佳阈值T来区分这两类像素，使得两类像素区分度最大，这就是自适应动态阈值的主要思想；设原始灰度级为M，灰度级为i的像素点个数为ni，对灰度直方图进行归一化：可得到归一化的灰度直方图；
整张图片中，平均灰度为：



对于A1和A2，其出现概率和平均灰度为：






两区域的类间方差g为：
g＝ω0·(μ0-μ)2+ω1·(μ1-μ)2
采用遍历的方法使得类间方差g最大的阈值T，即为所求；可直接理解为：求取直方图有两个峰值的图像中那两个峰值之间的低谷值T；
得到阈值T之后，分别以T和T/10分别作为纹理提取的高阈值和低阈值，然后使用高低阈值法进行边缘提取，主要思想如下：
a.先用高斯滤波器平滑图像，用高斯滤波主要是去掉图像上的噪声；
b.再使用一阶差分偏导计算梯度值和方向；
c.对梯度值不是极大值的地方进行抑制，即对于算出来的梯度值，把不是极值的点，全部置0，去掉了大部分弱的边缘，所以图像边缘会变细；
d.最后用双阈值连接图上的联通点，这也是与常规边缘纹理识别算法的主要区别，双阈值T和T/10，大于T的点肯定是边缘，小于T/10的点肯定不是边缘，在T和T/10之间的点，通过已确定的边缘点，发起8领域方向的搜索(广搜)，图中可达的是边缘，不可达的点不是边缘，最终得到边缘纹理图像I5；
S6、煤-皮带分离：将视频图像中的煤与皮带相互分离，由于运煤皮带的运输场景不同，有粗煤(大块煤石)和细煤(粉煤)等差别，不同的煤石类型又有不同的颜色、形状等差别，实际场景下摄像头分辨率、成像速度不尽相同，画面也存在明显差异，因此对不同场景进行了不同识别模式的整理实现；
S7、煤流占...

【专利技术属性】
技术研发人员：王赟，华明明，张吉哲，
申请(专利权)人：江苏三恒科技股份有限公司，
类型：发明
国别省市：江苏;32