一种基于计算机视觉的传送带物料状态检测方法技术

基于计算机视觉的传送带物料状态检测方法，包括设置对准传送带拍照、获取视频流的相机和对视频流图像进行处理的图像识别模块，其特征在于：图像识别模块执行以下操作：获取视频流，将图像灰度化，通过Gunnar_Farneback法计算稠密光流获取运动区域范围，分割运动区域，获得传送带的工作范围；本发明专利技术的目的在于提供一种能够实现对传送带运行、传送带上的物料情况进行自动化监测的基于计算机视觉的传送带物料状态检测系统。

A method of material state detection based on computer vision for conveyor belt

【技术实现步骤摘要】
一种基于计算机视觉的传送带物料状态检测方法
本专利技术涉及智能监控、计算机视觉领域。具体涉及通过一系列图像处理方法实现传送带上物料的盈余与过少状态的检测。
技术介绍
随着时代的发展，工业对自动化要求越来越高。物料生产工厂将处理后的物料通过传送带运输，需要专门的监管人员判断传送带是否运动，传送带上是否有物料，传送带上的物料类型以及物料的量。这个过程需要消耗额外的人力成本，并且，依赖于人的经验以及其他主观因素，对物料的检测结果标准差异较大。传统的对工业传送带物料的检测通常是依靠压力传感器进行，压力传感器直接或者间接与物料接触，寿命较低。并且，压力传感器是接触式检测，只能稀疏式分布，无法实现密集型的全面监测。
技术实现思路
本专利技术的目的在于提供一种能够实现对传送带运行、传送带上的物料情况进行自动化监测的基于计算机视觉的传送带物料状态检测系统。基于计算机视觉的传送带物料状态检测方法，包括对准传送带拍照、获取视频流的相机和对视频流图像进行处理的图像识别模块，图像识别模块执行以下操作：获取视频流，将图像灰度化，通过Gunnar_Farneback法计算稠密光流获取运动区域范围，分割运动区域，获得传送带的工作范围；对运动区域用霍夫变换进行直线特征提取，获得传送带两条边缘线段的四个端点坐标；利用的四个端点坐标计算线段长度区分出长线段和短线段，以短线段的任一端点y1坐标为基准，取y1作为长线段与短线段对应的y坐标值，计算获得长线段与y1对应的x3坐标值，计算公式为以短线段的另一个端点y2坐标为基准，取y2作为长线段与短线段对应的y坐标值，计算获得长线段与y2对应的x坐标值，获得四个端点坐标P1(x1,y1),P2(x2,y2)和P3(x3,y1),P4(x4,y2)；以四个端点之内的区域作为ROI区域，计算ROI区域内的灰度平均值，对ROI区域向外扩充，得到坐标P1＇(x1＇,y1),P2＇(x2＇,y2),P3＇(x3＇,y1),P4＇(x4＇,y2)；部分为按经验设置的offset值；对ROI区域向内偏移，坐标P1"(x1",y1),P2"(x2",y2),P3"(x3",y1),P4"(x4",y2)；划分了ROI区域为：传送带区域：{P1＇P2＇P2P1∪P3P4P4＇P3＇}和物料区域：{P1"P2"P2P1∪P3P4P4"P3"}。优选的，获取一帧图像作为当前图像，采用cv2.split()函数将当前帧图像做拆分通道处理，分别获得B、G、R三个单通道图像；计算单通道数值平均值，aveij＝sumij/lengthij；其中，i表示物料区域或者传送带区域，j表示R通道图像、或者G通道图像、或者B通道图像，sum为所选区域的单个通道数值累加值，length为所选区域的像素数量，计算Diffj＝|averoi1-averoi2|，roi1表示传送带区域,roi2表示物料区域；将DiffR，DiffG，DiffB按从大到小排序，将R通道图像、G通道图像和B通道图像加权后融合形成加权灰度图，加权计算公式为：ave＝λmaxavemax+λmidavemid+λminavemin，其中λmax＝0.6，λmid＝0.3，λmin＝0.1；max表示Diff值最大的通道图像，mid表示Diff值第二的通道图像，min表示Diff值最小的通道图像。对比差值Diff的大小对各个通道的图像进行排序；各通道按差值从大至小依次将通道数值均值乘以权值，之后合并为单通道图像，获得本专利技术的加权灰度图。优选的，每帧图像中传送带区域和物料区域的加权灰度分别计算其各自区域内的均值，设定为对每输入20帧的均值灰度再次求解均值，并计算均值灰度g随时间t变化的导数；对于传送带区域设定为2秒时间范围内导数的值小于所设导数下限阈值或加权灰度值小于灰度下限阈值时发送物料过多的警报；对于物料区域设定为2秒的时间内导数的值大于所设导数上限阈值或加权灰度值高于灰度上限阈值时发送物料过少的警报，阈值根据观测曲线变化情况给定。最终实现物料状态的检测。导数下限阈值为负数，导数上限阈值为正数。优选的，获取运动区域的方法为：待视频流稳定输入后获取初始的相邻两帧图像信息，处理图像的BGR三通道值，将原始图像转化为8bit单通道灰度图；Gray＝R*0299+G*0587+B*0.114；其中，Gray表示8bit单通道灰度图的灰度值，R表示原始图像的R通道灰度值，G表示原始图像的G通道灰度值，B表示原始图像的B通道灰度值。输出一个尺寸与原始图像相同的2D光流矩阵。将光流向量(u,v)的2通道数组映射至极坐标系下；找到光流向量的等级和方向，给映射至极坐标系下的光流向量(u,v)的2通道数组矩阵上色，光流向量方向对应图像的色调值，将光流场通过HSV色彩空间表示再将HSV色彩空间转化至BGR，然后BGR转化为灰度图，由于非传送带工作区域灰度趋于0，因此设置本专利技术设置灰度阈值为30，通过阈值分割的方式获得图像掩膜，表示为一个0-1二值数组，长宽尺寸同输入帧图；将掩膜和输入帧的灰度图点乘，分割运动区域，将运动区域作为传输带工作范围。优选的，对分割得到的传输带工作范围提取直线特征的操作为：首先将分割图像与高斯内核进行卷积处理，大小为(2k+1)*(2k+1)的高斯内核的生成方程式由下式给出：设定k＝1,即采用尺寸为3*3的高斯内核对图像进行滤波处理；σ表示为高斯分布的标准差，ij表示内核参数所处的位置；通过边缘检测的Sobel算子返回水平方向Gx的一阶导数值和垂直方向Gy的一阶导数值，计算图像中每个像素点的梯度强度G，和方向θ，θ＝arctan(Gy/Gx)。对于梯度计算后的图像，仅仅基于梯度值提取的边缘仍然很模糊。作为优选的方案，对梯度图像中每个像素进行非极大值抑制处理，将局部最大值之外的所有梯度值抑制为0；在施加非极大值抑制之后，剩余的像素可以更准确地表示图像中的实际边缘；设置低阈值和高阈值，将梯度值高于高阈值的边缘像素标记为强边缘像素；将梯度值小于高阈值并且大于低阈值的边缘像素标记为弱边缘像素，抑制梯度值小于低阈值的边缘像素；高阈值用于检测图像中明显的边缘，低阈值实现间断的边缘连接；对高阈值设定为255，低阈值设定为180，以实现过量冗余信息的过滤；最终返回一个二值图像，完成图像的边缘提取。霍夫变换的基本思想表示为点和线的对偶性。作为优选的方案，在直角坐标和极坐标中存在对应转化关系为：在参数空间ρ，θ里建立一个累加数组H(ρ，θ)；对二值垂直图像中每个以1表示的点(x，y)，让θ取遍θ轴上所有可能的值，并根据直线的极坐标公式计算对应的ρ，ρ＝x*cosθ+y*sinθ.再假设ρ和θ取整，对数组H(ρ，θ)进行累加，最后对H(ρ，θ)进行局部峰值检测，最终以统计的方法获取检测直线的ρ和θ值；如果检测出的某些线段属于图像中的一条真实直线，属于同一条直线的所有线段都将会有相似的ρ和θ值，满足:其中，Tρ，Tθ代表阈值；计算得出真实直线的ρ和θ值，计算公式为:本文档来自技高网...

【技术保护点】
1.基于计算机视觉的传送带物料状态检测方法，包括设置对准传送带拍照、获取视频流的相机和对视频流图像进行处理的图像识别模块，其特征在于：图像识别模块执行以下操作：获取视频流，将图像灰度化，通过Gunnar_Farneback法计算稠密光流获取运动区域范围，分割运动区域，获得传送带的工作范围；对运动区域用霍夫变换进行直线特征提取，获得传送带两条边缘线段的四个端点坐标；利用的四个端点坐标计算线段长度区分出长线段和短线段，以短线段的任一端点y

【技术特征摘要】
1.基于计算机视觉的传送带物料状态检测方法，包括设置对准传送带拍照、获取视频流的相机和对视频流图像进行处理的图像识别模块，其特征在于：图像识别模块执行以下操作：获取视频流，将图像灰度化，通过Gunnar_Farneback法计算稠密光流获取运动区域范围，分割运动区域，获得传送带的工作范围；对运动区域用霍夫变换进行直线特征提取，获得传送带两条边缘线段的四个端点坐标；利用的四个端点坐标计算线段长度区分出长线段和短线段，以短线段的任一端点y1坐标为基准，取y1作为长线段与短线段对应的y坐标值，计算获得长线段与y1对应的x3坐标值，计算公式为以短线段的另一个端点y2坐标为基准，取y2作为长线段与短线段对应的y坐标值，计算获得长线段与y2对应的x坐标值，获得四个端点坐标P1(x1,y1),P2(x2,y2)和P3(x3,y1),P4(x4,y2)；以四个端点之内的区域作为ROI区域，计算ROI区域内的灰度平均值，对ROI区域向外扩充，得到坐标P1＇(x1＇,y1),P2＇(x2＇,y2),P3＇(x3＇,y1),P4＇(x4＇,y2)；




部分为按经验设置的offset值；
对ROI区域向内偏移，坐标P1"(x1",y1),P2"(x2",y2),P3"(x3",y1),P4"(x4",y2)；



划分了ROI区域为：传送带区域：{P1＇P2＇P2P1∪P3P4P4＇P3＇}和物料区域：{P1"P2"P2P1∪P3P4P4"P3"}。


2.如权利要求书1所述的基于计算机视觉的传送带物料状态检测方法，其特征在于：获取一帧图像作为当前图像，采用cv2.split()函数将当前帧图像做拆分通道处理，分别获得B、G、R三个单通道图像；计算单通道数值平均值，aveij＝sumij/lengthij；其中，i表示物料区域或者传送带区域，j表示R通道图像、或者G通道图像、或者B通道图像，sum为所选区域的单个通道数值累加值，length为所选区域的像素数量，计算Diffj＝|averoi1-averoi2|，roi1表示传送带区域,roi2表示物料区域；将DiffR，DiffG，DiffB按从大到小排序，将R通道图像、G通道图像和B通道图像加权后融合形成加权灰度图，加权计算公式为：ave＝λmaxavemax+λmidavemid+λminavemin，其中λmax＝0.6，λmid＝0.3，λmin＝0.1；max表示Diff值最大的通道图像，mid表示Diff值第二的通道图像，min表示Diff值最小的通道图像。


3.如权利要求书2所述的基于计算机视觉的传送带物料状态检测方法，其特征在于：每帧图像中传送带区域和物料区域的加权灰度分别计算其各自区域内的均值，设定为对每输入20帧的均值灰度再次求解均值，并计算均值灰度g随时间t变化的导数；对于传送带区域设定为2秒时间范围内导数的值小于所设导数下限阈值或加权灰度值小于灰度下限阈值时发送物料过多的警报；对于物料区域设定为2秒的时间内导数的值大于所设导数上限阈值或加权灰度值高于灰度上限阈值时发送物料过少的警报，阈值根据观测曲线变化情况给定。最终实现物料状态的检测。导数下限阈值为负数，导数...

【专利技术属性】
技术研发人员：唐金亮，陈特欢，蔡振宇，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江;33