一种流水作业平台烟条自动视觉检测与计数方法技术

本发明专利技术公开了面向物流车间的一种流水作业平台烟条自动视觉检测与计数方法，属于机器视觉工业应用领域，解决流水作业平台监控视频中烟条的分割计数问题，并准确定位烟条四个顶点，为后续烟条类型识别提供可靠依据。包括设置初始信息；循环读取视频图像，提取局部区域，进行非均匀光照矫正处理；使用彩色图像阈值分割提取前景；根据前景中连通区域的面积进行双阈值处理，去除噪声的同时，将连通域分成两类；若存在小面积区域，则进行区域生长，并再次提取图像的连通域信息；若只存在大连通区域，则结合当前帧区域位置信息及前一帧分割结果的位置信息依次处理每个区域，得到当前帧分割结果。用于对流水作业平台烟条进行自动视觉检测与计数。

A cigarette production platform automatic vision detection and counting method

The invention discloses a production workshop for the logistics platform of cigarette automatic vision detection and counting method, which belongs to the field of industrial application of machine vision to solve the problem of cigarette production, segmentation and counting in video surveillance platform, and accurate positioning the four vertices, provide a reliable basis for subsequent cigarette type identification. Including set the initial information; read the video images, extract the local area of non-uniform illumination correction processing; color image using threshold segmentation to extract foreground; according to the area of connected region in prospect of double threshold, remove the noise and the connected domain is divided into two categories; if there is a small area, area growth, and once again connected domain extraction of image information; if there is only the Dalian area, the location information of the segmentation results are combined with the current frame area and location information of the previous frame in every area, get the segmentation results of the current frame. For automatic vision detection and counting of flow of the platform.

【技术实现步骤摘要】

一种流水作业平台烟条自动视觉检测与计数方法，用于精确分割物流车间分拣线上每个烟条的区域，并统计实时采集视频中经过数据采集区域的条烟总数，属于机器视觉工业应用领域。
技术介绍
“机器视觉”是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置，分CMOS和CCD两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。基于流水作业平台的物流车间烟条自动视觉检测与计数，是机器视觉在工业应用中的一个重要分支。在烟草行业中的物流中心，每天都需要根据用户订单分拣烟条。目前烟草行业中的物流中心分拣线，普遍使用机械自动分拣货物，在人工核对订单准确性。然而传动平台运行速度快，流量大，人工核对订单困难且准确度低。因此，可以使用机器视觉的方法自动检测条烟信息，将检测结果传送给图像识别模块进一步处理，完成订单的核对。然而在在拍摄的视频中，会遇到很多不同类型的烟条，烟条间存在不同的摆放状态。所以研究人员们在设计算法时，既要克服单个烟条区域特征的变化、还要克服条烟间相互连接带来的分割困难。近些年来有不少的研究机构和企业对转动平台条烟的识别进行研究，其中从图像中检测出烟条的具体位置信息是特征提取与类别判断的基础。然而现有的研究主要集中在特征提取与类别判断上，缺乏对烟条检测与计数的研究；目前仅有的是基于Hough直线检测的方法，该方法也仅仅讨论了视野中仅有一条独立的烟存在的情况，且算法耗时多，准确率较低，不易推广使用。
技术实现思路
本专利技术针对上述不足之处提供了一种流水作业平台烟条自动视觉检测与计数方法，解决现有技术无法适应烟条摆放复杂的状况，特别是对于基于特征提取、边缘识别类方法，当烟条在高速传送带上密集排布时有烟条区域边界重合的情况，现有方法因通过烟条线条边缘特征进行检测而容易受到提取和识别效果的严重影响以导致不能够正确区分多个烟条并清楚地计数烟条，并且其算法存在耗时高、准确性差的问题。为了实现上述目的，本专利技术采用的技术方案为：一种流水作业平台烟条自动视觉检测方法，获取背景差分后二值烟条图像帧的连通域，再按帧序依次将每个二值烟条图像帧的连通域分为存在相对大小的类、按类取连通域的外接矩形、对相对小类进行区域增长得到完整的存在条烟的区域，接着分别根据相对大类连通域面积大小设置对应的阈值条件，然后由阈值条件满足情况选择地分割相对大类的连通域，确定计数条烟区域的顶点信息并累计烟条数量，最后获得视频中通过的所有烟条数量及烟条所在区域顶点信息。进一步地，还包括以下步骤：步骤1：设置初始参数，读入背景图像g(x,y),并进行非均匀光照校正处理，得到增强的背景图像g'(x,y)；步骤2：循环读入视频图像f(x,y)，根据所选取的初始参数获得与背景图像相同位置的局部图像f1(x,y)，再进行非均匀光照校正处理得到增强的局部图像f1'(x,y)；步骤3：令增强的局部图像f1'(x,y)与增强的背景图像g'(x,y)差分，再对差分后图像进行阈值处理得到二值图像b(x,y)；步骤4：对二值图像b(x,y)进行膨胀处理得到生长后的二值图像b1(x,y)，提取生长后的二值图像b1(x,y)中的连通区域轮廓C；步骤5：对生长后的二值图像b1(x,y)中的连通区域进行双阈值处理，依据连通区域轮廓C(i)面积S(i)去除噪声，并将连通区域分成两类Cl、Cs，对应面积大小为Sl、Ss；步骤6：计算包含轮廓Cl(j)的外接矩形Rl(j)，大连通区域数量Nl＝|Cl|，j＝1,2,...,Nl，计算包含轮廓Cs(k)的外接矩形Rs(k)，小连通区域数量Ns＝|Cs|，k＝1,2,...,Ns，去除连通区域两端的小连通域数量，得到连通区域中心小连通区域Ns'；步骤7：如果小连通区域数量Ns'＝0，则执行步骤9，否则执行步骤8；步骤8：在外接矩形Rs附近选取种子像素点，进行区域生长，在二值图像中保留包含小连通区域的生长结果，执行步骤5；步骤9：如果大连通区域数量Nl>0，执行步骤10，否则执行步骤13；步骤10：对大连通区域细分割，结合图像帧序列中已计数烟条所在区域的顶点信息P'o计算未计数的单条烟区域的顶点信息Po；步骤11：如果存在未计数条烟区域，执行步骤12，否则执行步骤13；步骤12：保存或输出当前分割结果并计数，并更新已计数烟条所在区域的顶点信息P'o＝Po；步骤13：根据视频图像条烟运动速度估计下一帧图像中的已计数烟条所在区域的顶点信息P'o；步骤14：如果视频结束，输出视频分割累计结果，否则执行步骤2。进一步地，所述步骤1和步骤2中，非均匀光照校正处理的公式为：其中I(i,j)为输入RGB图像中的一个彩色像素点，minI(i,j)是为坐标(i,j)处像素RGB三通道中的最小值，N为图像每一行的像素个数，M为图像上每一列的像素个数，像素点的每个通道都减去三通道中的最小值。进一步地，所述步骤3中，计算二值图像公式如下：其中||f1'(i,j)-g'(i,j)||1为坐标(i,j)处f1'(i,j)与背景像素g'(i,j)差分的一范数，Th为二值化的阈值，若当前像素点与背景差分的一范数大于阈值Th即为前景b(i,j)＝1，否则b(i,j)＝0。进一步地，所述步骤5中，连通区域双阈值处理公式如下：其中C[k]为第k个连通区域轮廓，area(C[k])为轮廓C[k]所包含的区域像素数，即区域面积，Tharea1，Tharea2为高低阈值，其中Tharea1<Tharea2，如果Class[k]＝0表示轮廓k包含的区域属于噪声，Class[k]＝1表示轮廓包含连通区域面积较小，Class[k]＝1表示轮廓包含连通区域面积较大。进一步地，所述步骤8中，区域生长的公式如下：其中Th2为区域生长阈值，N8(b(i,j))表示像素f(i,j)的八邻域，(n,m)为二值图像b(n,m)的领域中存在前景像素点的位置，f(x0,y0)为区域生长的种子点，||f(i,j)-f(x0,y0)||1为当前像素点与种子点差值的一范数，b(n,m)＝0代表当前像素与种子像素差距过大，仍然为背景像素，b(n,m)＝1表示，当前像素与种子像素相似，成为新的前景像素。进一步地，所述步骤10中，连通区域细分割具体步骤如下：(101)定义传送带运动方向为从左到右，图像左上角为原点；(101.1)寻找j*使得外接矩形Rl(j*)顶点坐标xj*>xj(j＝1,2,...,Nl&j≠j*)；(101.2)计算外接矩形Rl(j*)对应的四个顶点P[m],m＝0,1,2,3，四个顶点顺序为左下角、左上角、右上角，右下角，计算轮廓Cl(j*)的近似多边形曲线Aj*；(102)根据近似多边形曲线Aj*包含的轮廓点与四个顶点P[m]的相对位置关系，将近似多边形曲线Aj*包含的连通区域进一步分割为多个四边形组成的集合，每个四边形为一条烟所在区域；(103)若在已计数烟条所在区域信息P'o左边存在完整的条烟区域，则最接近P'o的区域为当前分割结果本文档来自技高网...

【技术保护点】
一种流水作业平台烟条自动视觉检测方法，其特征在于，获取背景差分后二值烟条图像帧的连通域，再按帧序依次将每个二值烟条图像帧的连通域分为存在相对大小的类、按类取连通域的外接矩形、对相对小类进行区域增长得到完整的存在条烟的区域，接着分别根据相对大类连通域面积大小设置对应的阈值条件，然后由阈值条件满足情况选择地分割超出烟条预设连通区域面积的相对大类连通域，确定计数条烟区域的顶点信息并累计烟条数量，最后获得视频中通过的所有烟条数量及烟条所在区域顶点信息。

【技术特征摘要】
1.一种流水作业平台烟条自动视觉检测方法，其特征在于，获取背景差分后二值烟条图像帧的连通域，再按帧序依次将每个二值烟条图像帧的连通域分为存在相对大小的类、按类取连通域的外接矩形、对相对小类进行区域增长得到完整的存在条烟的区域，接着分别根据相对大类连通域面积大小设置对应的阈值条件，然后由阈值条件满足情况选择地分割超出烟条预设连通区域面积的相对大类连通域，确定计数条烟区域的顶点信息并累计烟条数量，最后获得视频中通过的所有烟条数量及烟条所在区域顶点信息。2.根据权利要求1所述的一种流水作业平台烟条自动视觉检测方法，其特征在于，还包括以下步骤：步骤1：设置初始参数，读入背景图像g(x,y),并进行非均匀光照校正处理，得到增强的背景图像g'(x,y)；步骤2：循环读入视频图像f(x,y)，根据所选取的初始参数获得与背景图像相同位置的局部图像f1(x,y)，再进行非均匀光照校正处理得到增强的局部图像f1'(x,y)；步骤3：令增强的局部图像f1'(x,y)与增强的背景图像g'(x,y)差分，再对差分后图像进行阈值处理得到二值图像b(x,y)；步骤4：对二值图像b(x,y)进行膨胀处理得到生长后的二值图像b1(x,y)，提取生长后的二值图像b1(x,y)中的连通区域轮廓C；步骤5：对生长后的二值图像b1(x,y)中的连通区域进行双阈值处理，依据连通区域轮廓C(i)面积S(i)去除噪声，并将连通区域分成两类Cl、Cs，对应面积大小为Sl、Ss；步骤6：计算包含轮廓Cl(j)的外接矩形Rl(j)，大连通区域数量Nl＝|Cl|，j＝1,2,...,Nl，计算包含轮廓Cs(k)的外接矩形Rs(k)，小连通区域数量Ns＝|Cs|，k＝1,2,...,Ns，去除连通区域两端的小连通域数量，得到图像b(x,y)中心小连通区域数量Ns'；步骤7：如果小连通区域数量Ns'＝0，则执行步骤9，否则执行步骤8；步骤8：在外接矩形Rs附近选取种子像素点，进行区域生长，在二值图像中保留包含小连通区域的生长结果，执行步骤5；步骤9：如果大连通区域数量Nl>0，执行步骤10，否则执行步骤13；步骤10：对大连通区域细分割，结合图像帧序列中已计数烟条所在区域信息Po'计算未计数的单条烟区域Po；步骤11：如果存在未计数条烟区域，执行步骤12，否则执行步骤13；步骤12：保存或输出当前分割结果并计数，并更新已计数烟条所在区域信息Po'＝Po；步骤13：根据视频图像条烟运动速度估计下一帧图像中的已计数烟条所在区域信息Po'；步骤14：如果视频结束，输出视频分割累计结果，否则执行...

【专利技术属性】
技术研发人员：彭真明，李梦雪，王璟璟，田明，卢耀坤，李健，张兰丹，曹思颖，张萍，蒲恬，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51