一种基于图像分割的工件定位与识别的方法技术

本发明专利技术是一种基于图像分割的工件定位与识别的方法，分为预处理、工件区域定位与分割、特征提取与识别三部分。预处理即传送带上工件图像的图像进行去噪，然后对已去噪的图像进行灰度拉伸的图像增强，最后进行阈值化等操作，其目的是突显图像中的工件区域，为定位工件区域做准备；工件区域定位与分割是指使用基于最小外接矩形分割算法，把工件区域用最小外接矩形框住，然后裁剪出最小外接矩形内的工件区域图像，作为特征提取的图像；提取图像的不变矩与几何特征作为分类器训练的特征组，最后各种工件的多个特征作为训练样本集，训练分类器。本发明专利技术算法设计简单、快速，不仅能够保证定位准确，而且能够满足流水线上实时性的需求，实现了传送带上的工件定位与识别。

A method of workpiece location and recognition based on image segmentation

The invention relates to a method for locating and recognizing workpieces based on image segmentation, which is divided into three parts: preprocessing, workpiece location and segmentation, feature extraction and recognition. The conveyor belt on the image preprocessing of the workpiece image denoising, image and the denoised image gray enhancement, finally thresholding operation, its purpose is to highlight the workpiece area in the image, preparing for the workpiece positioning area; workpiece location and segmentation based on the minimum refers to the use of external the rectangular segmentation algorithm, the work area with a minimum bounding rectangle, and then cut out the minimum bounding rectangle of the workpiece image, as image feature extraction; extraction of image invariant moments and geometric feature as feature classifier training group, a number of characteristics of the final workpiece as the training set to train the classifier. The method of the invention is simple and fast in design, and can not only ensure accurate positioning, but also meet the real-time requirement of the pipeline, and realize the positioning and recognition of the workpiece on the conveyer belt.

【技术实现步骤摘要】
一种基于图像分割的工件定位与识别的方法
本专利技术涉及一种基于图像分割的工件定位与识别的方法，属于机器视觉领域。
技术介绍
随着计算机技术、数字图像处理的迅速发展，机器视觉在国民经济、科学研究及国防建设领域都有着广泛的应用。机器视觉作为工业机器人获得外接环境信息的主要手段，它可以提高工业生产的柔性和自动化程度，其最大的优点是与被观测对象无接触，对观测对象不会带来损伤，另外机器人可以在恶劣环境用于代替人工不知疲倦、始终如一的观测被检测对象。传统的装配生产线上，装配机器人的操作都是通过逐点示教才能完成生产线上的物料搬运、装配以及各工位之间工件转移和上下料，只能做一些固定的动作，但是工业现场环境复杂，工件位姿随机摆放，实际目标工件的位置与理想工件位姿极易存在偏差，致使工业机器人无法顺利完成操作任务。这些机器人利用各种传感器来进行控制，称为敏感控制机器人。进行装配操作时，所有的动作都要预先设定，同时要求工件位置、包装箱的位置和方向放置得非常严格。为此要有价格昂贵的夹具或固定机构，还需要有精心设计的特殊传送带。将视觉系统引入工业机器人，可以大大地扩展机器人的使用性能和应用范围，使机器人在完成指定任务的过程中，具有更大的适应性，也使得工业生产现代化、智能化。在实际应用中，需要机械手能根据工件实际的位置动态调整抓取操作，因此，设计了一种基于图像分割的工件定位与识别方法，通过视觉系统捕获工件图像，采用最小外接矩形定位的方法，计算出工件的位置，以及偏转角度，实时发送工件的位置信息给机器人。从而使机器人根据图像处理结果，做出相应的动作，抓取工件。
技术实现思路
针对现有方法中存在的上述不足，本专利技术要解决的技术问题是提供一种基于图像分割的工件定位与识别的方法。本专利技术为实现上述目的所采用的技术方案是：一种基于图像分割的工件定位与识别的方法，包括以下步骤：图像预处理阶段：去除输入图像中的噪音，对图像进行平滑操作；根据平滑后图像的灰度级像素个数，得到平滑后图像前景与背景灰度的两个最大值，基于两个最大值的对应灰度进行图像增强，用以增强图像的前景与背景的对比度；根据图像中前景与背景灰度的期望，进行阈值分割；工件区域定位与分割阶段：对阈值分割后的二值图像进行局部区域填充与被包围区域填充；提取填充后图像的边缘，使用最小外接矩形框出图像中的工件区域，对最小外接矩形的工件区域进行分割，分割出图中含有工件区域的子图像，作为特征提取的图像，提取不变矩特征与几何特征；根据提取出的特征训练分类器，对工件特征进行分类。所述基于两个最大值的对应灰度进行图像增强，通过以下公式计算：其中，图像的灰度级数为0～M，背景色为白色，前景色为黑色，a为在0～M/2中灰度直方图最大值对应的灰度值，b为在M/2～M中灰度直方图最大值对应的灰度值，f(x,y)为输入图像的灰度值，级数为0～M，g(x,y)为图像增强后的灰度值，级数为0～M，其中M＝255的条件下，c、d的值根据人眼能够分辨的像素设置。所述阈值分割，包括以下步骤：设直方图数组为Hist[256],灰度值为i的像素个数为ni＝Hist[i]，灰度值在[0～T]间的总像素数为N，灰度值为i的像素的概率为：灰度值在[T+1～255]之间像素的总数为M，则灰度值为i的像素的概率为：求的最大值max{sum[i]，i∈[0～255]}对应的i，其中，所求得的i即为图像分割阈值T，根据T进行图像阈值分割。所述局部区域填充分为纵向局部填充和横向局部填充；所述纵向局部填充：设黑色为前景，白色为背景，如果同一列两个黑点之间的像素全部是白色且两点间的像素长度不大于预设填充阈值，则填充为黑色；所述横向填充：设黑色为前景，白色为背景，如果同一行两个黑点之间的像素全部是白色且两点之间的距离不大于预设填充阈值长度的区域，则填充为黑色。所述被包围区域填充具体为：设白色点为背景，黑色点为前景，如果白色连通区域到达边缘点，则该区域不被包围；如果白色连通区域不能到达边缘点，则该区域被包围，被包围区域填充为黑色。所述对最小外接矩形的工件区域进行分割：根据最小外接矩形与源图像坐标系x轴的角度θ，对工件区域进行切割，根据几何关系，源图像对应工件区域图像的像素：m＝pt[2].y+i*cosθ+j*sinθn＝pt[2].x-j*cosθ+i*sinθdst.pixel(i,j)＝src.pixel(m,n)其中，m、n是源图像中的坐标，i、j是工件区域图像的像素坐标，0≤i<dst.width,0≤j<dst.height，dst.width是工件区域图像的宽，dst.height是工件区域图像的长，dst.pixel(i,j)是工件区域图像的灰度值，src.pixel(m,n)是源图像的灰度值，pt[2]是工件区域图像坐标系的原点。所述提取子图像的不变矩特征：设已切割出大小为M*N的目标数字图像f(i,j)的二维(p+q)阶矩定义为其中p＝0,1,2,…和q＝0,1,2,…是整数，相应的(p+q)阶中心矩定义为：式中p＝0,1,2,…和q＝0,1,2,…,其中和由ηpq表示的归一化中心矩定义为式中，其中(p+q)＝2，3，…由二阶矩和三阶矩推出如下7个不变矩组：φ1＝η20+η02φ3＝(η30-3η12)2+(3η21-η03)2φ4＝(η30+η12)2+(η21+η03)2φ5＝(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]φ6＝(η20-η02)[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03)φ7＝(3η21-η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η12-η30)(η21+η03)[3(η30+η12)2-(η21+η03)2]所述几何特征包括圆度、连通区域的细长度和连通区域的矩形拟合因子；所述圆度用于衡量图形的周边复杂程度，计算公式如下：其中，p为图形周长，A为周长所围的面积；所述细长度是区域外接矩形的长宽比，区域外接矩形是一个包围缺陷形状的面积最小的矩形，细长度的计算公式如下：其中，a、b分别是最小外接矩形的宽与长；矩形拟合因子R是反映工件矩形度的参数：其中，Ao是工件所在区域面积，Ar是工件最小外接矩形的面积。所述分类器为基于高斯径向基的支持向量机。本专利技术具有以下优点及有益效果：1.给出工件的具体位置，准确度高。经过一系列的预处理，工件区域填充后，增加了工件区域完整性，使用最小外接矩形框出工件区域，并切割出去含有工件区域的子图像，给出工件的偏移角度。2.算法速度快，实时性好。预处理过程中，高斯平均算子平滑，基于直方图两个最大值对应灰度的图像增强算法与基于最大平方和的阈值分割算法设计简单，时间复杂度低，计算量小。3.分类准确。使用基于高斯径向基核函数的支持向量机，速度较快。对于大多说情况都是一个较好的选择。4.适应性强。本方法适用于生产线上各种工件的定位与分类，包括螺母，钥匙，垫片等。附图说明图1是工件定位与识别流程图；图2是六角螺母原图；图3是图2基于直方图两个最大值对应灰度的灰度拉伸图；图4是图3基于本文档来自技高网...

【技术保护点】
一种基于图像分割的工件定位与识别的方法，其特征在于，包括以下步骤：图像预处理阶段：去除输入图像中的噪音，对图像进行平滑操作；根据平滑后图像的灰度级像素个数，得到平滑后图像前景与背景灰度的两个最大值，基于两个最大值的对应灰度进行图像增强，用以增强图像的前景与背景的对比度；根据图像中前景与背景灰度的期望，进行阈值分割；工件区域定位与分割阶段：对阈值分割后的二值图像进行局部区域填充与被包围区域填充；提取填充后图像的边缘，使用最小外接矩形框出图像中的工件区域，对最小外接矩形的工件区域进行分割，分割出图中含有工件区域的子图像，作为特征提取的图像，提取不变矩特征与几何特征；根据提取出的特征训练分类器，对工件特征进行分类。

【技术特征摘要】
1.一种基于图像分割的工件定位与识别的方法，其特征在于，包括以下步骤：图像预处理阶段：去除输入图像中的噪音，对图像进行平滑操作；根据平滑后图像的灰度级像素个数，得到平滑后图像前景与背景灰度的两个最大值，基于两个最大值的对应灰度进行图像增强，用以增强图像的前景与背景的对比度；根据图像中前景与背景灰度的期望，进行阈值分割；工件区域定位与分割阶段：对阈值分割后的二值图像进行局部区域填充与被包围区域填充；提取填充后图像的边缘，使用最小外接矩形框出图像中的工件区域，对最小外接矩形的工件区域进行分割，分割出图中含有工件区域的子图像，作为特征提取的图像，提取不变矩特征与几何特征；根据提取出的特征训练分类器，对工件特征进行分类。2.根据权利要求1所述的一种基于图像分割的工件定位与识别的方法，其特征在于，所述基于两个最大值的对应灰度进行图像增强，通过以下公式计算：其中，图像的灰度级数为0～M，背景色为白色，前景色为黑色，a为在0～M/2中灰度直方图最大值对应的灰度值，b为在M/2～M中灰度直方图最大值对应的灰度值，f(x,y)为输入图像的灰度值，级数为0～M，g(x,y)为图像增强后的灰度值，级数为0～M，其中M＝255的条件下，根据人眼能够分辨的像素设置c、d的值。3.根据权利要求1所述的一种基于图像分割的工件定位与识别的方法，其特征在于，所述阈值分割，包括以下步骤：设直方图数组为Hist[256],灰度值为i的像素个数为ni＝Hist[i]，灰度值在[0～T]间的总像素数为N，灰度值为i的像素的概率为：灰度值在[T+1～255]之间像素的总数为M，则灰度值为i的像素的概率为：求的最大值max{sum[i]，i∈[0～255]}对应的i，其中，所求得的i即为图像分割阈值T，根据T进行图像阈值分割。4.根据权利要求1所述的一种基于图像分割的工件定位与识别的方法，其特征在于，所述局部区域填充分为纵向局部填充和横向局部填充；所述纵向局部填充：设黑色为前景，白色为背景，如果同一列两个黑点之间的像素全部是白色且两点间的像素长度不大于预设填充阈值，则填充为黑色；所述横向填充：设黑色为前景，白色为背景，如果同一行两个黑点之间的像素全部是白色且两点之间的距离不大于预设填充阈值长度的区域，则填充为黑色。5.根据权利要求1所述的一种基于图像分割的工件定位与识别的方法，其特征在于，所述被包围区域填充具体为：设白色点为背景，黑色点为前景，如果白色连通区域到达边缘点，则该区域不被包围；如果白色连通区域不能到达边缘点，则该区域被包围，被包围区域填充为黑色。6.根据权利要求1所述的一种基于图像分割的工件定位与识别的方法，其特征在于，所述对...

【专利技术属性】
技术研发人员：杨东升，张展，刘荫忠，孙维堂，谷艾，
申请(专利权)人：中国科学院沈阳计算技术研究所有限公司，
类型：发明
国别省市：辽宁,21