一种基于计算机视觉的板材分拣系统及方法技术方案

本发明专利技术公开了一种基于计算机视觉的板材分拣系统及方法，分拣系统包括图像采集装置、分拣机器人、数据处理分析装置、信息传输装置和显示装置。分拣方法为首先通过图像采集装置采集左右图像并分别进行实时拼接，使用预先训练的板材检测模型进行板材区域提取，将提取出的板材区域通过板材角点检测算法进行角点检测和匹配，计算出角点的三维坐标，进而计算出板材的实际尺寸和中心位置，最终将分类结果和板材中心位置传递给分拣机器人控制器，控制分拣机器人对板材进行分拣。本发明专利技术能够通过图像获取板材的实际长宽值，对不同尺寸的板材进行分类，并返回控制信号控制分拣机器人拾取板材，从而实现板材智能分拣。从而实现板材智能分拣。从而实现板材智能分拣。

【技术实现步骤摘要】
一种基于计算机视觉的板材分拣系统及方法


[0001]本专利技术涉及智能机器人领域，特别涉及一种基于计算机视觉的机器人板材智能分拣系统及方法。

技术介绍

[0002]近年来全球经济飞速发展，随着人力成本逐渐上升和绿色环保的要求加强，制造行业的企业都在追求更加经济、节能、高效的制造模式。智能机器人可以将大空间内离散生产单元和地面物流系统无缝连接，将制造数据直接链接到物联网，可实现互联工厂的智能化生产，是现在“无人”工厂的主力军。在板材自动化生产线中，存在多道工序需要对矩形状的板材物料进行分拣。随着计算机视觉技术的发展，机器视觉技术在工业制造领域中被广泛应用到自动化生产流水线的工件识别、缺陷检测、智能分拣等方面。在木工加工生产线中，基于计算机视觉的板材智能分拣可以有效提高生产灵活性和智能化程度。
[0003]目前，工业机器人的视觉分拣技术在算法研究和实际应用都取得了很大进展。普渡大学提出了一种基于机器视觉的材料分选系统，其中使用简单的弧形轮廓特征来描述复杂的零件，能够较好地从装有一堆零件的容器中捕获零件；法国S.Trika等提出了利用机器视觉技术通过矩阈值分割方法提取复杂零件的特征，并基于最小二乘法进行模式识别，对不同零件进行分类；深圳大学的陈恳使用工业相机获取图像信息后，采用双边滤波器对原图像进行滤波处理，提取物料轮廓，通过轮廓的大小来判别物料的种类；景卓、陈超波、赵楠等人通过ARM9硬件平台研究了机器视觉在物料分拣问题，改进了在图像处理时的轮廓与拟合误差的计算方式，实现了对规则物料和残次物料的区分，达到了分拣的目的；华南理工大学的何家恒提出了将边缘识别算法和模板匹配算法相结合的视觉识别算法，通过实验验证了改良模板匹配算法的准确性。
[0004]龙门机器人作为一种成本相对较低的自动化系统解决方案，具有机械结构简单、作业区域广泛、负载大和运行稳定等优点。青岛科捷机器人采用龙门机器人实现了对橡胶轮胎单件搬运及码垛功能，并配合条码或RFID扫描实现物料智能自动分拣功能。现有的分拣算法视觉解决方案多依靠条码或完整物料轮廓模板进行实现。而在使用龙门机器人进行板材加工生产过程中，在相机安装位置、龙门机器人末端机械手的运动以及大尺寸板材物料等因素的影响下，相机获取的图片中板材存在被遮挡或不完整等情况。鉴于此，本专利提出一种基于计算机视觉的机器人板材智能分拣系统及检测方法。

技术实现思路

[0005]为了提高工业现场智能化，本专利技术针对板材分拣任务场景，提供了一种基于计算机视觉的矩形板材智能分拣系统及分拣方法，能够对不同尺寸的板材进行角点提取，计算板材的实际尺寸并与板材尺寸库进行匹配，同时对板材进行视觉定位，并将信息自动传回处理器，控制机器人对板材进行自动抓取。
[0006]本专利技术提供了一种基于计算机视觉的板材分拣系统，其包括图像采集装置、分拣
机器人、数据处理分析装置、信息传输装置和显示装置；所述图像采集装置包括多个双目相机，所述双目相机安装在所述分拣机器人的机械手上进行图像信息采集；所述信息传输装置将所述图像采集装置采集的图像和所述数据处理分析装置的分拣结果传输到显示装置上；所述数据处理分析装置安装在所述分拣机器人的机械手上，所述数据处理分析装置能够对不同尺寸的矩形板材图像进行矩形角点检测并与板材类型数据库进行匹配以此计算出门板的实际尺寸和位置，并将结果作为输出信号传输给分拣机器人控制器实现控制分拣机器人完成分拣；所述数据处理分析装置包括以下功能模块：
[0007]图像拼接模块，用于将多个双目相机采集的图像进行拼接以扩大图像视野；
[0008]板材区域提取模块，用于对拼接后的大视野图像进行板材检测；
[0009]板材角点检测模块，用于对图像中板材局部区域进行板材的角点检测；
[0010]角点匹配模块，用于对双目相机左右图像分别提取的板材角点进行匹配；
[0011]板材分拣模块，能够根据检测到的板材角点计算板材实际尺寸与板材尺寸库进行尺寸匹配，然后根据检测到的板材角点计算板材中心位置，并将结果信息传送至分拣机器人的控制器控制机械手完成分拣；
[0012]数据存储模块，用于存储相机的参数信息和板材板型尺寸库，并记录检测过程中的图像数据和检测日志。
[0013]优选的，所述分拣机器人为四自由度分拣机器人。
[0014]优选的，所述四自由度分拣机器人为龙门机器人。
[0015]本专利技术还提供了一种基于计算机视觉的板材分拣方法，其包括以下步骤：
[0016]S1、相机标定；
[0017]S2、板材检测模型的训练；
[0018]S3、板材图像的采集：
[0019]S4、使用板材检测模型对步骤S3中采集的图像进行板材区域提取；
[0020]S5、对步骤S4提取出的板材区域进行角点检测；
[0021]S51、图片预处理：将采集的图像转换成灰度图；
[0022]S52、图像边缘提取：使用Edge Drawing边缘检测算法提取边缘像素链；
[0023]S53、提取边缘线段：对步骤S52提取的边缘图使用最小二乘线拟合法生成最小长度的初始线段，再通过增加像素点来扩大线段；
[0024]S54、边缘线段筛选：通过板材边缘直线的几何特征对步骤S53提取的边缘线段进行筛选，并对短线段、重复线段进行聚合；
[0025]具体包括以下步骤：
[0026]S541、不规则线段筛选：根据板材边缘邻边直线相互垂直和对边直线相互平行的几何特征，筛选出不规则的线段；
[0027]S542、短线段或重复线段的聚合：对复杂边缘提取的多条短线段或重复线段进行筛选，设置线段距离最小阈值，两直线距离计算定义为一条直线的中点到另一条直线的距离，其表达式如下：
[0028][0029]其中，d表示两条线段的距离，表示线段i的两个端点坐标，表示线段i中心点的坐标；
[0030]S55、计算边缘直线交点：计算筛选后的直线交点，其表达式如下：
[0031][0032]其中，(x，y)表示两条直线交点，(k
i
，b
i
)表示第i条直线的斜率和截距；
[0033]S56、提取板材角点：根据板材角点在极坐标系下的特征对所有交点进行筛选；
[0034]具体包括以下步骤：
[0035]S561、极坐标系原点选取：根据板材角点在图像坐标系下的坐标特点，选取位于最左下角位置的板材角点作为极坐标系的原点；
[0036]S562、所有交点在极坐标系下的特征计算：计算极坐标系下的所有交点的坐标，包括极角和幅值，其表达式如下：
[0037][0038]其中，(ρ，θ)表示交点的极坐标，(x
i
，y
i
)表示第i个交点，(x0，y0)表示极坐标系原点；
[0039]S563、板材角点筛选：根据板材其余角点在极坐标系下的极角和幅值特征进行筛选；
[0040]S6、对步骤S5提取的板材角点进行角点匹配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉的板材分拣系统，其特征在于，其包括图像采集装置、分拣机器人、数据处理分析装置、信息传输装置和显示装置；所述图像采集装置包括多个双目相机，所述双目相机安装在所述分拣机器人的机械手上进行图像信息采集；所述信息传输装置将所述图像采集装置采集的图像和所述数据处理分析装置的分拣结果传输到显示装置上；所述数据处理分析装置安装在所述分拣机器人的机械手上，所述数据处理分析装置能够对不同尺寸的矩形板材图像进行矩形角点检测并与板材类型数据库进行匹配以此计算出门板的实际尺寸和位置，并将结果作为输出信号传输给分拣机器人控制器实现控制分拣机器人完成分拣；所述数据处理分析装置包括以下功能模块：图像拼接模块，用于将多个双目相机采集的图像进行拼接以扩大图像视野；板材区域提取模块，用于对拼接后的大视野图像进行板材检测；板材角点检测模块，用于对图像中板材局部区域进行板材的角点检测；角点匹配模块，用于对双目相机左右图像分别提取的板材角点进行匹配；板材分拣模块，能够根据检测到的板材角点计算板材实际尺寸与板材尺寸库进行尺寸匹配，然后根据检测到的板材角点计算板材中心位置，并将结果信息传送至分拣机器人的控制器控制机械手完成分拣；数据存储模块，用于存储相机的参数信息和板材板型尺寸库，并记录检测过程中的图像数据和检测日志。2.一种基于计算机视觉的板材分拣方法，其特征在于，其包括以下步骤：S1、相机标定；S2、板材检测模型的训练；S3、板材图像的采集：S4、使用板材检测模型对步骤S3中采集的图像进行板材区域提取；S5、对步骤S4提取出的板材区域进行角点检测；S51、图片预处理：将采集的图像转换成灰度图；S52、图像边缘提取：使用Edge Drawing边缘检测算法提取边缘像素链；S53、提取边缘线段：对步骤S52提取的边缘图使用最小二乘线拟合法生成最小长度的初始线段，再通过增加像素点来扩大线段；S54、边缘线段筛选：通过板材边缘直线的几何特征对步骤S53提取的边缘线段进行筛选，并对短线段、重复线段进行聚合；具体包括以下步骤：S541、不规则线段筛选：根据板材边缘邻边直线相互垂直和对边直线相互平行的几何特征，筛选出不规则的线段；S542、短线段或重复线段的聚合：对复杂边缘提取的多条短线段或重复线段进行筛选，设置线段距离最小阈值，两直线距离计算定义为一条直线的中点到另一条直线的距离，其表达式如下：
其中，d表示两条线段的距离，表示线段i的两个端点坐标，表示线段i中心点的坐标；S55、计算边缘直线交点：计算筛选后的直线交点，其表达式如下：其中，(x,y)表示两条直线交点，表示第i条直线的斜率和截距；S56、提取板材角点：根据板材角点在极坐标系下的特征对所有交点进行筛选；具体包括以下步骤：S561、极坐标系原点选取：根据板材角点在图像坐标系下的坐标特点，选取位于最左下角位置的板材角点作为极坐标系的原点；S562、所有交点在极坐标系下的特征计算：计算极坐标系下的所有交点的坐标，包括极角和幅值,其表达式如下：其中，(ρ,θ)表示交点的极坐标，(x
i
,y
i
)表示第i个交点，(x0,y0)表示极坐标系原点；S563、板材角点筛选：根据板材其余角点在极坐标系下...

【专利技术属性】
技术研发人员：丁伟利，杨庆，华长春，
申请(专利权)人：燕山大学，
类型：发明
国别省市：