一种基于产品颜色及形状识别的智能分拣系统及方法技术方案

本发明专利技术公开了一种基于产品颜色及形状识别的智能分拣系统及方法，在现场传送带上方布置CCD相机，通过机器人手眼标定操作，确定像素坐标系和机器人坐标系的坐标转化关系；CCD相机尺度采用的是像素坐标，机器人坐标是空间坐标系，手眼标定就是得到像素坐标系和机器人坐标系的坐标转化关系；采用九点标定直接建立CCD相机和机器人之间的坐标变换关系，让机器人的末端通过九个点得到在机器人坐标系中的坐标，用CCD相机识别九个点得到像素坐标；通过计算可获得像素坐标系和机器人坐标系的坐标转化的标定参数。本发明专利技术构建了基于机器视觉的智能分拣系统，实现了工件的自动分拣，自动进行工件的外部尺寸检测，并与标准工件模板比较，从而区分不同类别的工件。从而区分不同类别的工件。从而区分不同类别的工件。

【技术实现步骤摘要】
一种基于产品颜色及形状识别的智能分拣系统及方法


[0001]本专利技术属于智能制造
，特别适用于工业产品分拣过程中；具体地是涉及一种基于产品颜色及形状识别的智能分拣系统及方法。

技术介绍

[0002]对目标产品进行准确抓取并按照类别放置在预定位置被定义为工业分拣过程。在食品、物流和电子等轻工行业，生产过程往往需要完成对大批量工业产品的分拣操作，传统依靠大量人工的分拣方式已经难以满足生产需求。随着自动化相关技术的普及与发展，越来越多的工业生产过程已经开始装备自动化设备来实施分拣作业任务。分拣过程包括静态分拣和动态分拣两种方式。静态分拣过程要求目标处于静止状态，目标产品的位置姿态和机器人末端的运动路径都需要预先通过示教或离线编程的方式严格设定，虽然可以保证分拣精度，但工业机器人对环境的适应能力较弱，灵活性较差，无法满足生产系统高速分拣和柔性化的生产需求。动态分拣过程更适用于对流水线上运动的轻小物品进行高速抓取放置(pick
‑
and
‑
place)的操作，如再结合工业视觉系统，则机器人就能够快速地对流水线上随机呈现的移动目标产品完成分拣过程，这样会显著提升机器人的智能化程度，使机器人能够快速地应对生产环境的改变。因此，研究出一种基于机器视觉的机器人分拣系统及方法对提升工业生产效率具有十分重要的意义。

技术实现思路

[0003]本专利技术就是针对上述问题，弥补现有技术的不足，提供一种基于产品颜色及形状识别的智能分拣系统及方法；本专利技术构建了基于机器视觉的机器人智能分拣系统，实现了工件即目标产品的自动分拣，自动进行工件的外部尺寸检测，并与标准工件模板比较，从而区分不同类别的工件。本专利技术系统可以大大提高工件分拣的效率，从而降低产品的检测成本，满足企业对产品品质管理的需求。
[0004]为实现上述目的，本专利技术采用如下技术方案。
[0005]本专利技术提供的一种基于产品颜色及形状识别的智能分拣系统，包括视觉信号采集层、视觉信号处理层、视觉任务控制层、视觉应用层；
[0006]视觉信号采集层，用于为系统提供实时现场流水线视觉信息；在现场传送带上方布置CCD相机，CCD相机与现场的机器人配合使用，以实现控制机器人分拣工件；当有外部信号触发时，采集视觉信号用于获取分拣工件的颜色及形状信息，为工件类别的判断与工件的定位提供原始数据；
[0007]视觉信号处理层，该层包括车间总控服务器、上位机、工件仓储总控；视觉信号处理层用于对视觉信号采集层所获得信号的处理与分析及向上层设备的信息反馈，以满足车间各单元设备对视觉信号的需求；
[0008]视觉任务控制层，该层包括单元总控；视觉任务控制层用于实现生产任务调度及单元内设备的协调控制，实现视觉任务的下发；同时还用于实现各加工单元的视觉采集控
制，实现现场信息的采集及设备状态信息、生产管理信息、质量统计信息的在线监控；
[0009]视觉应用层，该层包括机器人控制器，利用视觉信号处理层处理及分析的结果，对现场的机器人实施运动控制，实现工件抓取功能；并能针对不同的功能对视觉信号施予不同的应用。
[0010]作为本专利技术的一种优选方案，所述视觉信号采集层包括镜头、CCD相机、光源以及图像采集卡，光源设置于传送带上的工件上方，CCD相机位于光源的上方，镜头配合安装于CCD相机上，机器人位于传送带一侧，CCD相机与图像采集卡相连；所述视觉任务控制层还包括检测任务、工件运输任务。
[0011]作为本专利技术的另一种优选方案，所述图像采集卡与视觉信号处理层的上位机相连，上位机通过云平台与机器人控制器通信连接，机器人控制器与机器人相连。
[0012]本专利技术所述的基于产品颜色及形状识别的智能分拣系统，能够满足不同协议的设备的网络通信连接，实现对工件质量的统计分析及智能化管理；并通过采用图像采集处理技术与运动控制技术相结合，实现产品的智能分拣。
[0013]本专利技术提供的一种基于产品颜色及形状识别的智能分拣方法，利用所述的智能分拣系统实现智能分拣方法，包括如下步骤：
[0014]步骤1：通过机器人手眼标定操作，确定像素坐标系和机器人坐标系的坐标转化关系；
[0015]CCD相机尺度采用的是像素坐标，机器人坐标是空间坐标系，手眼标定就是得到像素坐标系和机器人坐标系的坐标转化关系；采用九点标定直接建立CCD相机和机器人之间的坐标变换关系，让机器人的末端通过九个点得到在机器人坐标系中的坐标，同时用CCD相机识别九个点得到像素坐标；通过计算可获得像素坐标系和机器人坐标系的坐标转化的标定参数；
[0016]如果有一个点变换之前是[x,y,1],变换后是[x
’
,y
’
，1]，则转换化系表示如下:
[0017]TX+M＝Y
ꢀꢀꢀ
(1)
[0018]其中，M＝[c,f,0]T
,X＝[x,y,1]，Y＝[x
’
,y
’
,1]；
[0019]如果想求a
‑
f之间6个变量需要3组点；为了提高标定的精度，通常使用9组点，利用最小二乘法确定待定的系数。
[0020]步骤2：采用CCD成像标准的工件模板，存储在车间总控服务器的数据库中；
[0021]通过标准工件模板CCD成像，建立待分拣工件的模板并存储在车间总控服务器的数据库中。
[0022]步骤3：判断待测工件是否在视野内
[0023]通过传送带的辅助开关进行检测，判断是否有工件在视野范围内，如果有工件，辅助开关闭合，单元总控检测到辅助开关闭合后，控制CCD相机对视野内工件进行图像采集，否则，系统循环检测工件是否在视野内。
[0024]步骤4：通过对工件颜色及形状特征的提取，车间总控服务器判断视野内的工件是否为待拣工件，具体包括以下步骤：
[0025]4.1工件图像的预处理
[0026]对获取的图像采用高斯滤波进行滤波去噪处理，减少噪声对图像的影响；通过图像分割将图像分割成各具特性的区域，并将图像中的前景目标从背景中分离并提取出来；对工件图像进行边缘检测，根据检测出的边缘区域将目标从背景中分离开；
[0027]4.2工件图像特征提取
[0028]①
颜色特征的提取
[0029]颜色特征的提取方法采用颜色直方图，颜色直方图是最基本的颜色特征表示方法，它反映的是图像中颜色的组成分布，即出现了哪些颜色以及颜色出现的概率；其函数表达式如下：
[0030][0031]其中，k代表图像的特征取值，L是特征可取值的个数，n
k
是图像中具有特征值为k的像素的个数，N是图像像素的总数；由于该颜色特征的提取过程不必考虑物体的空间位置，可以根据颜色直方图所描述的不同色彩在整幅图像中所占的比例判断工件颜色的相似性；
[0032]②
形状特征的提取
[0033]对工件形状特征的提取采用边缘形心距离的模板匹配方法，通过预处理的边本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于产品颜色及形状识别的智能分拣系统，其特征在于：包括视觉信号采集层、视觉信号处理层、视觉任务控制层、视觉应用层；视觉信号采集层，用于为系统提供实时现场流水线视觉信息；在现场传送带上方布置CCD相机，CCD相机与现场的机器人配合使用，以实现控制机器人分拣工件；当有外部信号触发时，采集视觉信号用于获取分拣工件的颜色及形状信息，为工件类别的判断与工件的定位提供原始数据；视觉信号处理层，该层包括车间总控服务器、上位机、工件仓储总控；视觉信号处理层用于对视觉信号采集层所获得信号的处理与分析及向上层设备的信息反馈，以满足车间各单元设备对视觉信号的需求；视觉任务控制层，该层包括单元总控；视觉任务控制层用于实现生产任务调度及单元内设备的协调控制，实现视觉任务的下发；同时还用于实现各加工单元的视觉采集控制，实现现场信息的采集及设备状态信息、生产管理信息、质量统计信息的在线监控；视觉应用层，该层包括机器人控制器，利用视觉信号处理层处理及分析的结果，对现场的机器人实施运动控制，实现工件抓取功能；并能针对不同的功能对视觉信号施予不同的应用。2.根据权利要求1所述的一种基于产品颜色及形状识别的智能分拣系统，其特征在于：所述视觉信号采集层包括镜头、CCD相机、光源以及图像采集卡，光源设置于传送带上的工件上方，CCD相机位于光源的上方，镜头配合安装于CCD相机上，机器人位于传送带一侧，CCD相机与图像采集卡相连；所述视觉任务控制层还包括检测任务、工件运输任务。3.根据权利要求2所述的一种基于产品颜色及形状识别的智能分拣系统，其特征在于：所述图像采集卡与视觉信号处理层的上位机相连，上位机通过云平台与机器人控制器通信连接，机器人控制器与机器人相连。4.利用如权利要求1所述的一种基于产品颜色及形状识别的智能分拣系统的分拣方法，其特征在于，包括如下步骤：步骤1：通过机器人手眼标定操作，确定像素坐标系和机器人坐标系的坐标转化关系；CCD相机尺度采用是像素坐标，机器人坐标为是空间坐标系，手眼标定就是得到像素坐标系和机器人坐标系的坐标转化关系；采用九点标定直接建立CCD相机和机器人之间的坐标变换关系，让机器人的末端通过九个点得到在机器人坐标系中的坐标，同时用CCD相机识别九个点得到像素坐标；通过计算可获得像素坐标系和机器人坐标系的坐标转化的标定参数；如果有一个点变换之前是[x,y,1],变换后是[x
’
,y
’
，1]，则转化关系表示如下:TX+M＝Y
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，M＝[c,f,0]
T
,X＝[x,y,1]，Y＝[x
’
,y
’
,1]；如果想求a
‑
f之间6个变量需要3组点；为了提高标定的精度，通常使用9组点，利用最小二乘法确定待定的系数；步骤2：采用CCD成像标准的工件模板，存储在车间总控服务器的数据库中；通过标准工件模板CCD成像，建立待分拣工件的模板并存储在车间总控服务器的数据
库中；步骤3：判断待测工件是否在视野内通过传送带的辅助开关进行检测，判断是否有工件在视野范围内，如果有工件，辅助开关闭合，单元总控检测到辅助开关闭合后，控制CCD相机对视野内工件进行图像采集，否则，系统循环检测工件是否在视野内；步骤4：通过对工件颜色及形状特征的提取，车间总控服务器判断视野内的工件是否为待拣工件，具体包括以下步骤：4.1工件图像的预处理4.2工件图像特征提取4.3工件颜色和形状的相似度计算4.4工件类型的辨识；步骤5：工件形心位置及角度的计算CCD相机匹配到对应的目标工件后，接下来便要获取匹配工件的位姿信息来引导机器人完成对目标工件的准确抓取；视觉任务下的目标位姿信息包括目标在二维运动平面上的位置信息及偏转角度；利用形状特征所提取的质心坐标来描述目标工件在图像中的位置坐标信息；目标的偏转角度是相对于其初始模板状态下的旋转过程，因此分别对当前目标图像和其对应类别模板图像求取最小外接矩形，比较两个矩形在水平或垂直方向上的角度差值，作为机器人抓取当前目标工件时的补偿角度；默认分拣工件表面的图案特征为非对称图形，因此规定目标工件的角度旋转范围为
±
180
°
，这样便获取了2D视觉任务下单个目标工件的位姿信息：X_Y_A_；步骤6：控制机器人到达指定位置，执行分拣操作如果当前工件为某类假设合格工件，则根据步骤5计算的位置及角度，调整机器末端执行器，分拣至指定通道，如果不是某类所需寻找的工件，则跳转到步骤3，继续执行，直到完成分拣处理。5.根据权利要求4所述的基于产品颜色及形状识别的智能分拣系统的分拣方法，其特征在于：所述工件图像的预处理包括对获取的图像采用高斯滤波进行滤波去噪处理，通过图像分割将图像分割成各具特性的区域，并将图像中的前景目标从背景中分离并提取出来；对工件图像进行边缘检测，根据检测出的边缘区域将目标从背景中分离开。6.根据权利要求4所述的基于产品颜色及形状识别的智能分拣系统的分拣方法，其特征在于：所述工件图像特征提取包括
①
颜色特征的提取、
②
形状特征的提取；
①
...

【专利技术属性】
技术研发人员：刘业峰，孙维堂，赵元，陶林，张丽丽，穆德敏，
申请(专利权)人：沈阳工学院，
类型：发明
国别省市：