基于视觉的工业机器人板块拼图方法和系统技术方案

本发明专利技术提供了一种基于视觉的工业机器人板块拼图方法和系统，依据工业机器人上设置摄像设备进行拍摄，获得彩色图像；对彩色图像进行预处理，进行滤波后得到二值图像；对二值图像进行边缘检测、位置检测、角度检测，分别得到板块标号、位置信息、角度信息；将板块标号、位置信息、角度信息通过PLC控制站传送至工业机器人，工业机器人通过吸盘依次吸附颜色板块进行拼图。本发明专利技术适用于任何工业机器人，通过先进的计算机算法巧妙地将七巧板、摄像机和工业机器人结合在一起，实现随意图形的拼装，并有效的解决了嵌入式平台处理速度缓慢、内存资源有限的局限性问题，为工业机器人的柔性化制造提供解决方案。

A Method and System of Industrial Robot Plate Mosaic Based on Vision

【技术实现步骤摘要】
基于视觉的工业机器人板块拼图方法和系统
本专利技术涉及图像处理
，具体地，涉及一种基于视觉的工业机器人板块拼图方法和系统。
技术介绍
图像识别在许多领域得到广泛应用也取得了重大的成就，比如：遥感图像识别、航空航天、公安司法、生物医学、计算机视觉领域等，逐渐成为信息科学、工程动态分析和数据处理等诸多领域的有效工具。在国内，人脸识别、虹膜识别、指纹识别等各种图像识别技术不仅仅应用于手机、软件，还应用于家居装修、公安司法、企业公司用来提高安全性。图像技术渐渐趋于成熟和普遍应用，也渐渐成为提高生产的自动化、智能化水平辅助工具之一。目前，图像处理技术已被广泛应用在各种工业检测、机器人视觉、机器人探测分拣等场合。特别的手眼协调装配系统是由工业机器人，配套智能机器视觉系统，通过手眼协调工作，完成工件在托盘上的拆卸和装配，七巧板拼图系统是一个典型的首演协调装配系统。七巧板拼图可以开发青少年儿童的智力、可以丰富成年人的文化娱乐生活、还可以提高青少年儿童的审美能力。传统的七巧板由于形势固定，不能充分调动玩家的积极性，因此，亟待提出一种基于工业机器人的，自动的七巧板拼图系统，让机器人可以随意拼出任何形状。与本专利技术相关的现有技术是专利文献CN206535153U，公开一种拼图早教机器人，包括机器人本体、驱动轮组、碎片回收模组、碎片拼装模组、视听提示模组以及拼装检测模组，所述驱动轮组通过驱动电机设置于机器人本体下端外部，所述碎片回收模组设置于机器人本体下端内部，所述碎片拼装模组设置于机器人本体机身表面，所述视听提示模组设置于机器人本体头部，所述拼装检测模组设置于碎片拼装模组内。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于视觉的工业机器人板块拼图方法和系统。根据本专利技术提供的一种基于视觉的工业机器人板块拼图方法，包括：采集图像步骤：依据工业机器人上设置摄像设备进行拍摄，获得彩色图像；预处理步骤：对彩色图像进行预处理，进行滤波后得到二值图像；板块识别步骤：对二值图像进行边缘检测、位置检测、角度检测，分别得到板块标号、位置信息、角度信息；板块拼图步骤：将板块标号、位置信息、角度信息通过PLC控制站传送至工业机器人，工业机器人通过吸盘依次吸附颜色板块进行拼图。优选地，所述预处理步骤包括：灰度处理步骤：对彩色图像进行灰度化处理，得到灰度图像；中值滤波步骤：对灰度图像进行中值滤波，得到滤波图像；归一化处理步骤：基于Otsu阈值分割对滤波图像进行二值化处理，得到二值图像；优选地，所述板块识别步骤包括：标号识别步骤：对彩色图像进行边缘识别，得到单个板块的形状、大小，对二值图像进行识别，得到单个板块的颜色，依据形状、颜色、大小对颜色板块确定唯一标识号，作为板块标号；位置识别步骤：利用基于标准矩的像素坐标计算方法进行位置检测，得到单个板块相对于托盘的重心位置，作为位置信息；角度识别步骤：利用基于中心向量的旋转角度计算方法对颜色板块进行角度检测，得到单个板块相对于托盘的角度，作为角度信息。优选地，所述标号识别步骤包括：颜色识别步骤：采用sobel算子对二值图像进行边缘检测，得到初步轮廓，将彩色图像转换到HSV模型进行颜色通道分离，得到ROI区域，结合初步轮廓得到单个板块的颜色；形状识别步骤：对初步轮廓进行膨胀、填充，再进行霍夫变换，得到每个ROI区域的直线数目，基于直线数目，得到单个板块的形状和大小。优选地，所述板块拼图步骤包括：传输步骤：PLC控制站将读取的板块标号、位置信息、角度信息通过profinet总线传递给工业机器人；拼图步骤：工业机器人依据板块标号、位置信息、角度信息，通过吸盘依次将单个板块从源地址搬运至目的地址进行拼图。根据本专利技术提供的一种基于视觉的工业机器人板块拼图系统，包括：采集图像模块：依据工业机器人上设置摄像设备进行拍摄，获得彩色图像；预处理模块：对彩色图像进行预处理，进行滤波后得到二值图像；板块识别模块：对二值图像进行边缘检测、位置检测、角度检测，分别得到板块标号、位置信息、角度信息；板块拼图模块：将板块标号、位置信息、角度信息通过PLC控制站传送至工业机器人，工业机器人通过吸盘依次吸附颜色板块进行拼图。优选地，所述预处理模块包括：灰度处理步骤：对彩色图像进行灰度化处理，得到灰度图像；中值滤波步骤：对灰度图像进行中值滤波，得到滤波图像；归一化处理步骤：基于Otsu阈值分割对滤波图像进行二值化处理，得到二值图像；优选地，所述板块识别模块包括：标号识别模块：对彩色图像进行边缘识别，得到单个板块的形状、大小，对二值图像进行识别，得到单个板块的颜色，依据形状、颜色、大小对颜色板块确定唯一标识号，作为板块标号；位置识别步骤：利用基于标准矩的像素坐标计算方法进行位置检测，得到单个板块相对于托盘的重心位置，作为位置信息；角度识别步骤：利用基于中心向量的旋转角度计算方法对颜色板块进行角度检测，得到单个板块相对于托盘的角度，作为角度信息。优选地，所述标号识别模块包括：颜色识别模块：采用sobel算子对二值图像进行边缘检测，得到初步轮廓，将彩色图像转换到HSV模型进行颜色通道分离，得到ROI区域，结合初步轮廓得到单个板块的颜色；形状识别模块：对初步轮廓进行膨胀、填充，再进行霍夫变换，得到每个ROI区域的直线数目，基于直线数目，得到单个板块的形状和大小。优选地，所述板块拼图模块包括：传输模块：PLC控制站将读取的板块标号、位置信息、角度信息通过profinet总线传递给工业机器人；拼图模块：工业机器人依据板块标号、位置信息、角度信息，通过吸盘依次将单个板块从源地址搬运至目的地址进行拼图。与现有技术相比，本专利技术具有如下的有益效果：本专利技术适用于任何工业机器人，通过先进的视觉算法巧妙地七巧板、摄像机和工业机器人结合在一起，实现随意图形的拼装，由于视觉算法在工控机上运行，将获得的七巧板信息通过网络传送给PLC控制站，有效的解决了嵌入式平台处理速度缓慢、内存资源有限的局限性问题。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术的方法流程示意图；图2为本专利技术中图像识别处理的流程示意图；图3为本专利技术的轮廓形状识别的流程示意图。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。本专利技术目的在于解决工业机器人自主拼图的方法，具体是采用以下技术方案来解决上述技术问题，如图1所示，包括以下步骤：S1、将摄像机和光源安装在工业机器人末端；工业机器人末端安装连接气泵的吸盘，气泵打开后吸盘一次能够吸取一块七巧板；S2、通过工业机器人末端的光源和摄像机获取七巧板的彩色图像；S3、对步骤S2中的彩色图像进行预处理；S4、对步骤S2中的七巧板进行标号识别；S5、利用重心检测算法对步骤S2中的七巧板进行位置检测，获得每块七巧板相对于托盘的重心位置(x，y)；S6、利用基于中心向量的旋转角度计算方法对步骤S3中的每块七巧板进行角度检测，获得每块七巧板相对于托盘的角度；S7、将S4、S5、S本文档来自技高网...

【技术保护点】
1.一种基于视觉的工业机器人板块拼图方法，其特征在于，包括：采集图像步骤：依据工业机器人上设置摄像设备进行拍摄，获得彩色图像；预处理步骤：对彩色图像进行预处理，进行滤波后得到二值图像；板块识别步骤：对二值图像进行边缘检测、位置检测、角度检测，分别得到板块标号、位置信息、角度信息；板块拼图步骤：将板块标号、位置信息、角度信息通过PLC控制站传送至工业机器人，工业机器人通过末端安装的吸盘依次吸附颜色板块进行拼图。

【技术特征摘要】
1.一种基于视觉的工业机器人板块拼图方法，其特征在于，包括：采集图像步骤：依据工业机器人上设置摄像设备进行拍摄，获得彩色图像；预处理步骤：对彩色图像进行预处理，进行滤波后得到二值图像；板块识别步骤：对二值图像进行边缘检测、位置检测、角度检测，分别得到板块标号、位置信息、角度信息；板块拼图步骤：将板块标号、位置信息、角度信息通过PLC控制站传送至工业机器人，工业机器人通过末端安装的吸盘依次吸附颜色板块进行拼图。2.根据权利要求1所述的基于视觉的工业机器人板块拼图方法，其特征在于，所述预处理步骤包括：灰度处理步骤：对彩色图像进行灰度化处理，得到灰度图像；中值滤波步骤：对灰度图像进行中值滤波，得到滤波图像；归一化处理步骤：基于Otsu阈值分割对滤波图像进行二值化处理，得到二值图像。3.根据权利要求1所述的基于视觉的工业机器人板块拼图方法，其特征在于，所述板块识别步骤包括：标号识别步骤：对二值图像进行边缘识别，得到单个板块的形状、大小；对彩色图像进行识别，得到单个板块的颜色；依据形状、颜色、大小对颜色板块确定唯一标识号，作为板块标号；位置识别步骤：利用基于标准矩的像素坐标计算方法进行位置检测，得到单个板块相对于托盘的重心位置，作为位置信息；角度识别步骤：利用基于中心向量的旋转角度计算方法对颜色板块进行角度检测，得到单个板块相对于托盘的角度，作为角度信息。4.根据权利要求3所述的基于视觉的工业机器人板块拼图方法，其特征在于，所述标号识别步骤包括：颜色识别步骤：采用sobel算子对二值图像进行边缘检测，得到初步轮廓，将彩色图像转换到HSV模型进行颜色通道分离，得到ROI区域，结合初步轮廓得到单个板块的颜色；形状识别步骤：对初步轮廓进行膨胀、填充，再进行霍夫变换，得到每个ROI区域的直线数目，基于直线数目，得到单个板块的形状和大小。5.根据权利要求1所述的基于视觉的工业机器人板块拼图方法，其特征在于，所述板块拼图步骤包括：传输步骤：PLC控制站将读取的板块标号、位置信息、角度信息通过profinet总线传递给工业机器人；拼图步骤：工业机器人依据板块标号、位置信息、角度信息，通过吸盘依次将单个板块从源地址搬运至目的地址进行拼...

【专利技术属性】
技术研发人员：王西超，郭磊，王洪荣，施成章，
申请(专利权)人：上海贽桐机器人科技有限公司，上海电机学院，
类型：发明
国别省市：上海,31