基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质制造方法及图纸

本发明专利技术涉及双面喷涂技术领域，公开了一种基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质，采集待喷涂工件图像，并对所述待喷涂工件图像进行预处理；将预处理后的图像输入至UTransNet语义分割模型进行目标分割，提取出待喷涂工件轮廓；根据获取的待喷涂工件轮廓图输入至喷涂轨迹规划算法，结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径；根据喷涂路径进行工件喷涂。另外还公开了利用该双面喷涂方法对应的双面喷涂装置及系统。与现有技术相比，本发明专利技术通过基于深度学习神经网络的构建和训练的视觉系统，完成对待喷涂板材的几何特征和姿态的识别，智能生成喷涂路径。路径。路径。

【技术实现步骤摘要】
基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质
[0001]

[0002]本专利技术涉及双面喷涂
，具体涉及一种基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质。

技术介绍

[0003]目前，中国家具行业在经历了一个高速发展期后，初步建立起了相对完整的与国际接轨的工业体系，家具产品已经达到了满足人民生活需要和国际市场的需要。在未来的5到10年，中国家具行业将进入第二个高速发展期，定制家具相比于成品家具的竞争越来越大，实行全屋定制将会成为家具行业中的必然趋势。
[0004]一般而言，定制家具的订单尺寸规格、花纹样式各不相同，采用传统的定制生产模式成本高、效率低、生产周期长，现有技术方案存在的主要不足有：（1）目前主流的混流自动化喷涂设备是皮带流水线式，皮带流水线式可以实现混流喷涂，但无法实现双面喷涂，并且效率低，成本高，污染多；（2）传统示教编程操作繁琐，对装夹有要求，并且无法满足少批量、多品种的混流喷涂需求。

技术实现思路

[0005]专利技术目的：针对现有技术中存在的问题，本专利技术提供一种基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质，可通过基于深度学习神经网络的构建和训练的视觉系统，即时完成对待喷涂板材的几何特征和姿态的识别，智能生成喷涂路径。
[0006]技术方案：本专利技术提供了一种基于视觉检测的混流板材双面喷涂方法，包括如下步骤：采集待喷涂工件图像，并对所述待喷涂工件图像进行预处理；将预处理后的图像输入至UTransNet语义分割模型进行目标分割，提取出待喷涂工件轮廓；根据获取的待喷涂工件轮廓图输入至喷涂轨迹规划算法，结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径；根据所述喷涂路径进行工件喷涂。
[0007]进一步地，所述待喷涂工件图像预处理操作包括：1）在获取图像阶段获取多张待喷涂工件图像，并对多张待喷涂工件图像的色彩与几何特征信息采集，利用多张图像残差计算生成权重W通道，与原图像合并生成RGBW图像；2）对于合成的RGBW图像进行中值滤波、对数增强的预处理操作；3）结合RGBW四通道信息初步提取待喷涂工件所在的ROI区间。
[0008]进一步地，所述UTransNet语义分割模型为U型编码器—解码器结构，其包括编码
部分、解码部分以及瓶颈层部分，具体为：所述UTransNet语义分割模型将预处理后的图像特征分割成7x7个Patch，Patch的大小不固定，随着Patch融合的操作而变化；然后使用Linear Embedding线性嵌入将Patch编码成词向量后送入编码部分提取特征向量；所述编码部分使用三个Transformer结构的编码器串行连接，Transformer结构的编码器由一个Patch融合和两个Swin Transformer模块组成；瓶颈层部分由两个Swin Transformer模块串行连接组成，衔接编码部分与解码部分；解码部分由三个解码器串行连接组成，每个解码器由一个Patch合并扩展和两个Swin Transformer模块组成，最后在经过一个Patch合并扩展和Linear Projection线性预测后，得到输出分割图；每阶对称的Swin Transformer模块通过跳跃连接交换特征图信息。
[0009]进一步地，所述喷涂轨迹规划算法以“之”字形覆盖表面与轮廓补喷为主，其方法具体为：1）创建与轮廓掩模图同尺寸的喷涂路径掩模图，其中背景像素编码为0，轮廓线像素编码为2，在喷涂路径掩模图上创建指定喷涂间隔的横或纵喷涂路径，路径上像素编码为1；将两个掩模图相加得到喷涂路径关键点掩模图，图中0为背景，1为背景上无效喷涂路径点，3为轮廓上喷涂路径关键点；2）使用[
‑
1,1]卷积核对每条路径数组卷积处理，结果为3则为路径起始点，
‑
3则为路径结束点，将每条路径的指定元素索引保存为喷涂路径关键点集。
[0010]3）若标记序列为任意异形路径，进行构建坐标x、坐标y、索引值h三维数组，对其进行编码转换为标准序列；4）最后，对关键点集做插补后得到喷涂路径点集，获取喷涂路径。
[0011]进一步地，所述喷涂轨迹规划算法还采用半监督学习优化模型进行喷涂轨迹优化，所述半监督学习优化模型包括如下步骤：从经验库中选取喷涂路径点数量、平均点间隔、喷涂时长近似的参数进行参数初始化，通过仿真计算漆料堆叠均匀度、覆盖率、消耗量、喷涂时长，调整喷枪移动速度、加速度、高度、流量使得上述指标更趋于理想目标值，反复迭代得到最适合当前路径的喷涂参数方案，并将该套方案记录在经验库中，用于形近路径的参数初始化，相当于生成期望结果伪标签，优化喷涂轨迹规划算法参数。
[0012]本专利技术还公开了一种基于视觉检测的混流板材双面喷涂装置，包括壳体、主控制器和吊挂流水线，所述壳体内设置有视觉检测机构和喷涂作业机构；所述壳体左右两端均开设缺口，所述吊挂流水线贯穿所述缺口设置于壳体内；所述视觉检测机构包括彩色工业相机、背光板和第一光电开关，所述第一光电开关设置于壳体内的视觉检测机构初始位置，所述彩色工业相机正对所述吊挂流水线设置，与所述彩色工业相机相对的吊挂流水线另一端设置有背光板；所述喷涂作业机构位于所述视觉检测机构下一环节，包括一对设置于吊挂流水线两侧的工业机器人、设置于喷涂作业机构初始位置的第二光电开关，所述工业机器人其末
端设置有喷枪；喷枪、工业机器人、吊挂流水线的驱动控制机构、彩色工业相机、第一光电开关、第二光电开关均与主控制器连接，所述主控制器中设置有权利要求1至5任一所述的基于视觉检测的混流板材双面喷涂方法。
[0013]优选地，所述喷涂作业机构还包括水槽和漆雾回收设备，所述水槽设置于两个工业机器人之间的吊挂流水线下方，所述漆雾回收设备设置于所述壳体内。
[0014]本专利技术还公开了一种基于视觉检测的混流板材双面喷涂系统，包括：图像获取模块，用于获取待喷涂工件图像；图像预处理模块，用于对待喷涂工件图像进行预处理；目标分割模块，用于将预处理后的图像输入至UTransNet语义分割模型进行目标分割，提取出待喷涂工件轮廓；喷涂路径生成模块，用于根据获取的待喷涂工件轮廓图并结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径；喷涂路径执行模块，用于控制各部件执行喷涂路径。
[0015]优选地，还包括喷涂路径优化模块，用于采用半监督学习优化模型对喷涂轨迹进行喷涂轨迹优化。
[0016]一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的混流板材双面喷涂方法的步骤。
[0017]有益效果：1、本专利技术提供的一种基于视觉检测的混流板材双面喷涂方法，可通过基于深度学习神经网络的构建和训练的视觉系统，即时完成对待喷涂板材的几何特征和姿态的识别，智能生成喷涂路径。该方法自动生成喷涂路径，实现双面喷涂，提高了喷涂作业效率。
[0018]2、本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉检测的混流板材双面喷涂方法，其特征在于，包括如下步骤：采集待喷涂工件图像，并对所述待喷涂工件图像进行预处理；将预处理后的图像输入至UTransNet语义分割模型进行目标分割，提取出待喷涂工件轮廓；根据获取的待喷涂工件轮廓图输入至喷涂轨迹规划算法，结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径；根据所述喷涂路径进行工件喷涂。2.根据权利要求1所述的基于视觉检测的混流板材双面喷涂方法，其特征在于，所述待喷涂工件图像预处理操作包括：1）在获取图像阶段获取多张待喷涂工件图像，并对多张待喷涂工件图像的色彩与几何特征信息采集，利用多张图像残差计算生成权重W通道，与原图像合并生成RGBW图像；2）对于合成的RGBW图像进行中值滤波、对数增强的预处理操作；3）结合RGBW四通道信息初步提取待喷涂工件所在的ROI区间。3.根据权利要求1所述的基于视觉检测的混流板材双面喷涂方法，其特征在于，所述UTransNet语义分割模型为U型编码器—解码器结构，其包括编码部分、解码部分以及瓶颈层部分，具体为：所述UTransNet语义分割模型将预处理后的图像特征分割成7x7个Patch，Patch的大小不固定，随着Patch融合的操作而变化；然后使用Linear Embedding线性嵌入将Patch编码成词向量后送入编码部分提取特征向量；所述编码部分使用三个Transformer结构的编码器串行连接，Transformer结构的编码器由一个Patch融合和两个Swin Transformer模块组成；瓶颈层部分由两个Swin Transformer模块串行连接组成，衔接编码部分与解码部分；解码部分由三个解码器串行连接组成，每个解码器由一个Patch合并扩展和两个Swin Transformer模块组成，最后在经过一个Patch合并扩展和Linear Projection线性预测后，得到输出分割图；每阶对称的Swin Transformer模块通过跳跃连接交换特征图信息。4.根据权利要求1所述的基于视觉检测的混流板材双面喷涂方法，其特征在于，所述喷涂轨迹规划算法以“之”字形覆盖表面与轮廓补喷为主，其方法具体为：1）创建与轮廓掩模图同尺寸的喷涂路径掩模图，其中背景像素编码为0，轮廓线像素编码为2，在喷涂路径掩模图上创建指定喷涂间隔的横或纵喷涂路径，路径上像素编码为1；将两个掩模图相加得到喷涂路径关键点掩模图，图中0为背景，1为背景上无效喷涂路径点，3为轮廓上喷涂路径关键点；2）使用[
‑
1,1]卷积核对每条路径数组卷积处理，结果为3则为路径起始点，
‑
3则为路径结束点，将每条路径的指定元素索引保存为喷涂路径关键点集；3）若标记序列为任意异形路径，进行构建坐标x、坐标y、索引值h三维...

【专利技术属性】
技术研发人员：赵泽政，白惠心，邢向华，阮俊，姚晓晖，雷景贵，黄佳莹，吴亢，姜楠，
申请(专利权)人：航天科工深圳集团有限公司，
类型：发明
国别省市：