一种无人智能化冲压缺陷识别方法技术

本发明专利技术公开了一种无人智能化冲压缺陷识别方法，首先对工件进行拍照处理，获取工件的图像，然后经图像处理对冲压件表面常见质量缺陷，如少孔、缺边、开裂、污渍等进行识别，再辅以深度学习检测确认是否为缺陷，最后通过激光三角量测法扫描得到冲压件表面三维图像，然后将合格产品放入码垛站进行码垛，实现无人化智能生产的过程。

【技术实现步骤摘要】
一种无人智能化冲压缺陷识别方法
本专利技术涉及图像处理领域，具体涉及一种无人智能化冲压缺陷识别方法。
技术介绍
自从我国工业化建设发展以来，我国的工业发展十分迅速，给国民经济发展提供了巨大的动力，在我国的工业领域，机械制造加工行业的发展极为迅速，也对我国经济社会的发展产生了巨大的影响，而且随着科技的进步，机械设备加工制造技术也逐渐进步，以冲压模具制造技术为代表的机械加工制造技术，切实促进了我国的经济社会发展。随着时代的发展，以及对加工技术要求的提高，冲压模具制造技术愈来愈需要制造技术向无人化、快速化、智能化发展。而当前在制造业冲压领域当中，大量的现如今仍采用传统人工上料，人工检验产品是否合格，人工码垛运输产品。这样的加工方式不但对操作人员有一定的危险性，而且效率比较低下，只是完成了初步的流水线生产。为了解决这种问题以及满足未来发展的需求，本专利技术提供了一种无人智能化冲压生产线的模式。
技术实现思路
基于
技术介绍
所存在的问题，本专利技术的目的是为了解决当前困境并提供一种未来制造业冲压领域的智能化发展方向。为了达到上述目的，本专利技术提供了一种无人智能化冲压缺陷识别方法，包括以下步骤：步骤1.样本图像采集与初筛选，首先通过合适的光照系统来排除外界因素影响，然后通过线阵相机采集得到冲压件板材的图像，先对冲压件板材的图像进行增强来提高目标与背景间的对比度，再通过阈值化将获得的图像二值化，随后通过滤波处理来减少和去除噪声点，提取滤波后的图像的闭合轮廓图像，通过轮廓分离法将闭合轮廓图像分离成边缘轮廓曲线，去除边缘轮廓曲线上的凸起，去除边缘轮廓曲线上的干扰小轮廓，提取边缘轮廓曲线的连续部分，然后将特征相似的边缘轮廓曲线进行合并，再然后用最小二乘法对合并后的边缘轮廓曲线进行圆拟合得到拟合圆，结合拟合圆的信息提取出冲压件的整体直径、整体面积，若整体直径低于标准直径阈值，或整体面积低于标准面积阈值，则判断冲压件缺边；再以拟合圆内的像素点为对象，利用基于灰度直方图的自适应阈值分割法进行分割，再获取分割后图像的连通域轮廓图像，基于连通域轮廓的几何特性进行初筛选，确立圆孔的候选集，对圆孔的候选集的边缘点分别进行圆拟合，结合拟合圆孔的信息提取出冲压孔的数量、冲压孔圆心位置、冲压孔间距，冲压孔直径，若冲压孔的数量不等于标准值，或冲压孔圆心位置不处于标准区域内，或冲压孔间距大于或小于阈值，或冲压孔直径大于或小于阈值，则判断冲压件的不满足要求，存在少孔、漏加工等易于判断的缺陷；对应无缺边、少孔、漏加工的图像采用opencv与c++工具，对进行圆孔拟合后获得的冲压件非圆孔区域的二值图，采取八连通域规则分割成像素值不同的若干连通区域块，计算各连通区域的像素值，再通过各连通区域与临近区域平均像素值比较，选出像素值之差大于设定阈值连通区域的做为疑似缺陷区域，再以疑似缺陷区域的缺陷区域为中心，切割为416×416的图片，而未选出的疑似缺陷区域的冲压件判断为合格产品；步骤2.样本缺陷精检测，选取具有裂纹、或铁锈、或油污的疑似缺陷区域图像，对疑似缺陷区域图像进行标记得到缺陷类别和包含缺陷的真实框，制作小图训练集，大小为416×416，选用步骤1中的待进行缺陷检测的图像作为测试集，基于yolov3建立冲压件检测网络模型，按等比例选取包含裂纹、铁锈、油污每类缺陷的图像存入训练集，选取数量为训练集图像的5％的包含裂纹、铁锈、油污每类缺陷的图像等比例存入测试集，利用loss损失函数基于真实框进行损失值计算，得到预测误差，利用预测误差进行反向传播，得到当前网络权重参数：利用当前网络权重参数更新检测网络模型的网络权重参数，然后利用训练集进行多次网络权重计算与更新，得到最优网络权重参数；通过测试集中的图片对训练好的网络结构进行测试，待准确率达到阈值，若未达到则调整训练集中的各个类别的样本比例并重新进行多次网络权重计算与更新，直至准确率达到阈值；利用测试后准确率大于阈值的检测网络模型给步骤1中判定存在疑似缺陷区域的冲压件的分割后的图像进行检测和标记；步骤3.样本冲压孔高度检测，对于步骤2检测后无缺陷的冲压件表面特征高度进行检测，将冲压孔深度不足冲压件判断为不合格产品并返工。进一步地，步骤3包括步骤：线阵相机与线阵激光器的组合构成激光三角测量系统，线阵相机与线阵激光器连线为基准线，基准线长度为S，由线阵激光器向冲压件圆孔表面投射激光光条，线阵相机接收冲压件圆孔表面反射出变形的激光条纹图像，通过激光条纹图像中条纹线与图像中心的间距x2，按公式计算被激光光条扫描的冲压件表面与基准线的间距q，获得冲压件圆孔表面的三维轮廓，将冲压孔深度不足冲压件判断为不合格产品返工，其中f为线阵相机摄像头焦距，线阵激光器与基准线的夹角为β。基于本专利技术的冲压缺陷识别方法的冲压件生产线在逻辑上包含上料系统、机器人抓取系统、打标系统、加工及模具系统、检测系统、码垛系统。其中上料系统主要包括一台板料分离机；机器人抓取系统包含1台激光打标器、3台机器手、3套夹具以及机器人底座组成；加工及模具系统包含由2台压力机、4套模具和空压机组成；检测系统包含电脑、多个显示器、CCD线阵相机、PLC控制系统、鼠标以及围栏等安全设备组成；码垛系统包含1台码垛机与AGV小车进行运输。检测系统中包含一套完整的检测程序，可以对工件得外形尺寸、表面缺陷进行检测。本生产线首先由AGV小车将物料(一叠板料)送至板料分离器，随后板料分离器对板料进行磁力分张与自动顶升，随后机器手运输板料位于激光打标器给工件添加定位信息与产品信息功能，然后由压力机对工件进行加工，此过程中全由机器臂进行上料与下料，最后放于CCD视觉系统上进行检测。CCD视觉检测系统首先对工件进行拍照处理，获取工件的图像，随后由基于C++与opencv所开发的检测程序进行图像的处理，最后输出给控制系统检测工件是否合格的信号，然后将合格产品放入码垛站进行码垛，最后由AGV小车将合格的一批产品进行运输至储存区。实现无人化智能生产的过程。本专利技术专利改变了传统上冲压生产线需要人工上下料、人工检测、人工码垛的流程。不但降低了操作人员的危险性，更是大大提升了效率。更是响应了当今社会智能化发展的思想。本专利技术的检测方法大幅缩短的具有缺陷的冲压件的检测时间，并大幅减少了待使用深度学习目标检测法进行表面缺陷检测，和待使用激光三角量测法进表面三维轮廓缺陷检测的数量，提高了冲压件陷识别的速度，还排除了不同缺陷类型在不同检测步骤中的干扰因素，大幅提高自动化和生产效率。附图说明图1为本专利技术的无人智能化冲压生产线的主要构成图解说明；图2为本专利技术的无人智能化冲压生产线中CCD检测系统的结构设计图；图3为本专利技术的无人智能化冲压生产线中检测产品；图4为本专利技术的无人智能化冲压生产线中检测结果图；图5为本专利技术的无人智能化冲压生产线中检测高度系统原理图。具体实施方案为了更好的了解本专利技术的目的、结构及其功能，兹配合详细图纸描述如下：如图1所示，本专利技术的工作流程，无人智能化冲压生产线上料部本文档来自技高网...

【技术保护点】
1.一种无人智能化冲压缺陷识别方法，其特征在于，包括以下步骤：/n步骤1.样本图像采集与初筛选，首先通过合适的光照系统来排除外界因素影响，然后通过线阵相机采集得到冲压件板材的图像，先对冲压件板材的图像进行增强来提高目标与背景间的对比度，再通过阈值化将获得的图像二值化，随后通过滤波处理来减少和去除噪声点，提取滤波后的图像的闭合轮廓图像，通过轮廓分离法将闭合轮廓图像分离成边缘轮廓曲线，去除边缘轮廓曲线上的凸起，去除边缘轮廓曲线上的干扰小轮廓，提取边缘轮廓曲线的连续部分，然后将特征相似的边缘轮廓曲线进行合并，再然后用最小二乘法对合并后的边缘轮廓曲线进行圆拟合得到拟合圆，结合拟合圆的信息提取出冲压件的整体直径、整体面积，若整体直径低于标准直径阈值，或整体面积低于标准面积阈值，则判断冲压件缺边；/n再以拟合圆内的像素点为对象，利用基于灰度直方图的自适应阈值分割法进行分割，再获取分割后图像的连通域轮廓图像，基于连通域轮廓的几何特性进行初筛选，确立圆孔的候选集，对圆孔的候选集的边缘点分别进行圆拟合，结合拟合圆孔的信息提取出冲压孔的数量、冲压孔圆心位置、冲压孔间距，冲压孔直径，若冲压孔的数量不等于标准值，或冲压孔圆心位置不处于标准区域内，或冲压孔间距大于或小于阈值，或冲压孔直径大于或小于阈值，则判断冲压件的不满足要求，存在少孔、漏加工等易于判断的缺陷；/n对应无缺边、少孔、漏加工的图像采用opencv与c++工具，对进行圆孔拟合后获得的冲压件非圆孔区域的二值图，采取八连通域规则分割成像素值不同的若干连通区域块，计算各连通区域的像素值，再通过各连通区域与临近区域平均像素值比较，选出像素值之差大于设定阈值连通区域的做为疑似缺陷区域，再以疑似缺陷区域的缺陷区域为中心，切割为416×416的图片，而未选出的疑似缺陷区域的冲压件判断为合格产品；/n步骤2.样本缺陷精检测，选取具有裂纹、或铁锈、或油污的疑似缺陷区域图像，对疑似缺陷区域图像进行标记得到缺陷类别和包含缺陷的真实框，制作小图训练集，大小为416×416，选用步骤1中的待进行缺陷检测的图像作为测试集，基于yolov3建立冲压件检测网络模型，按等比例选取包含裂纹、铁锈、油污每类缺陷的图像存入训练集，选取数量为训练集图像的5％的包含裂纹、铁锈、油污每类缺陷的图像等比例存入测试集，利用loss损失函数基于真实框进行损失值计算，得到预测误差，利用预测误差进行反向传播，得到当前网络权重参数：利用当前网络权重参数更新检测网络模型的网络权重参数，然后利用训练集进行多次网络权重计算与更新，得到最优网络权重参数；通过测试集中的图片对训练好的网络结构进行测试，待准确率达到阈值，若未达到则调整训练集中的各个类别的样本比例并重新进行多次网络权重计算与更新，直至准确率达到阈值；利用测试后准确率大于阈值的检测网络模型给步骤1中判定存在疑似缺陷区域的冲压件的分割后的图像进行检测和标记；/n步骤3.样本冲压孔高度检测，对于步骤2检测后无缺陷的冲压件表面特征高度进行检测，将冲压孔深度不足冲压件判断为不合格产品并返工。/n...

【技术特征摘要】
1.一种无人智能化冲压缺陷识别方法，其特征在于，包括以下步骤：
步骤1.样本图像采集与初筛选，首先通过合适的光照系统来排除外界因素影响，然后通过线阵相机采集得到冲压件板材的图像，先对冲压件板材的图像进行增强来提高目标与背景间的对比度，再通过阈值化将获得的图像二值化，随后通过滤波处理来减少和去除噪声点，提取滤波后的图像的闭合轮廓图像，通过轮廓分离法将闭合轮廓图像分离成边缘轮廓曲线，去除边缘轮廓曲线上的凸起，去除边缘轮廓曲线上的干扰小轮廓，提取边缘轮廓曲线的连续部分，然后将特征相似的边缘轮廓曲线进行合并，再然后用最小二乘法对合并后的边缘轮廓曲线进行圆拟合得到拟合圆，结合拟合圆的信息提取出冲压件的整体直径、整体面积，若整体直径低于标准直径阈值，或整体面积低于标准面积阈值，则判断冲压件缺边；
再以拟合圆内的像素点为对象，利用基于灰度直方图的自适应阈值分割法进行分割，再获取分割后图像的连通域轮廓图像，基于连通域轮廓的几何特性进行初筛选，确立圆孔的候选集，对圆孔的候选集的边缘点分别进行圆拟合，结合拟合圆孔的信息提取出冲压孔的数量、冲压孔圆心位置、冲压孔间距，冲压孔直径，若冲压孔的数量不等于标准值，或冲压孔圆心位置不处于标准区域内，或冲压孔间距大于或小于阈值，或冲压孔直径大于或小于阈值，则判断冲压件的不满足要求，存在少孔、漏加工等易于判断的缺陷；
对应无缺边、少孔、漏加工的图像采用opencv与c++工具，对进行圆孔拟合后获得的冲压件非圆孔区域的二值图，采取八连通域规则分割成像素值不同的若干连通区域块，计算各连通区域的像素值，再通过各连通区域与临近区域平均像素值比较，选出像素值之差大于设定阈值连通区域的做为疑似缺陷区域，再以疑似缺陷区域的缺陷区域为中心，切割为416×416的图片，而未选出的疑似缺陷区域的冲压件判...

【专利技术属性】
技术研发人员：胡军，左治江，张宇辉，李仁威，
申请(专利权)人：江汉大学，
类型：发明
国别省市：湖北;42