基于深度学习的零件开孔识别与检测方法及系统技术方案

本发明专利技术涉及一种基于深度学习的零件开孔识别与检测方法及系统，包括如下步骤：提取各类模板零件的正面图像；对模板零件的正面图像中的沉头孔和黑色遮盖孔进行分类标记；使用卷积神经网络对已标记的沉头孔和黑色遮盖孔进行种类分析训练，提取沉头孔和黑色遮盖孔的坐标，生成识别模型；扫描待检测零件的正面图像；载入识别模型，对待检测零件的正面图像中的沉头孔和黑色遮盖孔进行识别并检测；输出检测结果，与现有的人工观察相比，本发明专利技术可实现对待检测零件中的各沉头孔和黑色遮盖孔的尺寸及开孔位置进行实时在线自动识别检测，不受飞机零配件的尺寸限制，保证检测结果的可靠性，有效提高飞机零配件不良品检测效率。

Method and system of hole recognition and detection based on deep learning

【技术实现步骤摘要】
基于深度学习的零件开孔识别与检测方法及系统
本专利技术涉及零件视觉检测
，尤其涉及一种基于深度学习的零件开孔识别与检测方法及系统。
技术介绍
现有的大型民用飞机通常由数以万计的零配件组装而成，为了保证大型民用飞机的飞行安全，对零配件的各种参数的要求非常高。沉头孔和黑色遮盖孔是飞机制造工程中最常见的结构特征之一，大量存在于框、肋、壁板、蒙皮等各类飞机零配件上，沉头孔和黑色遮盖孔的加工质量是影响飞机寿命和飞行安全的重要因素，当其存在几何偏差等质量缺陷时，强迫装配产生的装配应力会对飞机安全构成极大隐患。由于飞机零配件尺寸较大、外形中包含曲面比较复杂，传统的通过人工观察的方式对沉头孔和黑色遮盖孔加工质量进行检测，不能及时有效地观察及判定，无法对飞机零配件中的开孔质量进行批量检测，很难完全满足检测要求。
技术实现思路
本专利技术所要解决的技术问题是克服现有技术中存在的不足，提供一种基于深度学习的零件开孔识别与检测方法及系统。本专利技术是通过以下技术方案予以实现：一种基于深度学习的零件开孔识别与检测方法，其特征在于，包括如下步骤：a.提取各类模板零件的正面图像；b.对所述模板零件的正面图像中的沉头孔和黑色遮盖孔进行分类标记；c.使用卷积神经网络对已标记的所述沉头孔和黑色遮盖孔进行种类分析训练，提取所述沉头孔和黑色遮盖孔的坐标，生成识别模型；d.扫描待检测零件的正面图像；e.载入所述识别模型，对所述待检测零件的正面图像中的沉头孔和黑色遮盖孔进行识别并检测；f.输出检测结果。根据上述技术方案，优选地，步骤a包括：将模板零件放置于工作台上并与原点对齐，扫描模板零件正面图像。根据上述技术方案，优选地，步骤c还包括：根据所述沉头孔和黑色遮盖孔的坐标，记录各沉头孔和黑色遮盖孔的信息。根据上述技术方案，优选地，所述沉头孔和黑色遮盖孔的信息包括沉头孔位置、沉头孔尺寸、相邻沉头孔距离、黑色遮盖孔位置以及黑色遮盖孔尺寸。根据上述技术方案，优选地，步骤d还包括：将待检测零件正面图像进行矫正，得到零件偏移量。本专利技术还公开了一种基于深度学习的零件开孔识别与检测系统，其特征在于，包括：提取单元，提取各类模板零件的正面图像；标记单元，对所述模板零件的正面图像中的沉头孔和黑色遮盖孔进行分类标记；训练单元，使用卷积神经网络对已标记的所述沉头孔和黑色遮盖孔进行种类分析训练，提取所述沉头孔和黑色遮盖孔的坐标，生成识别模型；扫描单元，扫描待检测零件的正面图像；识别检测单元，载入所述识别模型，对所述待检测零件的正面图像中的沉头孔和黑色遮盖孔进行识别并检测；输出单元，输出检测结果。根据上述技术方案，优选地，所述提取单元包括定位模块，用于将模板零件放置于工作台上并与原点对齐，扫描模板零件正面图像。根据上述技术方案，优选地，所述训练单元包括信息提取模块，用于根据所述沉头孔和黑色遮盖孔的坐标，记录各沉头孔和黑色遮盖孔的信息。根据上述技术方案，优选地，所述扫描单元包括矫正模块，用于将待检测零件正面图像进行矫正，得到零件偏移量。本专利技术的有益效果是：通过识别模型，对待检测零件中的各沉头孔和黑色遮盖孔的尺寸及开孔位置进行实时在线自动识别检测，与现有的人工观察相比，本专利技术可实现及时有效的观察和准确判定，不受飞机零配件的尺寸限制，保证检测结果的可靠性，有效提高飞机零配件不良品检测效率。附图说明图1是本专利技术的工作流程示意图。具体实施方式为了使本
的技术人员更好地理解本专利技术的技术方案，下面结合附图和最佳实施例对本专利技术作进一步的详细说明。如图所示，本专利技术包括如下步骤：a.通过摄像头提取各类模板零件的正面图像；b.对所述模板零件的正面图像中的沉头孔和黑色遮盖孔进行分类标记；c.使用卷积神经网络对已标记的所述沉头孔和黑色遮盖孔进行种类分析训练，本例中可以使用例如frcnn、yolo等网络进行训练，实现轮廓提取同时进行分类，提取所述沉头孔和黑色遮盖孔的坐标，生成识别模型，在对沉头孔进行训练的过程中，需要提前采集多种形变孔，进行训练，避免有的沉头孔由于拍照角度不同而难以识别，有效提高检测精度；d.通过摄像头扫描待检测零件的正面图像；e.载入所述识别模型，对所述待检测零件的正面图像中的沉头孔和黑色遮盖孔进行识别并检测；f.输出检测结果，将尺寸及位置正确的沉头孔和黑色遮盖孔用绿色标记，错误的用红色标记，对零件开孔质量的检测数据，如检测照片、零件件号、工单号、检测时间、检测结果等信息，进行保存并自动生成电子报告。通过识别模型，对待检测零件中的各沉头孔和黑色遮盖孔的尺寸及开孔位置进行实时在线自动识别检测，与现有的人工观察相比，本专利技术可实现及时有效的观察和准确判定，不受飞机零配件的尺寸限制，保证检测结果的可靠性，有效提高飞机零配件不良品检测效率。根据上述实施例，优选地，步骤a包括：将模板零件放置于工作台上并与原点对齐，通过摄像头扫描模板零件正面图像，将零件一角与工作台原点对齐，由最基本的构建平台物理坐标与图像像素坐标之间坐标系关系，以确定沉头孔和黑色遮盖孔的坐标。根据上述实施例，优选地，步骤c还包括：根据所述沉头孔和黑色遮盖孔的坐标，记录各沉头孔和黑色遮盖孔的信息，通过沉头孔和黑色遮盖孔的坐标，可推断出零件上各沉头孔和黑色遮盖孔的位置及尺寸。根据上述实施例，优选地，所述沉头孔和黑色遮盖孔的信息包括沉头孔位置、沉头孔尺寸、相邻沉头孔距离、黑色遮盖孔位置以及黑色遮盖孔尺寸。根据上述实施例，优选地，步骤d还包括：将待检测零件正面图像进行矫正，得到零件偏移量，通过算法对待检测零件先根据对应的模板零件进行矫正，达到图像上跟模板零件几乎吻合的位置，以便准确确定沉头孔和黑色遮盖孔的位置坐标。本专利技术还公开了一种基于深度学习的零件开孔识别与检测系统，使用权利要求5所述一种基于深度学习的零件开孔识别与检测方法，其特征在于，包括：提取单元，提取各类模板零件的正面图像；标记单元，对所述模板零件的正面图像中的沉头孔和黑色遮盖孔进行分类标记；训练单元，使用卷积神经网络对已标记的所述沉头孔和黑色遮盖孔进行种类分析训练，提取所述沉头孔和黑色遮盖孔的坐标，生成识别模型；扫描单元，扫描待检测零件的正面图像；识别检测单元，载入所述识别模型，对所述待检测零件的正面图像中的沉头孔和黑色遮盖孔进行识别并检测；输出单元，输出检测结果。根据上述实施例，优选地，所述提取单元包括定位模块，用于将模板零件放置于工作台上并与原点对齐，扫描模板零件正面图像。根据上述实施例，优选地，所述训练单元包括信息提取模块，用于根据所述沉头孔和黑色遮盖孔的坐标，记录各沉头孔和黑色遮盖孔的信息。根据上述实施例，优选地，所述扫描单元包括矫正模块，用于将待检测零件正面图像进行矫正，得到零件偏移量。通过识别模型，对待检测零件中的各沉头孔和黑色遮盖孔的尺寸及开孔位置进行实时在线自动识别检测，与现有的人工观察相比，本专利技术可实现及时有效的观察和准确判定，不受飞机零配件的尺寸限制，保证检测结本文档来自技高网...

【技术保护点】
1.一种基于深度学习的零件开孔识别与检测方法，其特征在于，包括如下步骤：a.提取各类模板零件的正面图像；b.对所述模板零件的正面图像中的沉头孔和黑色遮盖孔进行分类标记；c.使用卷积神经网络对已标记的所述沉头孔和黑色遮盖孔进行种类分析训练，提取所述沉头孔和黑色遮盖孔的坐标，生成识别模型；d.扫描待检测零件的正面图像；e.载入所述识别模型，对所述待检测零件的正面图像中的沉头孔和黑色遮盖孔进行识别并检测；f.输出检测结果。/n

【技术特征摘要】
1.一种基于深度学习的零件开孔识别与检测方法，其特征在于，包括如下步骤：a.提取各类模板零件的正面图像；b.对所述模板零件的正面图像中的沉头孔和黑色遮盖孔进行分类标记；c.使用卷积神经网络对已标记的所述沉头孔和黑色遮盖孔进行种类分析训练，提取所述沉头孔和黑色遮盖孔的坐标，生成识别模型；d.扫描待检测零件的正面图像；e.载入所述识别模型，对所述待检测零件的正面图像中的沉头孔和黑色遮盖孔进行识别并检测；f.输出检测结果。


2.根据权利要求1所述一种基于深度学习的零件开孔识别与检测方法，其特征在于，步骤a包括：将模板零件放置于工作台上并与原点对齐，扫描模板零件正面图像。


3.根据权利要求2所述一种基于深度学习的零件开孔识别与检测方法，其特征在于，步骤c还包括：根据所述沉头孔和黑色遮盖孔的坐标，记录各沉头孔和黑色遮盖孔的信息。


4.根据权利要求3所述一种基于深度学习的零件开孔识别与检测方法，其特征在于，所述沉头孔和黑色遮盖孔的信息包括沉头孔位置、沉头孔尺寸、相邻沉头孔距离、黑色遮盖孔位置以及黑色遮盖孔尺寸。


5.根据权利要求1至4中任意一项的所述一种基于深度学习的零件开孔识别与检测方法，其特征在于，步骤d还包括：将待检测零件正面图像进行矫正，得到零件偏移量。

【专利技术属性】
技术研发人员：王光夫，
申请(专利权)人：天津瑟威兰斯科技有限公司，
类型：发明
国别省市：天津;12