基于改进Faster-RCNN的缺陷检测方法及装置制造方法及图纸

本发明专利技术提供了一种基于改进Faster

【技术实现步骤摘要】
基于改进Faster
‑
RCNN的缺陷检测方法及装置


[0001]本专利技术涉及汽车内饰检测
，尤其是涉及一种基于改进Faster
‑
RCNN的缺陷检测方法及装置。

技术介绍

[0002]目前，汽车冲压成品的检测方式通常包括人工目检的方式和线下通过视觉设备抽检的方式。对于人工目检的方式，由于冲压成品缺陷较多，且每个目检人员对缺陷理解不同，因此会造成检测标准不统一；此外，该方式的工作效率较低，且随检测数量增加和身体疲劳会不可避免地出现错判、漏检。对于线下通过视觉设备抽检的方式，需要搭建特定光学环境，基于条纹投影原理对部件进行测量，测定深度的准确度是正确分类缺陷的条件，且该技术仅适用于检测一些局部区域，因而该技术的缺陷主要包括：（1）冲压成品表面形态复杂，极大的干扰了通过分析条纹投影的方式来检测，使得设备误检率、设备维护难度和设备维护成本均会变高；（2）线下抽检的方式难以满足企业全面检测的检测需求。
[0003]随着生产制造业不断认识到使用深度学习技术进行缺陷检测的重要性，越来越多的企业开始选择使用人工智能进行缺陷的自动化检测。例如，可采用基于深度学习的目标检测算法Faster
‑
RCNN进行缺陷的自动化检测，该算法更加关注物体局部区域，目标的整体相关性不高，而冲压成品的一些缺陷（如开裂、缩颈等）的特征与其周围正常区域的特征易混淆，若仅仅关注局部区域虽检出率会提升但也会产生误检问题，将会把正常区域误识别为缺陷。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于改进Faster
‑
RCNN的缺陷检测方法及装置，以缓解现有汽车冲压成品检测技术中存在的上述问题。
[0005]第一方面，本专利技术实施例提供了一种基于改进Faster
‑
RCNN的缺陷检测方法，所述方法包括：获取冲压成品的待检测图像；通过预先训练好的改进的Faster
‑
RCNN模型对所述待检测图像进行缺陷的检测，得到所述待检测图像的检测结果；其中，改进的Faster
‑
RCNN模型包括主干网络、区域建议网络、感兴趣区域池化层和头部网络，所述主干网络包括特征提取模块，所述特征提取模块采用多个卷积块并在指定相邻卷积块之间设置有注意力模块。
[0006]第二方面，本专利技术实施例还提供一种基于改进Faster
‑
RCNN的缺陷检测装置，所述装置包括：获取模块，用于获取冲压成品的待检测图像；检测模块，用于通过预先训练好的改进的Faster
‑
RCNN模型对所述待检测图像进行缺陷的检测，得到所述待检测图像的检测结果；其中，改进的Faster
‑
RCNN模型包括主干网络、区域建议网络、感兴趣区域池化层和头部网络，所述主干网络包括特征提取模块，所述特征提取模块采用多个卷积块并在指定相邻卷积块之间设置有注意力模块。
[0007]本专利技术实施例提供的一种基于改进Faster
‑
RCNN的缺陷检测方法及装置，先获取
冲压成品的待检测图像，再通过预先训练好的改进的Faster
‑
RCNN模型对待检测图像进行缺陷的检测，得到待检测图像的检测结果；其中，改进的Faster
‑
RCNN模型包括主干网络、区域建议网络、感兴趣区域池化层和头部网络，主干网络包括特征提取模块，特征提取模块采用多个卷积块并在指定相邻卷积块之间设置有注意力模块。采用上述技术，通过在主干网络的特征提取模块中加入注意力模块的方式对现有Faster
‑
RCNN模型进行改进，可以使改进的Faster
‑
RCNN模型在特征提取阶段便关注缺陷的整体信息，更好地识别出缺陷并将缺陷与正常区域区分开来，从而避免误检、漏检等问题。
[0008]本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
[0009]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0010]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1为本专利技术实施例中一种基于改进Faster
‑
RCNN的缺陷检测方法的流程示意图；图2为本专利技术实施例中改进的Faster
‑
RCNN模型的结构示例图；图3为本专利技术实施例中注意力模块的示例图；图4为本专利技术实施例中GsoP
‑
Net块与resnet50结合的结构示例图；图5为本专利技术实施例中Faster
‑
RCNN算法改进前后的其中一个检测结果对比图；图6为本专利技术实施例中Faster
‑
RCNN算法改进前后的另一个检测结果对比图；图7为本专利技术实施例中一种基于改进Faster
‑
RCNN的缺陷检测装置的结构示意图。
具体实施方式
[0012]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0013]目前，汽车冲压成品的检测方式通常包括人工目检的方式和线下通过视觉设备抽检的方式。对于人工目检的方式，由于冲压成品缺陷较多，且每个目检人员对缺陷理解不同，因此会造成检测标准不统一；此外，该方式的工作效率较低，且随检测数量增加和身体疲劳会不可避免地出现错判、漏检。对于线下通过视觉设备抽检的方式，需要搭建特定光学环境，基于条纹投影原理对部件进行测量，测定深度的准确度是正确分类缺陷的条件，且该技术仅适用于检测一些局部区域，因而该技术的缺陷主要包括：（1）冲压成品表面形态复杂，极大的干扰了通过分析条纹投影的方式来检测，使得设备误检率、设备维护难度和设备维护成本均会变高；（2）线下抽检的方式难以满足企业全面检测的检测需求。
[0014]随着生产制造业不断认识到使用深度学习技术进行缺陷检测的重要性，越来越多的企业开始选择使用人工智能进行缺陷的自动化检测。例如，可采用基于深度学习的目标检测算法Faster
‑
RCNN进行缺陷的自动化检测，该算法更加关注物体局部区域，目标的整体相关性不高，而冲压成品的一些缺陷（如开裂、缩颈等）的特征与其周围正常区域的特征易混淆，若仅仅关注局部区域虽检出率会提升但也会产生误检问题本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进Faster
‑
RCNN的缺陷检测方法，其特征在于，所述方法包括：获取冲压成品的待检测图像；通过预先训练好的改进的Faster
‑
RCNN模型对所述待检测图像进行缺陷的检测，得到所述待检测图像的检测结果；其中，改进的Faster
‑
RCNN模型包括主干网络、区域建议网络、感兴趣区域池化层和头部网络，所述主干网络包括特征提取模块，所述特征提取模块采用多个卷积块并在指定相邻卷积块之间设置有注意力模块。2.根据权利要求1所述的方法，其特征在于，每个所述注意力模块用于：对相应卷积块输出的输入特征图进行卷积操作，得到相应的注意力特征图；计算所述注意力特征图的各个通道间的相关性，得到相应的协方差矩阵；其中，所述协方差矩阵中的每个元素用于表征每个通道与其自身或其他通道间的依赖关系；对所述协方差矩阵进行线性卷积操作，得到相应的特征向量；对所述特征向量进行非线性激活操作，得到相应的权重向量；将所述输入特征图与所述权重向量点乘，得到相应的输出特征图；其中，所述输出特征图的尺寸与所述输入特征图的尺寸相同。3.根据权利要求2所述的方法，其特征在于，对相应卷积块输出的输入特征图进行卷积操作，得到相应的注意力特征图的步骤包括：按照以下公式对相应卷积块输出的输入特征图进行可变形卷积计算，得到相应的注意力特征图：其中，I为3
×
3的可变形卷积核，为输入特征图的每个元素位置，为I的第i个点，为在输入特征图对应元素位置的偏移量，为在输入特征图对应元素位置偏移后在输入特征图上的值，为的权重，为输入特征图上以为中心的特征区域经过I一次滑动卷积后计算出的值，特征区域的尺寸与I的尺寸对应。4.根据权利要求2所述的方法，其特征在于，计算所述注意力特征图的各个通道间的相关性，得到相应的协方差矩阵的步骤包括：获取所述注意力特征图的各个通道的特征图；将所述注意力特征图的每个通道的特征图转换成相应的列向量；按照以下公式计算所述注意力特征图的每个通道的特征图与其自身或其他通道的特征图之间的协方差：其中，f
i
为第i个通道的特征图对应的列向量，f
j
为第j个通道的特征图对应的列向量，为第i个通道的特征图对应的列向量中元素的均值，为第j个通道的特征图对应的列向量中元素的均值，，，为第i个通道的特征图
对应的列向量中第k个元素的值，为第j个通道的特征图对应的列向量中第k个元素的值，w和h分别为特征图的宽和高；基于所述注意力特征图的每个通道的特征图与其自身或其他通道的特征图之间的协方差，构建所述注意力特征图对应的协方差矩阵如下：∑其中，∑为协方差矩阵，c为所述注意力特征图的通道数。5.根据权利要求4所述的方法，其特征在于，对所述协方差矩阵...

【专利技术属性】
技术研发人员：王凯，方超群，陈立名，田楷，胡江洪，曹彬，杨旭，贾明，
申请(专利权)人：菲特天津检测技术有限公司，
类型：发明
国别省市：