一种基于改进FasterRCNN算法的圆盘耙片表面缺陷检测方法技术

本发明专利技术属于图像处理检测与计算机视觉技术领域，更具体地，涉及一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法，具体步骤包括S1：利用固定设备采集生产线上的圆盘耙片图像，挑选出带有缺陷的图像；S2：对采集好的图片进行标注、划分、增强处理，确定训练集和验证集；S3：对基于Faster RCNN算法的模型进行改进：采用K

【技术实现步骤摘要】
一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法


[0001]本专利技术属于图像处理检测与计算机视觉
，更具体地，涉及一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法。

技术介绍

[0002]圆盘耙片是农机上大量消耗的零件，作为优质的机械化保护性耕作主要采用的关键部件，具有松碎阀土、平整地表、切断秸秆、粉碎根茬、混和作物残茬与土壤等作用。耙片作为圆盘耙及圆盘犁的主要工作部件和易损件，产品装配及社会需求量很大，并且废旧耙片不能回收利用，我国每年需要生产大量耙片。在耙片生产过程中，耙片表面可能会出现划痕、磕蹭、黑印等较多细小的缺陷，这些缺陷会影响耙片的使用寿命，而且买家对其也有较高的质量要求，因此有必要对耙片进行表面缺陷检测，对有缺陷的耙片进行相关处理，保证生产的圆盘耙片具有较高的质量。
[0003]目前，厂家仍依靠人工来检测耙片缺陷，人工检测存在一系列的问题：检测效率低，存在错检漏检，难以满足大批量的自动化生产需求等。因此，在实际生产过程中需要寻找一种检测效率高，准确度高的检测方式实现农机具耙片表面缺陷的自动检测，满足自动化生产需求。虽然目前尚没有针对圆盘耙片表面缺陷检测的研究，但与之类似的金属表面缺陷检测已经成为了热门的研究方向之一。
[0004]早期的金属表面缺陷检测主要使用了激光，超声波，磁场和红外等非视觉技术以及传统的机器视觉技术，这些技术易受环境因素的影响，鲁棒性较差，并且传统机器视觉技术需要根据不同的任务设计不同的特征。随着深度学习技术的发展，人们开始将深度学习应用于计算机视觉领域，并使用计算机视觉中的目标检测技术逐渐代替传统的机器视觉进行金属表面缺陷检测，比如单阶段的YOLO系列算法和双阶段的RCNN系列算法等，其中Faster RCNN算法在小目标检测领域的准确率更好，金属表面的划痕等缺陷通常大小差异较大，存在较多细小的缺陷，因此Faster RCNN算法在此类检测任务中受到广泛应用。

技术实现思路

[0005]本专利技术旨在克服上述现有技术的至少一种缺陷，提供一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法。
[0006]本专利技术详细的技术方案如下：
[0007]本专利技术采取的技术方案为一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法，具体步骤如下：
[0008]训练阶段：
[0009]100、利用固定设备采集生产线上的圆盘耙片图像，挑选出带有缺陷(划痕，磕蹭和黑印三类)的图像，并利用图片裁剪工具裁剪去多余的部分。
[0010]200、对裁剪之后的图片进行缺陷标注，并按照8:2的比例将数据集划分为训练集
和验证集。
[0011]300、对划分好的数据集进行旋转，随机裁剪，改变亮度等数据增强处理，增加图片数量，得到最终的数据集，可使模型训练得更加充分。
[0012]400、对基于Faster RCNN算法的模型进行改进：采用K
‑
means聚类的方法来自动生成anchor的比例；选用Resnet50+FPN的结构作为backbone；在模型中加入CA注意力机制；使用ROI Align代替ROI Pooling；使用基于广义交并比EIOU设计的EIOU NMS代替传统Faster RCNN算法中第二阶段的非极大值抑制NMS，改进训练时的损失函数，使用SIOU Loss作为整个算法的回归损失。
[0013](1)采用K
‑
means聚类的方法来自动生成anchor的比例，取得最合适的3个anchor比例，消除人工设定的主观性。采用K
‑
means聚类算法进行anchor聚类时，距离度量函数定义为：Distance＝1
‑
IOU；其中Distance为两个矩形框之间的距离，IOU为两个矩形框的交并比，IOU越大表示两个矩形框越相似。
[0014](2)Resnet网络较好的改善了网络层数不断加深而准确率不能有效提升的问题，采用较深的Resnet50网络提取更好的特征用于后续检测；特征图金字塔网络FPN通过高层特征的上采样和底层特征进行自顶向下的连接，叠加位置信息准确的底层特征和语义信息丰富的高层特征实现了多尺度特征的融合，适用于目标尺度差异大和小目标的检测任务。针对圆盘耙片表面存在的缺陷尺度差异大，小目标的缺陷较多的问题，使用Resnet50+FPN来代替传统Faster RCNN算法中的VGG16作为backbone，并且在不同尺寸的融合特征层分别进行预测。
[0015](3)ROI Align采用双线性插值来计算浮点数坐标位置的像素值，没有量化操作，使用ROI Align代替ROI Pooling，避免量化操作引入误差。
[0016](4)广义交并比EIOU不仅考虑了两个anchor的IOU还考虑了中心点之间的距离以及宽高关系，更能表示两个anchor的相似程度，使用基于广义交并比EIOU设计的EIOU NMS代替传统Faster RCNN算法中第二阶段的非极大值抑制NMS，减小漏检问题。
[0017](5)IOU系列的Loss将anchor的四个坐标作为一个整体来衡量anchor与ground truth之间的损失，其中的SIOU Loss考虑了anchor与ground truth之间的角度，距离，形状以及IOU四个方面的损失，能够更准确地衡量两者之间的损失，使用SIOU Loss作为整个算法的回归损失。
[0018](6)模型中加入CA注意力机制，抑制与任务无关的信息，重点关注与任务相关的信息，以增加较少的计算量，增强模型提取有效特征的能力，从而提升模型的性能。
[0019]500、模型训练，首先加载Resnet50+FPN的预训练权重，然后再利用制作的训练集采用近似联合训练的方式对整个模型进行训练，若模型在验证集上的loss值不再下降，则训练完成，停止训练。
[0020]其中训练时正负样本选取：
[0021]在RPN阶段：图像输入backbone得到特征图，每个特征图像素点都对应有预先设置的anchors，利用这些anchors对应原图中的区域进行RPN阶段训练时正负样本的选取，其中与ground truth的IOU最大或者大于0.7的区域设置为正样本，IOU小于0.3的区域设置为负样本，然后分别随机选取128个正样本和128个负样本，若正样本不足，则负样本补齐，共256个正负样本参与训练。
[0022]在Fast RCNN阶段：在RPN阶段输出的2000个区域中选取Fast RCNN阶段训练时的正负样本，与ground truth的IOU大于0.5的区域设置为正样本，其余为负样本，然后按正负样本比例为1：3随机选取共512个样本进行训练，若正样本不足，则负样本补齐。
[0023]此取样方法考虑两阶段的特点，用不同的正负样本的选取方法与选取数量，使得模型在训练时更具有针对性，得到的模型更加精确。
[0024]60本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法，其特征在于，包括以下步骤：S1：利用固定设备采集生产线上的圆盘耙片图像，挑选出带有缺陷的图像，并进行裁剪处理；S2：对采集好的图片进行标注、划分、增强处理，确定训练集和验证集；S3：对基于Faster RCNN算法的模型进行改进：采用K
‑
means聚类的方法来自动生成anchor的比例；选用Resnet50+FPN的结构作为backbone；在模型中加入CA注意力机制；使用ROI Align代替ROI Pooling；使用基于广义交并比EIOU设计的EIOU NMS代替传统Faster RCNN算法中第二阶段的非极大值抑制NMS；S4：Faster RCNN模型在训练时所使用的损失函数包括Fast RCNN的损失函数和RPN的损失函数，改进训练时的损失函数，使用SIOU Loss作为整个算法的回归损失；S5：对Faster RCNN模型进行训练；S6：将待检测的圆盘耙片图像输入训练好的模型中进行图像处理并输出一张新的图像，并用矩形框出识别的缺陷，标出缺陷类别以及概率。2.根据权利要求1所述的一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法，其特征在于，所述对采集好的图片进行标注、划分、增强处理，确定训练集和验证集具体包括：对裁剪之后的图片进行缺陷标注，并按照8:2的比例划分好训练集和验证集；对划分好的训练集和验证集进行数据增强处理，增加图片数量，得到最终的训练集和验证集。3.根据权利要求1所述的一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法，其特征在于，选用Resnet50+FPN的结构作为backbone包括：使用Resnet50+FPN来代替传统Faster RCNN算法中的VGG16作为backbone，对图像提取特征后得到5个不同尺寸的feature map。4.根据权利要求3所述的一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法，其特征在于，所述Resnet50网络结构的第一个卷积层和最后一个卷积层之后分别接入CA注意力机制。5.根据权利要求1至4任一项所述的一种基于改进Faster RCNN算法的圆盘耙片表面缺陷检测方法，其特征在于，改进训练时的损失函数具体包括：Faster RCNN模型在训练时所使用的损失函数包括Fast RCNN阶段的损失函数和RPN阶段的损失函数两部分组成，并且这两部分损失都包含分类损失和回归损失。即可得Faster RCNN模型所用损失函数为：L＝L
RPN
+L
Fast RCNN
在RPN阶段((L
RPN
))，采用二分类的交叉熵损失作为分类损失；在Fast RCNN阶段((L
Fast RCNN
))，采用多分类交叉熵损失作为分类损失；两阶段均采用SIOU Loss作为回归损失，定...

【专利技术属性】
技术研发人员：程广河，王星星，张让勇，孙瑞瑞，程大全，
申请(专利权)人：齐鲁工业大学山东山科智控数字化科技有限公司，
类型：发明
国别省市：