基于FasterR-CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法及系统技术方案

本发明专利技术公开一种基于Faster R

【技术实现步骤摘要】
基于Faster R
‑
CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法及系统


[0001]本专利技术涉及计算机视觉
，特别是一种基于Faster R
‑
CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法。

技术介绍

[0002]大型复杂结构件具有结构复杂、体积庞大、质量大并且需要承受较大荷载的特点，如风机叶片、汽车以及飞机等大型产品的支架、底座、内部骨架以及支撑定位架等。大型复杂结构件被普遍应用于风力发电、航空航天、船舶制造、军事武器装备以及汽车工业等领域，属于具有较高成本、质量的一类产品。一般大型复杂结构件的运行工况复杂多变，故障率较高。尽早发现缺陷区域，并对其进行分类、分割从而实现缺陷的分级，以便于相关人员尽快采取相应的检修措施，把问题解决在萌芽状态，才能保证大型复杂结构件能够长期、稳定地工作，有效减少设备的停机时间，避免重大事故，降低运维成本。因此对大型复杂结构件表面缺陷进行自动识别定位从而保证大型复杂结构件安全稳定运行的研究具有重大意义。
[0003]大型复杂结构件由于体积庞本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Faster R
‑
CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法，其特征在于：包括以下步骤：(1)获取大型复杂结构件表面缺陷区域的图像数据；(2)标注采集到的图像中的缺陷的位置和类别信息，生成用于模型训练的标注文件；(3)将采集到的图像数据进行图像变换处理，根据图像变换处理生成包含标签信息文件；(4)基于Resnet提取图像的特征图形成不同的特征层；(5)将不同的特征层进行特征融合，在图像的特征空间中构造金字塔，利用低层特征和高层特征分别在不同的特征层上进行预测；(6)根据提取的特征得到缺陷位置对缺陷进行粗定位；(7)根据缺陷位置将提取的缺陷输入到分类和回归网络进行缺陷的分类以及位置的精调，最终得到大型复杂结构件表面缺陷类别和位置。2.如权利要求1所述的基于Faster R
‑
CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法，其特征在于：所述缺陷位置通过标注边界框的左上点和右下点像素坐标进行表征，所述缺陷类别和位置信息保存在.xml文件中。3.如权利要求1所述的基于Faster R
‑
CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法，其特征在于：所述图像变换处理是对原图像进行增强扩充处理，所述增强扩充处理包括采用仿射变化、运动模糊、光照变换中任一种或多种组合的方式。4.如权利要求1所述的基于Faster R
‑
CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法，其特征在于：所述基于Resnet提取图像的特征的具体步骤如下：用ResNet
‑
50网络先对大型复杂结构件图像进行特征提取，得到多个阶段输出的第一特征图，根据大型复杂结构件图像确定对应的分辨率；确定特征提取网络的卷积核，根据卷积核进行下采样操作，并以全局平均池化层为全连接层，在为每两个全连接层增加残差边，形成残差结构。5.如权利要求1所述的基于Faster R
‑
CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法，其特征在于：所述特征融合的具体步骤如下：将特征图分别输入特征金字塔网络FPN，通过上采样反卷积操作将较深层的特征图放大到和较浅层的特征图一样的尺寸；将自底向上生成的特征图通过卷积运算降低通道数；通过横向连接将上采样反卷积操作的结果和卷积运算后具有相同通道数的特征图进行逐元素相加，实现低级特征和高级语义特征的融合。6.如权利要求1所述的基于Faster R
‑
CNN的大型复杂结构件表面多尺寸多类别缺陷智能检测方法，其特征在于：所述缺陷粗定位的具体步骤如下：锚框生成：在特征图上生成锚点，并映射到原图的对应位置，然后以原图上的锚点为中心，在原图像中生成不同的长宽比和尺度的锚框；锚框分类：在每个特征点上分类是否属于前景和背景并对锚框位置参数进行回归，分类采用先将特征图进行卷积，进一步提取特征，然后将通道数映射到对应的类别；最后计算概率；位置回归：根据通道数映射对应锚框的位置与大小，回归的参数分别是矩形框中心点
与锚框中心点横、纵坐标的位移以及矩形框长宽与锚框长宽的比例；锚框后处理：将回归得到的候选区域的宽...

【专利技术属性】
技术研发人员：牛晓博，何彦，郝传鹏，康玲，刘雪晖，
申请(专利权)人：重庆大学，
类型：发明
国别省市：