基于改进FasterR-CNN的疵点检测方法技术

本发明专利技术涉及基于改进Faster R

【技术实现步骤摘要】
基于改进Faster R-CNN的疵点检测方法


[0001]本专利技术涉及计算机视觉目标检测领域，具体涉及一种基于改进Faster R-CNN的疵点检测方法。

技术介绍

[0002]服装行业作为一条大的产业链也是重要的民生支柱产业，其产品在生产过程中，由于设备及工艺的影响，表面往往会出现各种缺陷，我国虽是一个纺织品生产大国，但目前掌握的有关疵点检测方面的知识却相当落后。传统的人工视觉检测方法易忽略面料的细节特点，导致识别定位的精度不高、效率低下，因此越来越多的工厂开始利用机器来代替人工进行质检。利用机器视觉代替人工视觉，避免大部分因人工检测所造成的误差，也相应提高了检测精度和效率。
[0003]近年来，基于深度学习的方法在视觉系统、语音检测和文档分析等领域中得到越来越广泛的应用，相比于人工提取特征，深度学习技术能够利用多层神经网络对图像进行处理，进而获得图像局部信息和深层信息。目前在深度学习目标检测算法中，Faster R-CNN算法性能优越，能同时兼顾实时性、准确性和鲁棒性。继R-CNN和Fast R-CNN之后，为了进一步优化性能、减少检测网络运行时间，Ross Girshick等人在2016年提出了新的目标检测方法Faster R-CNN。Faster R-CNN由区域生成网络(Region Proposal Networks，RPN)和Fast R-CNN两部分构成，共享卷积层的存在使得目标候选区域的检测时间大大缩短，提高了目标检测的效率。但是，Faster R-CNN算法依然存在一定的不足之处，原始的Faster R-CNN中RPN网络的输入仅有一种尺度的特征图，这在大目标检测中非常有效，而对于小目标检测来说，容易忽略细节化的浅层特征，无法适用于小目标场景检测；其次对于多类别进行检测时模型的收敛能力较为一般，小目标检测时检测精度不高。除此之外，Faster R-CNN使用传统的NMS算法，它是一种传统的贪心算法，很大概率会漏检目标，对检测精度产生影响。

技术实现思路

[0004]针对Faster R-CNN在面料疵点检测过程中存在的缺点与不足，本专利技术从Faster R-CNN自身模型和方法入手，引入多尺度特征金字塔网络进行特征提取，以适应小目标场景检测。同时对Softmax分类器进行正则化，减小类内间距，增大类间间距，不断更新网络参数提高网络收敛能力。最后采用Soft-NMS算法代替传统的非极大值抑制算法，去除多余检测框，避免漏检误检问题，提高模型的检测精度。
[0005]本专利技术为实现上述目的所采用的技术方案是：基于改进Faster R-CNN的疵点检测方法，包括以下步骤：
[0006]步骤1：对原始疵点图像进行预处理获取二值图像，建立图像集合：训练集、验证集、测试集；
[0007]步骤2：建立Faster R-CNN网络模型：引入特征金字塔网络模型适应小目标检测，对Softmax分类器进行正则化用于减小类内间距增大类间间距，采用Soft-NMS算法去除多
余框；将二值图像输入该模型迭代训练优化模型参数；
[0008]步骤3：将测试集图像输入优化后的Faster R-CNN网络模型，获取疵点检测分类结果。
[0009]所述步骤2包括：
[0010]步骤2-1：将二值图像输入共享卷积层获取特征图；
[0011]步骤2-2：利用多尺度金字塔网络FPN处理特征图，获取当前二值图像的多尺度特征图；
[0012]步骤2-3：将多尺度特征图输入RPN网络，所述RPN网络包括卷积层、边框回归模块、Softmax分类器、Soft-NMS算法模块，用于生成疵点候选区域并提取；
[0013]步骤2-4：将多尺度金字塔网络FPN输出的多尺度特征图、RPN网络输出的疵点候选区域均输入Fast R-CNN网络，所述Fast R-CNN网络包括：ROI Pooling层、全连接层、边框回归模块、Softmax分类器、Soft-NMS算法模块，用于将RPN网络提取的疵点候选区域映射到多尺度特征图中，精确检测出不同尺度的疵点并以锚框显示。
[0014]所述共享卷积层采用VGG16网络。
[0015]所述步骤2-3具体包括：
[0016]a.利用卷积层进一步提取特征；
[0017]b.分成两路处理：一条进行正则化Softmax分类处理，获取不同尺度特征图的疵点识别；一条进行边界回归处理获取不同尺度的疵点边界检测框；
[0018]c.采用Soft-NMS算法模块去除多余检测框，并将多尺度特征图的疵点位置以检测框显示在图像上。
[0019]所述步骤2-4具体包括：
[0020]a.ROI Pooling层将RPN网络提取的候选区域映射到FPN输出的多尺度特征图中，并对每个区域池化变换成统一尺寸输出；
[0021]b.全连接层将整合卷积层或者池化层中具有类别区分性的局部信息；
[0022]c.然后再分成两路分别同时对两种特征图进行如下处理：一条进行Softmax分类处理进一步获取不同尺度特征图的疵点识别；一条进行边界回归处理进一步获取不同尺度的疵点边界检测框；
[0023]d.最后，采用Soft-NMS算法去除多余的检测框，精确输出多尺度特征图的疵点位置以检测框显示在图像上。
[0024]所述采用Softmax分类时需要对分类器进行正则化，使用L2范式约束；
[0025]计算约束后的损失函数，当损失函数值迭代收敛时，当前分类器为最优：
[0026][0027][0028]其中，W是权重参数，f为约束函数，X是输入的疵点特征，y表示真实值，i、j表示类别，C为类别总数，b代表偏移，是正确类别对应的线性得分函数；通过L2范数的约束，将最后一层特征约束在同一球面内，减少类内间距，增大类间间距。
[0029]所述采用Soft-NMS算法去除多余检测框进行优化使用的重置函数式如下：
[0030][0031]选择高斯函数作为衰减函数f，则当IoU(M,b
i
)≥N
t
时：
[0032][0033]其中，S
i
′
表示重置后的检测框的得分，S
i
表示第i个检测框的得分，M表示得分最高的检测框，b
i
表示待检测框，IoU(M,b
i
)表示检测框M和b
i
的重合度，σ为超参数，D为最终检测框集合。
[0034]所述图像集合分为训练集、验证集、测试集；将训练集二值图像输入建立的Faster R-CNN网络模型迭代训练优化模型参数，用验证集二值图像检验该模型。
[0035]本专利技术具有以下优点及有益效果：
[0036]1.引入多尺度特征金字塔网络进行特征提取，适应小目标场景检测，改善了RPN网络仅输入同一尺度特征图的情况，克服了因忽略细节化的浅层特征而导致目标检测精度不高的问题。改进后的模型对于面料中的小目标疵点检测精度有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于改进Faster R-CNN的疵点检测方法，其特征在于，包括以下步骤：步骤1：对原始疵点图像进行预处理获取二值图像，建立图像集合：训练集、验证集、测试集；步骤2：建立Faster R-CNN网络模型：引入特征金字塔网络模型适应小目标检测，对Softmax分类器进行正则化用于减小类内间距增大类间间距，采用Soft-NMS算法去除多余框；将二值图像输入该模型迭代训练优化模型参数；步骤3：将测试集图像输入优化后的Faster R-CNN网络模型，获取疵点检测分类结果。2.根据权利要求1所述的基于改进Faster R-CNN的疵点检测方法，其特征在于，所述步骤2包括：步骤2-1：将二值图像输入共享卷积层获取特征图；步骤2-2：利用多尺度金字塔网络FPN处理特征图，获取当前二值图像的多尺度特征图；步骤2-3：将多尺度特征图输入RPN网络，所述RPN网络包括卷积层、边框回归模块、Softmax分类器、Soft-NMS算法模块，用于生成疵点候选区域并提取；步骤2-4：将多尺度金字塔网络FPN输出的多尺度特征图、RPN网络输出的疵点候选区域均输入Fast R-CNN网络，所述Fast R-CNN网络包括：ROI Pooling层、全连接层、边框回归模块、Softmax分类器、Soft-NMS算法模块，用于将RPN网络提取的疵点候选区域映射到多尺度特征图中，精确检测出不同尺度的疵点并以锚框显示。3.根据权利要求2所述的基于改进Faster R-CNN的疵点检测方法，其特征在于，所述共享卷积层采用VGG16网络。4.根据权利要求2所述的基于改进Faster R-CNN的疵点检测方法，其特征在于，所述步骤2-3具体包括：a.利用卷积层进一步提取特征；b.分成两路处理：一条进行正则化Softmax分类处理，获取不同尺度特征图的疵点识别；一条进行边界回归处理获取不同尺度的疵点边界检测框；c.采用Soft-NMS算法模块去除多余检测框，并将多尺度特征图的疵点位置以检测框显示在图像上。5.根据权利要求2所述的基于改进Faster R-CNN的疵点检测方法，其特...

【专利技术属性】
技术研发人员：郑飂默，安萌，王诗宇，李备备，姜志超，辛丽，刘信君，
申请(专利权)人：沈阳中科数控技术股份有限公司，
类型：发明
国别省市：