一种基于多尺度注意力X光断针检测方法技术

本发明专利技术公开一种基于多尺度注意力X光断针检测方法，本发明专利技术根据工业应用的特点，将多尺度注意力X光异物检测算法应用于X光异物检测，优化了残差神经网络的结构，这些改进使模型在工业级应用上检测速度和精度符合工业标准，确保模型的泛化能力强；相较传统的X光金属异物检测系统，基于深度学习的多尺度注意力X光异物检测算法可以检测本身含有金属的产品异物，经过重新训练后也可以根据用户需求识别其他异物，并可以快速部署在X光检针机上，实现了快速、全自动化、可保存数据、及时反馈的断针识别检测。检测。检测。

【技术实现步骤摘要】
一种基于多尺度注意力X光断针检测方法


[0001]本专利技术属于X光断针检测
，尤其涉及一种基于多尺度注意力X光断针检测方法，具体涉及纺织鞋服箱包等生产车间金属断针的异物检测工序。

技术介绍

[0002]X光成像在医疗，安检设备上应用广泛，目前类似X光安检机的检针设备在其他厂家也有较少应用，但核心问题是无法做到类似金属检针机的自动检测与异物自动报警，需要额外的人工监看，漏检率高且无法匹配流水线的生产速率，因而只能作为产品的离线抽查检验设备。传统的检针机利用电磁感应，当铁磁性物体进入检测通道时，上下探头通过强磁场感应产生信号并把信号发送到信号接收处理集成块，然后有光电仪扫描感应、强电集成块、灵敏度控制集成块、信号接收集成块和信号输出集成块和执行元件来完成检测工作。但是如果产品本身存在金属，则会出现误检的情况。
[0003]随着深度学习在X光图像处理领域的研究热潮，近年来出现了基于深度卷积神经网络来单独检测某一类危险品、违禁品的应用，检出了90％以上的SMTs，误报率低于6％，相较于传统的方法提升了一个数量级，并展现了超出人工检测的能力。如果能解决X光图像中异物的自动识别，将给包括箱包、玩具、药品、食品等领域带来自动检测技术的提升，从而实现生产流水线的在线、实时检测。因此，研究基于深度学习的X光图像自动分析技术，实现金属断针的自动识别与检测，利用深度神经网络来自动学习特征是当下的研究热点。

技术实现思路

[0004]本专利技术针对现有工业应用中的X光检测无法做到类似金属检针机的自动检测与异物自动报警，需要额外的人工监看，漏检率高且无法匹配流水线的生产速率，因而只能作为产品的离线抽查检验设备的问题，提出一种基于多尺度注意力X光断针检测方法。
[0005]为了实现上述目的，本专利技术采用以下技术方案：
[0006]一种基于多尺度注意力X光断针检测方法，包括：
[0007]步骤1，数据采集：使用X光图像采集卡，采集用于训练神经网络的X光异物图像数据集，并进行数据标注，标注内容包括异物的类别标签和位置信息，进行数据清洗；然后通过探索性数据分析将数据集根据异物尺寸、异物类别、图像尺寸、对比度进行归类并对异常或难样本采取数据清洗，去除缺失值和噪声数据，得到图像中异物标注框的四维向量信息，并将数据集按比例划分为训练集和测试集；
[0008]步骤2，训练X光断针检测模型：
[0009]步骤21，将步骤1得的数据集图像进行图像混合、标签平滑化、随机几何变换：随机裁剪、随机扩展、随机水平翻转、随机拉伸以及随机角度旋转；随机色彩变换：对比度、亮度、饱和度、色度的随机变换；
[0010]步骤22，构建Cascade R
‑
CNN神经网络模型，使用公开ImageNet对Cascade R
‑
CNN预训练权重进行迁移，得到神经网络的初始权重；
[0011]步骤23，将经过预处理的数据集进行差值图三通道处理：将待检测的图片作为第一通道；将预先采集的没有异物的模板图片作为第二通道；将第一通道和第二通道进行带权差值运算，运算结果作为第三通道；
[0012]步骤24，将差值图输入Cascade R
‑
CNN中修改的ResNest50+FPN的骨干网络，提取待检测图像的特征；
[0013]步骤25，使用候选区域网络生成anchor box，对其进行裁剪过滤后通过Softmax分类器判断是否为异物，同时，使用边框回归算法修正anchor box，形成候选框窗口；把候选框窗口映射到CNN的最后一层卷积特征图上，并通过非最大值抑制算法剔除掉重叠的框，进一步筛选候选框；通过RoI池化层，使每个RoI生成固定尺寸的特征图；利用Softmax Loss和Smooth L1 Loss对分类概率和边框回归联合训练；最终计算与实际框的交并比IoU，与初设阈值对比，进行筛选，得到符合条件的异物检测框的四维信息；
[0014]步骤26，设置每次输出的IoU阈值逐步提升，最终得到符合条件的检测框，此时输出值为异物检测框的四维信息和IoU值；
[0015]步骤27，重复上述步骤进行迭代和反向传播，不断优化训练神经网络的权重，得到优化的Cascade R
‑
CNN神经网络，并输入测试集，当测试集的并交比达到最终目标阈值时认为Cascade R
‑
CNN神经网络训练完成；
[0016]步骤3，将步骤2得到的Cascade R
‑
CNN神经网络模型应用于工业X光检针工序：将图像输入到Cascade R
‑
CNN神经网络模型中，进行检测，将输出的检测框输入到ImageNet的分类器中，得到异物的类别，同Cascade R
‑
CNN中得到的异物检测框的四维信息一起输出，最终完成检测；
[0017]步骤4，将四维信息所表示的异物检测框呈现在原图上，作为输出并进行存档。
[0018]进一步地，通过OHEM算法进行难样本挖掘。
[0019]进一步地，按照如下方式进行图像混合：
[0020]img
mixup
＝lam*img
org
+(1
‑
lam)*img
mix
[0021]其中lam为超参数，通过随机数生成；img
org
表示原图；img
mix
表示混合图；img
mixup
表示混合后图像、即合成图。
[0022]进一步地，按照如下方式进行标签平滑化：
[0023]q
′
(k|x)＝(1
‑
∈)δ
k，y
+∈u(k)
[0024]其中∈为超参数；u(k)表示类别分之一。
[0025]进一步地，按照如下方式构建Cascade R
‑
CNN的骨干网络：
[0026]将ResNest50网络中Cardinal候选的卷积attention模块由两个变为三个，图片在输入网络后，依次经过一系列conv和relu得到的特征图，将多个由FPN生成的特征图逐个输入到候选区域网络，额外添加一个conv+relu层。
[0027]进一步地，所述Cascade R
‑
CNN神经网络模型的损失函数为：
[0028][0029]其中，对于每个anchor，N
cls
为类别数目，在二分类任务中其值为2；L
cls
是一个二分类的softmax Loss；表示是异物的概率；p
i
表示不是异物的概率；t
i
代表该anchor的4个坐
标位置，i表示第i个anchor，当anchor是正样本时是负样本则为0；表示一个与正样本anchor相关的ground truth box坐标，则每组t均包含四维向量x,y,w,h，分别表示box的中心本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度注意力X光断针检测方法，其特征在于，包括：步骤1，数据采集：使用X光图像采集卡，采集用于训练神经网络的X光异物图像数据集，并进行数据标注，标注内容包括异物的类别标签和位置信息，进行数据清洗；然后通过探索性数据分析将数据集根据异物尺寸、异物类别、图像尺寸、对比度进行归类并对异常或难样本采取数据清洗，去除缺失值和噪声数据，得到图像中异物标注框的四维向量信息，并将数据集按比例划分为训练集和测试集；步骤2，训练X光断针检测模型：步骤21，将步骤1得的数据集图像进行图像混合、标签平滑化、随机几何变换：随机裁剪、随机扩展、随机水平翻转、随机拉伸以及随机角度旋转；随机色彩变换：对比度、亮度、饱和度、色度的随机变换；步骤22，构建Cascade R
‑
CNN神经网络模型，使用公开ImageNet对Cascade R
‑
CNN预训练权重进行迁移，得到神经网络的初始权重；步骤23，将经过预处理的数据集进行差值图三通道处理：将待检测的图片作为第一通道；将预先采集的没有异物的模板图片作为第二通道；将第一通道和第二通道进行带权差值运算，运算结果作为第三通道；步骤24，将差值图输入Cascade R
‑
CNN中修改的ResNest50+FPN的骨干网络，提取待检测图像的特征；步骤25，使用候选区域网络生成anchor box，对其进行裁剪过滤后通过Softmax分类器判断是否为异物，同时，使用边框回归算法修正anchor box，形成候选框窗口；把候选框窗口映射到CNN的最后一层卷积特征图上，并通过非最大值抑制算法剔除掉重叠的框，进一步筛选候选框；通过RoI池化层，使每个RoI生成固定尺寸的特征图；利用Softmax Loss和Smooth L1 Loss对分类概率和边框回归联合训练；最终计算与实际框的交并比IoU，与初设阈值对比，进行筛选，得到符合条件的异物检测框的四维信息；步骤26，设置每次输出的IoU阈值逐步提升，最终得到符合条件的检测框，此时输出值为异物检测框的四维信息和IoU值；步骤27，重复上述步骤进行迭代和反向传播，不断优化训练神经网络的权重，得到优化的Cascade R
‑
CNN神经网络，并输入测试集，当测试集的并交比达到最终目标阈值时认为Cascade R
‑
CNN神经网络训练完成；步骤3，将步骤2得到的Cascade R
‑
CNN神经网络模型应用于工业X光检针工序：将图像输入到Cascade R
‑
CNN神经网络模型中，进行检测，将输出的检测框输入到ImageNet的分类器中，得到异物的类别，同Cascade R
‑
CNN中得到的异物检测框的四维信息一起输出，最终完成检测；步骤4，将四维信息所表示的异物检测框呈现在原图上，作为输出并进行存档。2.根据权利要求1所述的一种基于多尺度注意力X光断针检测方法，其特征在于，所述步骤1中，通过OHEM算法进行难样本挖掘。3.根据权利要求1所述的一种基于多尺度注意力X光断针检测方法，其特征在...

【专利技术属性】
技术研发人员：庞子龙，何欣，张晨龙，武戈，李赫，
申请(专利权)人：河南大学，
类型：发明
国别省市：