本发明专利技术涉及一种基于X射线图像的智能危险品检测方法及系统，其中系统包括X光安检机，流媒体服务器，GPU服务器和监控报警终端；X光安检机对物体发出X射线，并根据射线透过率，生成X光图像视频流，并传输至监控报警终端和流媒体服务器；流媒体服务器对X光视频流进行编码和压缩后通过网络传送至GPU服务器；GPU服务器对视频流进行解码后基于X射线图像的智能危险品检测方法进行预测，生成结果元组，并传输给报警终端；报警终端获取X光图像视频流和结果元组并显示。本发明专利技术针对X光图像特点，增加多种数据增强方法，并改进损失函数和非极大抑制函数，有效改善了模型性能，实现对X光图像危险品的实时检测。
An intelligent dangerous goods detection method and system based on X-ray image
【技术实现步骤摘要】
一种基于X射线图像的智能危险品检测方法及系统
本专利技术属于人工智能与计算机图形学领域，具体涉及一种基于X射线图像的智能危险品检测方法及系统。
技术介绍
基于X光的安检机广泛应用于机场、火车站、地铁站、汽车站、政府机关大楼、大使馆、会议中心、会展中心、酒店、商场、大型活动、邮局、学校、物流行业、工业检测等。在安检行业中，普遍采用X光对箱包、行李进行检测，X射线安检仪借助于输送带将被检查行李送入X射线检查通道而完成检查；安检时，X射线机发出X射线，X射线透过被检箱包后，在X射线探测箱上形成X射线透视图，人工观察透视图即可分辨出危险品。然而，目前安检行业存在安检视频需要人工逐一查看的问题，稍有不慎就会漏掉危险品，效率不高。同时，人工检查会极大地限制包裹通过的速度，从而造成人流拥堵等情况。在物流行业中，运输安全主要依赖物流收派员的鉴别，这也导致相当多安全生产事故的发生，因此一种危险品图像检测算法非常有利于降低人工重复劳动的强度。目前基于X光的自动检测方法，均存在如下不足之处：(1)对X光图像的针对性优化不足，对X光图像的语义利用率低下，导致模型性能较差，难以用于实际生产。(2)只能识别少数种类的物体，对于增加物品类别和数据集扩充十分繁琐，与实际生活中使用需求不符。(3)对预设的阈值和参数十分敏感，模型泛化性能差，对一些随机噪声和颜色变化存在较为明显的反应，实际性能表现不稳定。
技术实现思路
专利技术目的：本专利技术提供一种基于X射线图像的智能危险品检测方法及系统，针对X光图像特点，增加多种数据增强方法，并改进损失函数和非极大抑制函数，有效改善了模型性能，实现对X光图像危险品的实时检测。
技术实现思路
：本专利技术所述的一种基于X射线图像的智能危险品检测方法，包括以下步骤：(1)读取输入的X光图像为m*n*3的浮点张量,并将其大小重置为300*300*3的张量Tinit，并减去Tave后生成Tinput，检查是否属于训练状态，若是则转到步骤(2)，否则转到步骤(3)；(2)对Tinput进行图像增强预处理，并替换原Tinput为处理后的浮点张量；(3)将Tinput依次在神经网络十一个卷积神经网络块中进行传播，进行不同维度的特征抽取，得到一系列的特征图FM；(4)在得到的特征图FM中抽取其中六层的特征图FMclassify，然后在特征图的每个点上生成若干默认框DB；(5)对每个特征图进行卷积计算得到默认框的类别置信度box_conf和位置偏移量loc_offset；(6)对所有默认框的box_conf进行降序排序，取大于0.5的所有默认框得到DBselected；(7)对每张图像的DBselected与真实框按照匹配策略执行匹配，若其交并比大于0.5则认为是正样本，反之则为负样本，检查是否处于训练状态，若是则转到步骤(8)，否则转到步骤(9)；(8)对所有图像中的DBselected根据损失函数计算损失值，并根据反向传播算法和设定学习率对网络参数进行更新；(9)将所有的DBselected进行非极大抑制筛选，得到最终结果框DBresult。进一步地，步骤(1)所述的Tave是数据集上全部图像的三个颜色通道的均值。进一步地，步骤(2)所述图像增强预处理描述如下：随机90度双向翻转，坐标变换由以下公式给出：随机180度翻转，坐标变换公式如下：以上的公式中xmin，ymin分别表示标注框的左下角的横坐标和纵坐标，xmax，ymax分别表示标注框右上角的横坐标和纵坐标；然后进行随机对比度变化和随机裁剪和缩放。进一步地，步骤(7)所述的匹配规则如下：对于图片中每个真实框，找到与其交并比最大的默认框，与其进行匹配，以保证每个真实框一定与某个先验框匹配；对于剩余的未匹配默认框，若与某个真实框的交并比大于0.5，那么该默认框也与这个真实框进行匹配。进一步地，步骤(7)所述损失函数描述如下：整个损失函数由两部分组成，x是匹配结果的三维矩阵，c是神经网络输出置信度的三维矩阵，Lloc是位置损失函数，Lconf是置信损失函数，其中α是位置损失与置信损失的平衡权重项，取值为1，N是在执行所述权利要求3的匹配策略后与真实框相匹配的默认框个数；在置信损失函数中Pos是所有的正样本，Neg是所有的负样本，是第i个默认框和第j个真实框对于危险品类别p是否匹配的指示变量，取值为1时表示匹配，取值为0表示不匹配，表示神经网络对类别p输出的置信度，权重项β＝0.25；在位置损失函数中，仅计算正样本所造成的损失，预测框的位置信息，是真实框的位置信息，cx,cy是检测框的左下角的横坐标与纵坐标，w,h分别是检测框的宽度和高度。进一步地，所述步骤(9)通过以下公式实现：其中，si是对每个类别的概率矩阵，σ是权重项，bi是第i个默认框，M是当前类别中置信度最高的默认框。本专利技术还提供一种基于X射线图像的智能危险品检测系统，包括X光安检机，流媒体服务器，GPU服务器和监控报警终端；X光安检机对物体发出X射线，并根据射线透过率，生成X光图像视频流，并传输至监控报警终端和所流媒体服务器；流媒体服务器对X光视频流进行编码和压缩后通过网络传送至GPU服务器；GPU服务器对视频流进行解码后基于X射线图像的智能危险品检测方法进行预测，生成结果元组，并传输给报警终端；报警终端获取X光图像视频流和结果元组并显示。进一步地，检测系统还包括远程传输服务器，将视频流传到云端并从云端获取返回结果元组。有益效果：与现有技术相比，本专利技术的有益效果：本专利技术增加了创新的数据增强方法和改进的损失函数以及改进的非极大抑制方法；在目标检测算法中充分考虑到X光图像中物体位置和形态的不确定性和重叠的情况，使用了针对性的数据增强技术，有效地提升了准确率，有效地克服了过拟合现象；为了解决正负样本的不平衡问题，我们改进了损失函数，提升了困难样本挖掘能力，提升了准确率和收敛速度；为了解决重叠目标一定程度上遗漏的问题，我们改进了非极大抑制方法，对密集目标有一定的改进效果；本专利技术还基于目标检测算法搭建了检测系统，系统包括拍照通信预测存储报警等模块，能实现实时拍照实时预测的功能。附图说明图1为基于X射线图像的智能危险品检测方法的流程图；图2为基于X射线图像的智能危险品检测方法所使用的网络结构图；图3为基于X射线图像的智能危险品检测系统报警终端界面示意图；图4为基于X射线图像的智能危险品检测系统架构图；图5为于X射线图像的智能危险品检测系统包含远程服务器的架构图；图6为使用改进后损失函数和原损失函数的提升对比图。具体实施方式下面结合说明书附图对本专利技术的具体实施方式作进一步详细的说明。X光图像和一般图像有所不同，X射线是一种可以穿透木材、纸板、皮革等不透明物体的电磁波。安检仪能根据物本文档来自技高网...
【技术保护点】
1.一种基于X射线图像的智能危险品检测方法，其特征在于，包括如下步骤：/n(1)读取输入的X光图像为m*n*3的浮点张量,并将其大小重置为300*300*3的张量T
【技术特征摘要】
1.一种基于X射线图像的智能危险品检测方法，其特征在于，包括如下步骤：
(1)读取输入的X光图像为m*n*3的浮点张量,并将其大小重置为300*300*3的张量Tinit，并减去Tave后生成Tinput，检查是否属于训练状态，若是则转到步骤(2)，否则转到步骤(3)；
(2)对Tinput进行图像增强预处理，并替换原Tinput为处理后的浮点张量；
(3)将Tinput依次在神经网络十一个卷积神经网络块中进行传播，进行不同维度的特征抽取，得到一系列的特征图FM；
(4)在得到的特征图FM中抽取其中六层的特征图FMclassify，然后在特征图的每个点上生成若干默认框DB；
(5)对每个特征图进行卷积计算得到默认框的类别置信度box_conf和位置偏移量loc_offset；
(6)对所有默认框的box_conf进行降序排序，取大于0.5的所有默认框得到DBselected；
(7)对每张图像的DBselected与真实框按照匹配策略执行匹配，若其交并比大于0.5则认为是正样本，反之则为负样本，检查是否处于训练状态，若是则转到步骤(8)，否则转到步骤(9)；
(8)对所有图像中的DBselected根据损失函数计算损失值，并根据反向传播算法和设定学习率对网络参数进行更新；
(9)将所有的DBselected进行非极大抑制筛选，得到最终结果框DBresult。
2.根据权利要求1所述的一种基于X射线图像的智能危险品检测方法，其特征在于，步骤(1)所述的Tave是数据集上全部图像的三个颜色通道的均值。
3.根据权利要求1所述的一种基于X射线图像的智能危险品检测模型的训练方法，其特征在于，步骤(2)所述图像增强预处理描述如下：
随机90度双向翻转，坐标变换由以下公式给出：
随机180度翻转，坐标变换公式如下：
以上的公式中xmin，ymin分别表示标注框的左下角的横坐标和纵坐标，xmax，ymax分别表示标注框右上角的横坐标和纵坐标；然后进行随机对比度变化和随机裁剪和缩放。
4.根据权利要求1所述的一种基于X射线图像的智能危险品检测方法，其特征在于，步骤(7)所述的匹配规则如下：<...
【专利技术属性】
技术研发人员：石宇，徐小龙，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。