一种基于深度学习模型的危险品检测方法和系统技术方案

本发明专利技术属于危险品检测技术领域，涉及一种基于深度学习模型的危险品检测方法和系统：通过光学镜头和红外镜头同时进行图像采集，并将光学图像和红外图像融合获得融合图像；对融合图像进行标定，并给出对应的标签；根据标签设定模型初始参数，并采用标定后的融合图像对模型进行预训练；对经过训练的模型进行验证，统计检测错误的融合图像，根据其特征对图像进行补充，并采用融合图像和补充后的图像对模型进行二次训练，获得最佳检测模型；将实际场景中光学镜头和红外镜头采集的图像进行融合，随后输入最佳检测模型获得危险品检测结果。其通过将红外镜头和光学镜头相结合，解决了光线较暗时无法捕捉图像的问题，实现了全天候目标检测。

【技术实现步骤摘要】
一种基于深度学习模型的危险品检测方法和系统
本专利技术涉及一种基于深度学习模型的危险品检测方法和系统，属于智能检测
，特别涉及危险品智能检测

技术介绍
目前，基于深度学习的目标检测算法大致可以分为两种：第一种是两阶段(two-stage)算法：先产生候选区域，然后再进行CNN或RCNN分类；第二种是单阶段(one-stage)算法：直接对输入图像应用算法并输出类别和相应的定位。YOLO(YouOnlyLookOnce)模型是继RCNN、Fast-RCNN和Faster-RCNN之后，RossGirshick针对深度学习目标检测速度问题提出的另外一种目标检测算法模型。YOLO模型将目标检测问题转换为一个回归问题，直接预测出预测框(BoundingBox)和相关的类别信息。起初YOLO-V0提出了将独热编码转化为带有检测区域的坐标信息和置信度的一个编码信息，本质上是运用了矩阵映射的原理，实现了直接返回预测框的效果，不足之处是只能完成单个目标的预测。为了实现多个目标的检测功能，产生了YOLO-V1，其通过端到端的训练，仅使用一个模型、一个目标函数就能够实现目标检测的目的，规避了多模块模型固有的缺陷，而且还减少了工程的复杂度。其不需要单独的搜索候选区域，也不需要单独的分类，因此其检测速度特别快，可以达到45fps，而FastYOLO检测速度可以达到155fps。YOLO模型对背景的识别效果较好，且有一定的迁移性，YOLO-V1模型最大的问题是对小目标的检测不准确。YOLO-V2模型在YOLO-V1模型的基础上，去掉了全连接层，并在每一个卷积层后边都添加了一个批量归一化层(BatchNormalization，BN)，并且对每一批数据都做了归一化的预处理，这两个改变进一步提升了算法的速度。YOLO-V3模型在网络上采用的是Darknet-53结构，在YOLO-V2模型的基础上，每隔两层增加了一个残差网络(ResidualNetworks)，即捷径层(ShortCut)，使用这种方法在训练很深层的网络时，能够解决梯度消失或者梯度爆炸的问题。YOLO-V4模型实现了单GPU训练得到快速准确的目标检测，集成了目前主流网络的大多优点，提高了小目标物体的预测精度。YOLO-V5模型相对于YOLO-V4模型，在数据处理上进行了更新，采用了自适应锚定框计算等方法，进一步提高了模型预测的准确度，而且增加了小目标的数据量，弥补了之前YOLO模型在小目标检测上的不足，并且又提高了在重叠情况下的物体识别的准确度，而且在模型结构上又进一步缩小，在预测效率上有了一定的提升。YOLO-V5模型是基于光学镜头实现的目标检测，在光线较暗的地方或者光线不充足的夜晚无法实现原有的对目标检测的功能。导致这种现象的根本原因是光学镜头不能在光线较弱或者无光的情况下完成图像的拍摄。红外摄像头采集到的图片是单通道的图像信息，不能直接作为输入信息应用于YOLO-V5模型上，若将单通道图像转化为三通道图像，应用于识别模型上，预测的精确度也不是很理想。
技术实现思路
针对上述问题，本专利技术的目的是提供了一种基于深度学习模型的危险品检测方法和系统，其通过将红外镜头和光学镜头相结合，解决了在光线较暗的条件下，光学镜头无法捕捉图像的问题，实现了YOLO模型全天候的目标检测。为实现上述目的，本专利技术采取以下技术方案：一种基于深度学习模型的危险品检测方法，包括以下步骤：S1通过光学镜头和红外镜头同时进行图像采集，并将光学图像和红外图像融合获得融合图像；S2对融合图像进行标定，并给出对应的标签；S3根据标签设定模型初始参数，并采用标定后的融合图像对模型进行预训练；S4对经过训练的模型进行验证，统计检测错误的融合图像，根据其特征对图像进行补充，并采用融合图像和补充后的图像对模型进行二次训练，获得最佳检测模型；S5将实际场景中光学镜头和红外镜头采集的图像进行融合，随后输入最佳检测模型获得危险品检测结果。进一步，步骤S1中光学图像和红外图像融合的方法为：S1.1判断光照强度，并根据光照强度获得加权因子α随光照强度变化曲线；S1.2通过光学镜头进行图像获得原始RGB图像，通过红外镜头获得红外图像；S1.3对原始RGB图像中各通道的像素乘以(1-α)，对红外图像的像素乘以α，从而获得最终的融合图像。进一步，加权因子α随光照强度变化曲线分为三个部分，当光照强和光照弱时，加权因子均为设定值，光照弱时的加权因子大于光照强时的加权因子；光照适中时，加权因子随光照强度线性变化，且加权因子α随光照强度增加而降低。进一步，步骤S1中还包括对光学镜头和红外镜头采集到的图像进行预处理，预处理过程包括自适应锚框计算、马赛克数据增强和自适应图片缩放。进一步，自适应锚框计算的方法为：根据图像设定初始锚框，在网络训练中，根据初始锚框输出预测框，将预测框和图像中真实框定的区域进行比对，计算两者差距，根据差异对初始锚框的参数进行更新，并更新网络参数，直至获得的预测框和图像中真实框定的区域吻合。进一步，马赛克数据增强的方法为：在若干图像中，从每个图像各选出一个不重复的部分，将图像选出的部分进行组合，生成新的图像。进一步，自适应图片缩放将长a宽b的长方形图像缩放为一边长为m的正方形，b边需要填充的像素长度p为：p＝mod(P,2γ)÷2其中，P为原始长和宽乘以缩放系数后的差值，γ为下采样的次数，mod为取余运算。进一步，模型为YOLO-V5模型，包括依次连接的输入端、主干子模块、Neck子模块和预测子模块。进一步，主干子模块包括了Focus结构和跨阶段局部网络结构，Focus结构将特征图进行分割，通过跨像素点裁剪提取将一张特征图转化为若干张有效的特征图。本专利技术还公开了一种基于深度学习模型的危险品检测系统，包括：融合模块，用于通过光学镜头和红外镜头同时进行图像采集，并将光学图像和红外图像融合获得融合图像；标定模块，用于对融合图像进行标定，并给出对应的标签；预训练模块，用于根据标签设定模型初始参数，并采用标定后的融合图像对模型进行预训练；二次训练模块，用于对经过训练的模型进行验证，统计检测错误的融合图像，根据其特征对图像进行补充，并采用融合图像和补充后的图像对模型进行二次训练，获得最佳检测模型；检测模块，用于将实际场景中光学镜头和红外镜头采集的图像进行融合，随后输入最佳检测模型获得危险品检测结果。本专利技术由于采取以上技术方案，其具有以下优点：1、本专利技术能够实现全天候监控，通过光学镜头与红外镜头采集图像的结合，实现了对于危险品的24小时检测功能，使YOLO模型的目标检测功能不再仅限于白天的使用，拓宽了YOLO模型实用范围，鲁棒性也得到了进一步提升。2、模型识别准确率的提升，对于光线较暗的场景，传统YOLO模型有时会错误的识别目标或者识别不到待检测目标，红外图像信息的加入正好弥补了这一缺陷，进一步提高了模型在光线较暗和无光条件线下的检测效果。3、模型的预测框框选位置更加精确，因为红本文档来自技高网...

【技术保护点】
1.一种基于深度学习模型的危险品检测方法，其特征在于，包括以下步骤：/nS1通过光学镜头和红外镜头同时进行图像采集，并将光学图像和红外图像融合获得融合图像；/nS2对所述融合图像进行标定，并给出对应的标签；/nS3根据所述标签设定模型初始参数，并采用标定后的融合图像对所述模型进行预训练；/nS4对经过训练的模型进行验证，统计检测错误的融合图像，根据其特征对图像进行补充，并采用融合图像和补充后的图像对所述模型进行二次训练，获得最佳检测模型；/nS5将实际场景中光学镜头和红外镜头采集的图像进行融合，随后输入所述最佳检测模型获得危险品检测结果。/n

【技术特征摘要】
1.一种基于深度学习模型的危险品检测方法，其特征在于，包括以下步骤：
S1通过光学镜头和红外镜头同时进行图像采集，并将光学图像和红外图像融合获得融合图像；
S2对所述融合图像进行标定，并给出对应的标签；
S3根据所述标签设定模型初始参数，并采用标定后的融合图像对所述模型进行预训练；
S4对经过训练的模型进行验证，统计检测错误的融合图像，根据其特征对图像进行补充，并采用融合图像和补充后的图像对所述模型进行二次训练，获得最佳检测模型；
S5将实际场景中光学镜头和红外镜头采集的图像进行融合，随后输入所述最佳检测模型获得危险品检测结果。


2.如权利要求1所述的基于深度学习模型的危险品检测方法，其特征在于，所述步骤S1中光学图像和红外图像融合的方法为：
S1.1判断光照强度，并根据所述光照强度获得加权因子α随光照强度变化曲线；
S1.2通过光学镜头进行图像获得原始RGB图像，通过红外镜头获得红外图像；
S1.3对所述原始RGB图像中各通道的像素乘以(1-α)，对所述红外图像的像素乘以α，从而获得最终的融合图像。


3.如权利要求2所述的基于深度学习模型的危险品检测方法，其特征在于，所述加权因子α随光照强度变化曲线分为三个部分，当光照强和光照弱时，所述加权因子均为设定值，光照弱时的加权因子大于光照强时的加权因子；光照适中时，所述加权因子随光照强度线性变化，且所述加权因子α随光照强度增加而降低。


4.如权利要求1-3任一项所述的基于深度学习模型的危险品检测方法，其特征在于，所述模型为YOLO-V5模型，包括依次连接的输入端、主干子模块、Neck子模块和预测子模块。


5.如权利要求4所述的基于深度学习模型的危险品检测方法，其特征在于，所述输入端对光学镜头和红外镜头采集到的图像进行预处理，所述预处理过程包括自适应锚框计算、马赛克数据增强和自适应图片缩放。

<...

【专利技术属性】
技术研发人员：张赛，吴明轩，杨信，华蓉，
申请(专利权)人：通号智慧城市研究设计院有限公司，
类型：发明
国别省市：北京;11