一种基于深度学习的低可见度环境下实时目标检测方法技术

本发明专利技术提出一种基于深度学习的低可见度的实时目标检测方法，通过引导滤波来解决受烟尘、水雾、光影影响较大的低可见度环境下的目标检测问题。采用SSD目标检测模型对帧图片进行处理，找出目标区域坐标，充分利用SSD目标检测模型的准确性优势。引入引导滤波，与SSD目标检测模型融合，解决低可见度环境下的影响因素，在受环境因素影响的场景中，使用引导滤波去进行图像增强、去雾等操作，处理后图像更清晰，分辨率更高，图像经处理后，产生目标位置坐标，传入下层网络GoogleNet进行准确性验证，利用GoogleNet网络的效率性，在不降低速度的情况下，提高检测精度。本发明专利技术能够在低可见度环境对目标进行准确识别，并且具有一定的可靠性，识别的精度更高。

【技术实现步骤摘要】
一种基于深度学习的低可见度环境下实时目标检测方法
本专利技术涉及图像处理领域及目标检测领域，具体涉及一种基于深度学习的低可见度环境下实时目标检测方法。低可见度环境定义为烟尘、水雾、光线不足等外界因素影响较大的环境。
技术介绍
图像处理(imageprocessing)是指用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。本专利技术使用的图像处理方法为引导滤波，引导滤波是需要引导图的滤波器，引导图可以是单独的图像或者是输入图像，当引导图为输入图像时，引导滤波就成为一个保持边缘的滤波操作，可以用于图像重建的滤波。是一种自适应权重滤波，可进行图像平滑、增强、消光、羽化、去雾、联合采样等操作。直观的方法就是直接将引导滤波应用到三个颜色通道(RGB)中。引导滤波实际上是假设一像素k为中心的窗口存在局部线性关系，通过对局部线性关系求导可以判断哪些边缘需要保留，给出的a，b两个参数则是以像素k为窗口的周围的权重的均值，能够在平滑图像的同时起到保持边界的作用。引导滤波能够保持线性复杂度的原因在于每个像素虽然由多个窗口包含，求某一点像素值的具体输出值时，只需将包含该点所有的线性函数值平均即可，引导滤波支持线性的计算量，可以显著提高处理的效率。使用上述两种方法，使得目标检测更加的有效，即使在低可见度环境下(如受烟雾、水雾、光照影响)也能准确检测目标，提高目标检测的准确性，降低目标检测的误报率和漏报率。目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行实时跟踪研究越来越热门，对目标进行动态实时跟踪定位在智能化交通系统、智能监控系统、军事目标检测及医学导航手术中手术器械定位等方面具有广泛的应用价值。本专利技术涉及目标检测领域，使用目标检测技术对低可见度环境下目标进行检测。
技术实现思路
为解决低可见度目标检测问题，本专利技术使用一种能够进行图像平滑、使图像增强、将图像去雾化的目标检测方法。为此，本专利技术提供如下的技术方案：一种基于深度学习的低可见度环境下实时目标检测方法，其特征在于，使用改进的VGG16网络、GoogLeNet目标检测算法与引导滤波相结合，使目标检测在烟尘、水雾、光线不足的环境下也能准确识别。其具体过程包括如下步骤：步骤1：实时视频流获取步骤2：产生目标检测中的数据集；步骤3：设置改进的VGG16网络的参数；步骤4：引入改进的VGG16网络对目标数据进行处理和分类；步骤5：测试训练后网络模型性能，找到当前性能最优模型；步骤6：结合低可见度环境下目标特点，引入引导滤波，使模型准确找到目标，确定目标坐标；步骤7：引入GoogLeNet网络模型，进行多尺度训练，提取数据的深层次特征，然后对坐标区域内的目标进行检测；步骤8：构建整体目标检测框架,命名为VGFG(VGG16GuidedFilterGoogLeNet)模型，使用改进的VGG16网络、GoogLeNet目标检测算法与引导滤波结合后的模型进行测试。进一步地，实时视频流的获取，根据硬盘录像机IP修改电脑IP(修改添加网卡的IP)保证电脑的网段和硬盘录像机一致。进一步地，制作VOC格式数据集，利用labelImg工具，对数据集中图片数据进行标注，产生XML文件，生成数据集路径文档，训练集、测试集、验证集路径文件。进一步地，选取适当尺度的先验框、网络学习率、训练层数。对于先验框的尺度，其遵守一个线性递增规则：随着特征图大小降低，先验框尺度线性加。其计算公式为其中m是特征图的个数，Sk表示先验框大小相对于图片的比例,Smin和Smax分别表示比例的最大值和最小值。学习率的选择是一个超参问题，需要不断测试，基本范围为0.1，0.01，0.001，0.0001，数量级递增进行测试，直到找到最优值，也可通过损失函数梯度进行调整，损失函数为其中N代表正样本个数，表示第个先验框是否与第i个groundtruth相匹配，groundtruth且类别是p，c代表类别置信度预测值。l代表先验框的所对应边界框的位置预测值,g代表groundtruth的位置参数。进一步地，预训练卷积层权重，下载文件darknet53.conv.74和步骤1中产生的目标检测数据集对改进的VGG16网络进行训练。进一步地，重复进行训练，根据步骤2调整参数，改进的VGG16网络每迭代10次输出一个模型，该训练共迭代240000次，测试结果显示，迭代180000次的模型效果最佳。进一步地，低可见度环境下目标特点为烟雾、水雾、光影影响较大，难以识别目标，针对低可见度下目标特点，引入引导滤波，引导滤波是一种自适应权重滤波，能够在平滑图像的同时起到保持边界的作用，可进行图像平滑、增强、消光、羽化、去雾、联合采样等操作。引导滤波，某像素点的输出结果为：其中q为输出图像，I为引导图像，a和b是当窗口中心位于k时该线性函数的不变系数。该方法的假定条件是：q与I在以像素k为中心的窗口中存在局部线性关系。对上式求导(即表示边缘)可以看出，只有当引导图像存在边缘时，输出结果才会出现边缘。为了求解上试中的系数a和b，假设p是q滤波前的结果，并满足使得q与p的差别最小，根据无约束图像复原的方法可以转化为求最优化问题，其价值函数为：qi＝pi-ni其中n为噪声，p是q受到噪声n污染的退化图像。限制i在窗口w中，使a值就不会出现太大的情况，用最小二乘法，求解上试，得其中，μ和σ2分别表示I在局部窗口ω中的均值和方差。|ω|是窗口内的像素个数。然后，在整幅图像内采取窗口操作，最后取均值可以得到某像素点的输出结果为：其中进一步地，GoogLeNet网络模型是一个22层的神经网络，从现有的深度网络结构中寻找到最优的局部网络结构，为避免因深度增加带来的梯度消失问题，在其网络层的不同深处巧妙地增加两个了两个loss来保证梯度回传消失现象。为避免因宽度增加带来的参数过多导致的过拟合现象及计算复杂性过大导致难以应用的问题，GoogLeNet采用了Inception结构，一种网中网(NetworkInNetwork)的结构，即原来的结点也是一个网络。Network-in-Network模型用全连接的多层感知机去代替传统的卷积过程，以获取特征更加全面的表达，同时，因为前面已经做了提升特征表达的过程，传统CNN最后的全连接层本文档来自技高网...

【技术保护点】
1.一种基于深度学习的低可见度环境下实时目标检测方法，其特征在于，使用改进的VGG16网络、GoogLeNet目标检测算法与引导滤波相结合，使目标检测在烟尘、水雾、光线不足等低可见度环境下也能准确识别。其具体过程包括如下步骤：/n步骤1：实时视频流获取/n步骤2：产生目标检测中的数据集；/n步骤3：设置VGG16网络的参数；/n步骤4：引入VGG16网络对目标数据进行处理和分类；/n步骤5：测试训练后网络模型性能，找到当前性能最优模型；/n步骤6：结合低可见度环境下目标特点，引入引导滤波，使模型准确找到目标，确定目标坐标；/n步骤7：引入GoogLeNet网络模型，进行多尺度训练，提取数据的深层次特征，然后对坐标区域内的目标进行检测；/n步骤8：构建整体目标检测框架,命名为VGFG(VGG16 Guided Filter GoogLeNet)模型，使用改进的VGG16网络、GoogLeNet目标检测算法与引导滤波结合后的模型进行测试。/n

【技术特征摘要】
1.一种基于深度学习的低可见度环境下实时目标检测方法，其特征在于，使用改进的VGG16网络、GoogLeNet目标检测算法与引导滤波相结合，使目标检测在烟尘、水雾、光线不足等低可见度环境下也能准确识别。其具体过程包括如下步骤：
步骤1：实时视频流获取
步骤2：产生目标检测中的数据集；
步骤3：设置VGG16网络的参数；
步骤4：引入VGG16网络对目标数据进行处理和分类；
步骤5：测试训练后网络模型性能，找到当前性能最优模型；
步骤6：结合低可见度环境下目标特点，引入引导滤波，使模型准确找到目标，确定目标坐标；
步骤7：引入GoogLeNet网络模型，进行多尺度训练，提取数据的深层次特征，然后对坐标区域内的目标进行检测；
步骤8：构建整体目标检测框架,命名为VGFG(VGG16GuidedFilterGoogLeNet)模型，使用改进的VGG16网络、GoogLeNet目标检测算法与引导滤波结合后的模型进行测试。


2.根据权利要求1所述，一种基于深度学习的低可见度环境下实时目标检测方法，其特征在于，硬盘录像机IP与主机IP匹配，以及RTSP协议中通道号的确定。


3.根据权利要求1所述，一种基于深度学习的低可见度环境下实时目标检测方法，其特征在于，制作VOC格式数据集，利用labelImg工具，对数据集中图片数据进行标注，产生XML文件。


4.根据权利要求1所述，一种基于深度学习的低可见度环境下实时目标检测方法，其特征在于，选取适当尺度的先验框、网络学习率、训练层数。对于先验框的尺度，其遵守一个线性递增规则：随着特征图大小降低，先验框尺度线性加。其计算公式为



其中m是特征图的个数，Sk表示先验框大小相对于图片的比例,Smin和Smax分别表示比例的最大值和最小值。
学习率的选择是一个超参问题，需要不断测试，基本范围为0.1，0.01，0.001，0.0001，数量级递增进行测试，直到找到最优值，也可通过损失函数梯度进行调整，损失函数为



其中N代表正样本个数，表示第个先验框是否与第i个groundtruth相匹配，groundtruth且类别是p，c代表类别置信度预测值。l代表先验框的所对应边界框的位置预测值,g代表groundtruth的位置参数。


5.根据权利要求1所述，一种基于深度学习的低可见度环境下实时目标检测方法，其特征在于，预训练卷积层权重，下载文件darknet53.conv.74和步骤1中产生的深度学习数据集进行改进的VGG16网络训练。


6.根据权利要求1所述，一种基于深度学习的低可见度环境下实时目标检测方法，其特征在于，重复进行训练，根据步骤2调整参数，改进的VGG16...

【专利技术属性】
技术研发人员：李成严，马金涛，赵帅，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙;23