一种基于深度学习的边海防目标检测方法技术

本发明专利技术公开了一种基于深度学习的边海防目标检测方法，提出了一种改进的基于FRCNN的目标检测网络模型，属于目标检测技术以及计算机视觉领域。该方法针对原有的FRCNN算法检测耗时过长的问题，重新设计了检测网络中的特征提取结构，并利用筛选后的图像分类数据集重新训练，得到一个参数量更少、计算量更小的图像分类模型。使用可变形卷积替换原有的特有卷积层，提高检测网络对物体形变的适应能力，从而提高网络结构的平均检出率。

A method of target detection based on deep learning for coastal defense

The invention discloses a coastal defense target detection method based on depth learning, and proposes an improved target detection network model based on FRCNN, which belongs to the field of target detection technology and computer vision. This method redesigns the feature extraction structure of the original FRCNN algorithm to solve the problem that the detection time is too long, and uses the filtered image classification data set to retrain to get an image classification model with fewer parameters and less computation. The deformable convolution is used to replace the original convolution layer, which improves the adaptability of the detection network to the deformation of objects, and thus improves the average detection rate of the network structure.

【技术实现步骤摘要】
一种基于深度学习的边海防目标检测方法
本专利技术属于目标检测领域，尤其涉及一种基于深度学习的边海防目标检测方法。
技术介绍
边海防工作是国家领土主权和人民人身财产安全的重要保障，其职责是维护边境沿海地区的稳定，拦截不法人员和非法目标进入我国领地。随着我国对外开放的进一步深入，出入境的人流量不断上升，边境上走私、偷渡等犯罪活动日益猖獗。传统的依靠人力的边防执勤方式已经无法满足当前形式下的边海防安全要求。因此，构建智能化的边海防平台系统，使其满足复杂背景下边海防任务要求便显得尤为迫切。近年来，视频监控技术已在我国边海防系统中大量应用，为边海防智能化建设提供了数据支持和实现基础。我国边防区域环境复杂，边境线极长，边防监测站，出入境口岸等重点监控地区分布比较零散，造成大量的监控数据无法及时得到处理，使得视频信息资源存在极大浪费。目前，大部分监控的视频需要依靠边防战士人工处理，其存在效率太低、前端和后端都不支持对目标的自动检测的缺点，其中应用的前沿技术也仅仅是视频的关键帧的提取，无法满足及时有效处理大量数据的需求。在计算机视觉领域，图像分类和检测任务一直是科研工作者研究的重点。近年来，深度学习基于自身强大的学习特征表达的能力，在模式识别和计算机视觉领域快速发展，迅速替代了以往基于先验知识的人工构造特征的方式。其中，卷积神经网络(ConvolutionalNeuralNetwork，CNN)在目标分类上的成功应用极大地提高了图像分类任务的精确率。该方法在不同场景、不同分辨率等复杂情况下较传统方法仍具有较高的准确率和鲁棒性。故，针对现有技术存在的技术问题，实有必要提出一种技术方案以克服现有技术的缺陷。
技术实现思路
有鉴于此，确有必要提供一种基于深度学习的边海防目标检测方法，实现对边界上大量视频数据进行更加高效的处理，对附近行人和车辆进行准确识别和检测，为边防决策人员提供更加直观的数据，保障我国的边境安全。为了解决现有技术存在的技术问题，本专利技术的技术方案为：一种基于深度学习的边海防目标检测方法，包括以下步骤：步骤(1)：重新设计分类网络模型，并用公开的图像分类数据集重新训练；步骤(2)：重新构建目标检测网络模型，并利用步骤(1)中得到的分类网络模型作为检测网络特征提取结构的初始化参数进行训练，使用自建的行人车辆数据集进行训练，从而得到目标检测网络模型；步骤(3)：选择待检测的图像或者视频，用训练好的目标检测模型进行处理；步骤(4)：利用步骤(3)得到的目标检测模型，构建深度学习目标检测平台，其中包括对检测结果的可视化和存储；其中，步骤(1)重新设计分类网络结构，并用公开数据集进行重新训练的步骤为：步骤(1-1)，重新设计分类网络模型，具体包括以下步骤：步骤(1-1-1)，使用Inception结构扩展标准卷积模块，从输入特征图中提取不同的特征，然后将这些得到的特征进行重新组合生成一个新的特征表示；标准卷积的输出特征图计算公式如下：1≤i,j≤Dk1≤m≤M1≤N其中，F表示一个维度为DF×DF×M的特征图，特征图一般有多个通道，每个通道用一个二维的特征向量表示，DF表示输入特征图的宽度，M表示输入特征图的通道数，DG表示输出特征图的宽度，N是输出特征图的深度，同时也表示卷积核的种类；K表示卷积核参数矩阵，它的维度大小为DK×DK×M×N；对每个输入特征图通道使用深度卷积的操作为：其中，这里的深度卷积核K′的大小变为Dk×Dk×1×M，M表示卷积核的种类；输出特征图G′的第m个通道是由卷积核K′中的第m个滤波器和F'的第m个通道进行卷积操作得到的；步骤(1-1-2)，通过SE模块对输出的特征图通道进行重新校准；其主要操作如下：(1)：压缩操作Fsq，具体为对一个输出通道数为C的特征图Uc，对其中每个二维的特征图通道进行全局池化的操作，得到一组用实数表示的通道描述符向量zc,公式如下：其中，W×H表示U的空间分辨率；(2)：增强操作Fex，采用sigmoid来将第一步中获得的一维向量的权值归一化到0～1之间，计算过程如下：s＝Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z))其中，z表示由Fsq操作生成的一维向量，g表示sigmoid函数，δ代表ReLU激活函数，W1和W2表示两个全连接层的矩阵权重；(3)：缩放操作Fscale，具体计算过程为：Xc＝Fscale((Uc,Sc))＝Uc×Sc其中，Uc代表第c个通道的特征图，Sc表示第c个通道对应的SE模块输出值；Xc＝[x1,x2,...xc]表示缩放之后的相应的通道特征图的联合；步骤(1-2)，对Imagenet数据集进行基于先验知识的筛选，并进行编码处理，具体的方式如下：步骤(1-2-1)，根据背景和应用需求指定类别编号；步骤(1-2-2)，根据每个类别对应的文件夹编号将不需要的类别图像从训练集和验证集中移除，留下需要的图像数据，每个文件夹编号代表一类物体；步骤(1-2-3)，读取原有的训练集标签文件train.txt和验证集标签文件val.txt，将其中无关类别的标签信息从中删除，留下指定的类别并对每一类的文件间进行编号，从而生成新的train.txt和val.txt文件；步骤(1-2-4)，利用mxnet(深度学习框架)提供的转换工具对图像文件读取并重新编码，从而转换为指定格式的数据库文件；步骤(1-3)，利用设计好的训练网络和筛选后的imagenet图像分类数据集，训练出改进之后的分类网络模型Inception-Bn-Dw-Se网络模型，具体步骤为：步骤(1-3-1)，参数初始化，对网络中的权重使用均值为0，方差为1的高斯分布进行初始化；步骤(1-3-2)，图像预处理：从训练样本库中选择无重复的一个批次的图像样本，随机裁剪并进行减均值的操作，将最终得到的矩阵数据送入到深度网络中进行训练；步骤(1-3-3)，前向传播：将预处理之后的图像样本数据送入分类网络中进行并行的前向传播，即将上面得到的矩阵数据输入到深度卷积神经网络中进行深度可分离卷积、压缩增强操作、池化、全局池化等操作传播到最终的SoftMax层，计算得到最终的分类结果，并与样本对应的真实标签值进行比较，利用网络代价函数得到误差值；步骤(1-3-4)，反向传播：得到这个批次训练结果的误差之后，将误差值通过梯度的形式反向传播到分类网络中所有含有训练参数的层中，并利用这个梯度来更新网络中可训练的参数；步骤(1-3-5)，前向传播和反向传播交替迭代作用，直到网络完全收敛或者达到预设的迭代次数，得到最终的训练模型。优选地，所述步骤(2)进一步包括如下步骤：步骤(2-1)：重新设计目标检测网络模型：步骤(2-1-1)，用可变形卷积来替换特征提取结构中的特有卷积层，对于可变形卷积的输出特征图y上的每一个点p0，可通过如下公式计算出该点的输出值y(p0)：其中，R＝{(-1,-1),(-1,0),…,(0，1),(1，1)}表示卷积操作中输入特征图上规则的感受野网格，{Δpn|n＝1,…,N}表示p0点处对应的偏移量，其中N＝|R|；相应的偏移后的位置为pn+Δpn，采用双线性插值的方式来求出相应点的像素值：其中，p表示特征图上一个任意的点，大小等于(p0+pn+Δpn)，q的值涵盖了在特征图x上所本文档来自技高网...

【技术保护点】
1.一种基于深度学习的边海防目标检测方法，其特征在于，包括以下步骤：步骤(1)：重新设计分类网络模型，并用公开的图像分类数据集重新训练；步骤(2)：重新构建目标检测网络模型，并利用步骤(1)中得到的分类网络模型作为检测网络特征提取结构的初始化参数进行训练，使用自建的行人车辆数据集进行训练，从而得到目标检测网络模型；步骤(3)：选择待检测的图像或者视频，用训练好的目标检测模型进行处理；步骤(4)：利用步骤(3)得到的目标检测模型，构建深度学习目标检测平台，其中包括对检测结果的可视化和存储；其中，步骤(1)重新设计分类网络结构，并用公开数据集进行重新训练的步骤为：步骤(1‑1)，重新设计分类网络模型，具体包括以下步骤：步骤(1‑1‑1)，使用Inception结构扩展标准卷积模块，从输入特征图中提取不同的特征，然后将这些得到的特征进行重新组合生成一个新的特征表示；标准卷积的输出特征图

【技术特征摘要】
1.一种基于深度学习的边海防目标检测方法，其特征在于，包括以下步骤：步骤(1)：重新设计分类网络模型，并用公开的图像分类数据集重新训练；步骤(2)：重新构建目标检测网络模型，并利用步骤(1)中得到的分类网络模型作为检测网络特征提取结构的初始化参数进行训练，使用自建的行人车辆数据集进行训练，从而得到目标检测网络模型；步骤(3)：选择待检测的图像或者视频，用训练好的目标检测模型进行处理；步骤(4)：利用步骤(3)得到的目标检测模型，构建深度学习目标检测平台，其中包括对检测结果的可视化和存储；其中，步骤(1)重新设计分类网络结构，并用公开数据集进行重新训练的步骤为：步骤(1-1)，重新设计分类网络模型，具体包括以下步骤：步骤(1-1-1)，使用Inception结构扩展标准卷积模块，从输入特征图中提取不同的特征，然后将这些得到的特征进行重新组合生成一个新的特征表示；标准卷积的输出特征图计算公式如下：1≤i,j≤Dk1≤m≤M1≤N其中，F表示一个维度为DF×DF×M的特征图，特征图一般有多个通道，每个通道用一个二维的特征向量表示，DF表示输入特征图的宽度，M表示输入特征图的通道数，DG表示输出特征图的宽度，N是输出特征图的深度，同时也表示卷积核的种类；K表示卷积核参数矩阵，它的维度大小为DK×DK×M×N；对每个输入特征图通道使用深度卷积的操作为：其中，这里的深度卷积核K′的大小变为Dk×Dk×1×M，M表示卷积核的种类；输出特征图G′的第m个通道是由卷积核K′中的第m个滤波器和F'的第m个通道进行卷积操作得到的；步骤(1-1-2)，通过SE模块对输出的特征图通道进行重新校准；其主要操作如下：(1)：压缩操作Fsq，具体为对一个输出通道数为C的特征图Uc，对其中每个二维的特征图通道进行全局池化的操作，得到一组用实数表示的通道描述符向量zc,公式如下：其中，W×H表示U的空间分辨率；(2)：增强操作Fex，采用sigmoid来将第一步中获得的一维向量的权值归一化到0～1之间，计算过程如下：s＝Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z))其中，z表示由Fsq操作生成的一维向量，g表示sigmoid函数，δ代表ReLU激活函数，W1和W2表示两个全连接层的矩阵权重；(3)：缩放操作Fscale，具体计算过程为：Xc＝Fscale((Uc,Sc))＝Uc×Sc其中，Uc代表第c个通道的特征图，Sc表示第c个通道对应的SE模块输出值；Xc＝[x1,x2,...xc]表示缩放之后的相应的通道特征图的联合；步骤(1-2)，对Imagenet数据集进行基于先验知识的筛选，并进行编码处理，具体的方式如下：步骤(1-2-1)，根据背景和应用需求指定类别编号；步骤(1-2-2)，根据每个类别对应的文件夹编号将不需要的类别图像从训练集和验证集中移除，留下需要的图像数据，每个文件夹编号代表一类物体；步骤(1-2-3)，读取原有的训练集标签文件train.txt和验证集标签文件val.txt，将其中无关类别的标签信息从中删除，留下指定的类别并对每一类的文件间进行编号，从而生成新的train.txt和val.txt文件；步骤(1-2-4)，利用mxnet(深度学习框架)提供的转换工具对图像文件读取并重新编码，从而转换为指定格式的数据库文件；步骤(1-3)，利用设计好的训练网络和筛选后的imagenet图像分类数据集，训练出改进之后的分类网络模型Inception-Bn-Dw-Se网络模型，具体步骤为：步骤(1-3-1)，参数初始化，对网络中的权重使用均值为0，方差为1的高斯分布进行初始化；步骤(1-3-2)，图像预处理：从训练样本库中选择无重复的一个批次的图像样本，随机裁剪并进行减均值的操作，将最终得到的矩阵数据送入到深度网络...

【专利技术属性】
技术研发人员：刘俊，汪志强，李亚辉，王立林，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33