一种基于深度学习的海面船只视频检测与跟踪方法技术

本发明专利技术公布了一种基于深度学习的海面船只视频检测与跟踪方法，(1)卷积模型特征提取：采用深度卷积神经网络自动学取目标船只特征，每个特征层都使用一系列的3x3卷积核去提取特征，浅层的卷积层主要提取细节特征，深层的卷积层主要提取抽象的全局轮廓特征；(2)多尺度全卷积模型目标定位与分类：利用主干卷积网络获取的大量特征，在多尺度卷积层重新整合，构建出尺度递减的目标特征金字塔网络，每一层代表不同大小的目标特征，特征层之间进行融合对比；(3)全连接前后帧目标跟踪：当前帧和前一帧图像分别通过卷积层提取特征后选取出目标附近区域的特征，将这些特征级联并输入全连接层。本发明专利技术有效地确保了船只检测与跟踪的实时性和稳定性。 1

A ship detection and tracking method for sea surface based on deep learning

This invention has published a method of detecting and tracking sea ship video based on deep learning. (1) feature extraction of convolution model: using a deep convolution neural network to automatically learn the feature of the target ship, each feature layer uses a series of 3x3 convolution kernel to extract the feature, and the shallow layer convolution layer mainly extracts the details and deep layer. The convolution layer mainly extracts Abstract global contour features; (2) the target location and classification of multiscale full convolution model: using the large number of features obtained by the backbone convolution network, reintegrating the multiscale convolution layer and constructing the target feature of the Pyramid network with a diminishing scale, each layer represents the target features of different sizes, and the feature layer. (3) the frame target tracking before and after the full connection: the current frame and the previous frame are extracted by the Coel layer to pick out the characteristics of the area near the target, and cascade these features into the full connection layer. The invention effectively ensures the real-time and stability of ship detection and tracking. One

【技术实现步骤摘要】
一种基于深度学习的海面船只视频检测与跟踪方法
本专利技术属于海面船只视频检测与跟踪
，尤其涉及一种海面船只视频检测与跟踪的方法。
技术介绍
基于图像传感器获得的海面可见光或红外图像的目标检测在海防安全有广泛应用。检测区域限定在近岸或者从海上某点出发的可视距离内，海面运动载体和海上浮标均可作为很好的系统部署地点。传统的视频图像海面目标检测方法主要有基于boosting框架的弱分类器级联方法和基于支持向量机的目标匹配方法。但这些方法的特征表达能力有限，无法应对海面船只外形的变化多样、船只在视频中出现的角度大小的变化、不同天气条件下的光照变化、红外图像相对可见光较差的成像效果等。因此对目标的漏检和误检情况严重。另一方面，监控视频通常要求高实时性和高清晰度，然而，这两方面是此消彼长的关系。高清视频图像的分辨率为1920*1080，这样的输入图像，传统的基于滑动窗口的目标检测方法将会产生百万级的候选检测窗口，耗时严重，无法做到实时。
技术实现思路
本专利技术的目的在于解决上述技术问题，提供一种基于深度学习的海面船只视频检测与跟踪方法，采用基于深度学习卷积神经网络的方法对视频图像中的船只进行检测与跟踪并利用GPU进行高并行计算，以确保实时性和稳定性。本专利技术的技术方案如下：一种基于深度学习的海面船只视频检测与跟踪方法，按以下步骤进行：(1)快速的卷积模型特征提取：通过主干卷积网络提取目标的特征；采用深度卷积神经网络自动学取目标船只特征，每一个特征层，都使用一系列的3x3卷积核去提取特征，其中，浅层的卷积层主要提取细节特征，深层的卷积层主要提取抽象的全局轮廓特征，而卷积层之间以下采样层连接；(2)多尺度全卷积模型目标定位与分类：利用主干卷积网络获取的大量特征，在多尺度卷积层重新整合，构建出尺度递减的目标特征金字塔网络，每一层代表不同大小的目标的特征，在这些特征层之间进行融合对比，以确定目标的大小和位置；(3)全连接前后帧目标跟踪：在当前帧和前一帧图像分别通过卷积层提取特征后，选取出目标附近区域的特征，将这些特征级联并输入全连接层。进一步地，将视频帧进行归一化转化为固定的尺寸作为特征提取模型的输入，快速的卷积特征提取模型采用18层的卷积神经网络结构，由多个连续的卷积层间隔池化层组成。进一步地，所述多个连续的卷积层间隔池化层组成结构为：卷积层*2-池化层-卷积层*2-池化层-卷积层*3-池化层-卷积层*3-池化层-卷积层*3-池化层。进一步地，卷积层采用3*3的卷积核，以步长1卷积上一层输入数据，然后加上一个偏置b，通过修正线性单元ReLU激活函数将线性变换转换为非线性变换，，，其中，n代表第几层网络，X为图像特征，W为卷积核权重，g(x)为激活函数。进一步地，所述池化层采用2*2卷积，以步长2卷积上一层输入数据，采样方式为最大值采样，每个池化层将输入特征图映射到一个缩小4倍的特征图。进一步地，将多尺度全卷积模型获取的特征金字塔的每一层作为输出层，设定密度相同的候选框，金字塔顶的候选框对应于原图像中较大的目标框，金字塔底的候选框对应于原图像中较小的目标框。进一步地，对所述候选框进行Multi-taskloss计算；每个ROI输出离散概率分布为：和boundingbox回归的位移为，其中，k表示类别的索引，参数x、y是指相对于候选目标框尺度不变的平移量，参数w、h是指对数空间中相对于候选目标框的高与宽；损失函数表示为：，其中，是真实类别，是分类损失，是定位损失，是与groundtruthbox相匹配的候选框的个数，为权重；采用softmax函数计算分类损失，把一个k维的realvalue向量映射成一个范围0-1的常数向量，根据其大小来进行分类；进一步地，在已知上一帧物体位置时，当前帧在物体原来所在的位置附近的区域进行搜索，在第t-1帧中，假设目标所在位置为(cx，cy)，其大小为(w，h)，则提取一块大小为(2w，2h)的图像块输入到CNN中；在第t帧中，同样也以(cx，cy)为中心，提取大小为(2w，2h)的图像块，输入到CNN中；全连接层学习到的是一个复杂的特征比较函数，输出目标的相对运动，随后全连接层的输出被连接到一个4节点的层，分别代表bounding-box左上角坐标和目标长宽，从而输出目标的位置。本专利技术的有益效果：要实现图像传感器对海面船只的自动跟踪，检测跟踪算法的精确性和鲁棒性都很重要，为此，本专利技术采用基于深度学习卷积神经网络的方法对视频图像中的船只进行检测与跟踪，同时利用GPU进行高并行计算，有效地确保了船只检测与跟踪的实时性和稳定性。具体实施方式以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效。下面结合实施例对本专利技术作进一步说明：基于深度学习的海面船只视频检测与跟踪方法的流程如下：1、快速的卷积模型特征提取：通过主干卷积网络提取目标的特征。传统的目标检测跟踪方法通过人工设计的特征建模目标，如LBP、HOG、ICF等，特征的表达能力有限。本技术专利技术采用深度卷积神经网络自动学取目标船只特征，融合了多个抽象层次上的特征信息。每一个特征层，都使用了一系列的3x3卷积核去提取特征，浅层的卷积层主要提取细节特征，深层的卷积层主要提取抽象的全局轮廓特征。卷积层之间以下采样层连接，使特征层尺度逐步减小，形成特征金字塔。将视频帧进行归一化转化为固定的尺寸作为特征提取模型的输入。快速的卷积特征提取模型采用18层的卷积神经网络结构，由多个连续的卷积层间隔池化层组成。适当的网络深度确保能提取足够复杂的特征同时计算速度足够快速。具体结构如下：卷积层*2-池化层-卷积层*2-池化层-卷积层*3-池化层-卷积层*3-池化层-卷积层*3-池化层。卷积层采用3*3的卷积核，以步长1卷积上一层输入数据，然后加上一个偏置b，通过修正线性单元ReLU激活函数将线性变换转换为非线性变换。Xn＝g(WTXn-1+bn)，g(x)＝ReLU(x)＝max(0,x)(n代表第几层网络，X为图像特征，W为卷积核权重,g(x)为激活函数)。对于线性函数而言，ReLU的表达能力更强，尤其体现在深度网络中，而对于非线性函数而言，ReLU由于非负区间的梯度为常数，因此不存在梯度消失问题，使得模型的收敛速度维持在一个稳定状态。池化层采用2*2卷积，以步长2卷积上一层输入数据。采样方式为最大值采样。每个池化层将输入特征图映射到一个缩小4倍的特征图。2、多尺度全卷积模型目标定位与分类：利用主干卷积网络获取的大量特征，在多尺度卷积层重新整合，构建出尺度递减的目标特征金字塔网络，每一层代表不同大小的目标的特征，在这些特征层之间进行融合对比，最终确定目标的大小和位置。将多尺度全卷积模型获取的特征金字塔的每一层作为输出层，设定密度相同的候选框，金字塔顶的候选框对应于原图像中较大的目标框，金字塔底的候选框对应于原图像中较小的目标框。对这些候选框进行Multi-taskloss计算。对每个ROI输出离散概率分布:p＝(p0,...,pk)和boundingbox回归的位移其中k表示类别的索引，前两个参数x,y是指相对于候选目标框尺度不变的平移，后两个参数w,h是指对数空间中相对于候选目标框的高与宽。损失函本文档来自技高网...

【技术保护点】
1.一种基于深度学习的海面船只视频检测与跟踪方法，其特征在于，按以下步骤进行：

【技术特征摘要】
1.一种基于深度学习的海面船只视频检测与跟踪方法，其特征在于，按以下步骤进行：(1)快速的卷积模型特征提取：通过主干卷积网络提取目标的特征；采用深度卷积神经网络自动学取目标船只特征，每一个特征层，都使用一系列的3x3卷积核去提取特征，其中，浅层的卷积层主要提取细节特征，深层的卷积层主要提取抽象的全局轮廓特征，而卷积层之间以下采样层连接；(2)多尺度全卷积模型目标定位与分类：利用主干卷积网络获取的大量特征，在多尺度卷积层重新整合，构建出尺度递减的目标特征金字塔网络，每一层代表不同大小的目标的特征，在这些特征层之间进行融合对比，以确定目标的大小和位置；(3)全连接前后帧目标跟踪：在当前帧和前一帧图像分别通过卷积层提取特征后，选取出目标附近区域的特征，将这些特征级联并输入全连接层。2.根据权利要求1所述基于深度学习的海面船只视频检测与跟踪方法，其特征在于，将视频帧进行归一化转化为固定的尺寸作为特征提取模型的输入，快速的卷积特征提取模型采用18层的卷积神经网络结构，由多个连续的卷积层间隔池化层组成。3.根据权利要求2所述基于深度学习的海面船只视频检测与跟踪方法，其特征在于，所述多个连续的卷积层间隔池化层组成结构为：卷积层*2-池化层-卷积层*2-池化层-卷积层*3-池化层-卷积层*3-池化层-卷积层*3-池化层。4.根据权利要求3所述基于深度学习的海面船只视频检测与跟踪方法，其特征在于，卷积层采用3*3的卷积核，以步长1卷积上一层输入数据，然后加上一个偏置b，通过修正线性单元ReLU激活函数将线性变换转换为非线性变换，Xn＝g(WTXn-1+bn)，g(x)＝ReLU(x)＝max(0,x)，其中，n代表第几层网络，X为图像特征，W为卷积核权重，g(x)为激活函数。5.根据权利要求4所述基于深度学习的海面船只视频检测与跟踪方法...

【专利技术属性】
技术研发人员：王德全，赵世凯，王小勇，陈坚松，
申请(专利权)人：成都阿普奇科技股份有限公司，
类型：发明
国别省市：四川,51