基于运动估计ME-CNN网络的大场景极小目标跟踪制造技术

本发明专利技术提出了一种基于运动估计ME‑CNN网络的大场景极小目标跟踪方法，解决了无需配准利用运动参数进行极小目标跟踪的问题，实现步骤为：获取目标运动估计网络ME‑CNN的初始训练集D；构建估计目标运动的网络ME‑CNN；用目标运动参数计算网络ME‑CNN损失函数；判断是否为初始训练集；更新损失函数训练标签；得到预测目标运动位置初始模型；修正预测模型位置；用修正后的目标位置更新训练数据集，完成一帧的目标跟踪；得到遥感视频目标跟踪结果。本发明专利技术用深度学习网络ME‑CNN预测目标运动位置，避免了跟踪中大场景图像配准，超模糊目标特征提取难的问题，减小目标特征依赖性，提高了超模糊视频中目标跟踪的准确度。

Tracking of large scene and small target based on motion estimation me-cnn network

The invention proposes a method of tracking small target in large scene based on the motion estimation me \u2011 CNN network, which solves the problem of tracking small target without registration using motion parameters. The realization steps are: obtaining the initial training set D of the target motion estimation network me \u2011 CNN; constructing the network me \u2011 CNN for estimating the target motion; calculating the loss function of the network me \u2011 CNN with the target motion parameters; Determine whether it is the initial training set; update the loss function training label; get the initial model of predicted target motion position; modify the predicted model position; update the training data set with the modified target position to complete the target tracking of one frame; get the target tracking results of remote sensing video. The method uses the deep learning network me \u2011 CNN to predict the moving position of the target, avoids the problems of image registration in large scenes in tracking and the difficulty of extracting the features of the super fuzzy target, reduces the dependence of the features of the target, and improves the accuracy of the target tracking in the super fuzzy video.

【技术实现步骤摘要】
基于运动估计ME-CNN网络的大场景极小目标跟踪
本专利技术属于遥感视频处理
，涉及大场景极小目标的遥感视频目标跟踪，具体是一种基于运动估计ME-CNN网络的大场景极小目标遥感视频跟踪方法。用于安全监控、智慧城市建设和交通设施监测等方面。
技术介绍
遥感目标跟踪是计算机视觉领域的一个重要的研究方向，其中移动的卫星拍摄的大场景极小目标、低分辨率的遥感视频的目标跟踪是极具挑战性的研究问题。大场景小目标的遥感视频记录的是某一地区一段时间的日常活动情况，因为卫星拍摄的高度很高，覆盖大半个城市，因此视频的分辨率不高，车辆、舰船和飞机在视频中的尺寸极小，车辆在视频中的尺寸甚至达到3*3个像素左右，与周围环境的对比度也极低，人眼只能观察到一个小亮点，因此这种超低像素且极小的目标跟踪问题属于大场景极小目标跟踪问题，其难度更大；且由于拍摄视频的卫星不断运动，视频在整体向一个方向有较明显偏移的同时由于地区高低会出现部分地区缩放，使得很难以先做图像配准再进行帧差法的方法得到目标移动位置，给大场景极小目标的遥感视频目标跟踪带来了极大的挑战。视频目标跟踪是在给定一个视频初始帧中的目标位置和尺寸后，需要预测后续视频帧中的目标位置与尺寸。目前，视频跟踪领域的算法大多基于神经网络(NeuralNetwork)和相关滤波(CorrelationFilter)，其中基于神经网络算法，比如CNN-SVM方法的主要思路是先将目标输入多层神经网络，学习目标特征，再利用传统的SVM方法做跟踪，其提取的目标特征通过大量的训练数据学习出来，比传统的特征更具有鉴别性；基于相关滤波的算法，比如KCF方法的基本思想是寻找一个滤波模板，让下一帧的图像与滤波模板做卷积操作，响应最大的区域就是预测的目标，用该模板和其他搜索区域做卷积运算，得到最大响应的搜索区域就是目标位置，这种方法的运算速度快，且准确率较高。自然光学视频跟踪的算法很难应用于大场景极小小目标的遥感视频中，因为目标尺寸极小且模糊，用神经网络无法学习得到有效的目标特征。而传统遥感视频的跟踪方法也不适用于出现背景不断偏移及部分区域缩放的视频上，图像配准和帧差法的技术方法无法实现，且目标和周围环境对比度极低，极易跟丢。
技术实现思路
本专利技术的目的在于克服上述现有技术存在的缺陷，提出了一种计算复杂度低，精度更高的基于运动估计的大场景小目标遥感视频跟踪方法。本专利技术是一种基于运动估计ME-CNN网络的大场景极小目标遥感视频跟踪方法，其特征在于，包括如下步骤：(1)获取极小目标运动估计网络ME-CNN的初始训练集D：取原始遥感数据视频A的前F帧图像，对每幅图像的同一个目标连续标记边界框，将每个边界框左上角顶点坐标按视频帧数顺序排列在一起作为训练集D；(2)构建估计极小目标运动的网络ME-CNN：包括并联的三个提取训练数据不同特征的卷积模块，再依次层叠连接层、全连接层和输出层；(3)用极小目标运动参数计算网络ME-CNN的损失函数：根据目标的运动规律计算得到目标的运动趋势，并将它作为目标对应的训练标签，再计算训练标签与ME-CNN网络的预测结果之间的欧式空间距离，作为ME-CNN网络优化训练的损失函数；(4)判断是否为初始训练集：判断当前训练集是否为初始训练集，如果不是初始训练集，执行步骤(5)，更新损失函数中的训练标签；反之如果是初始训练集，执行步骤(6)，进入网络的循环训练；(5)更新损失函数中的训练标签：当前训练集不是初始训练集时，使用当前训练集的数据重新计算损失函数的训练标签，计算方法用极小目标运动参数计算训练标签的方法，与步骤(3)的方法相同，重新计算得到的训练标签，参与运动估计网络ME-CNN训练，进入步骤(6)；(6)得到预测目标运动位置的初始模型M1：将训练集D输入目标运动估计网络ME-CNN，根据当前的损失函数训练网络，得到预测目标运动位置的初始模型M1；(7)修正预测模型的位置结果：计算目标的辅助位置偏移量，用偏移量修正运动估计网络ME-CNN预测的位置结果；(7a)得到目标灰度图像块：根据预测目标运动位置的初始模型M1得到下一帧的目标位置(Px,Py)，根据得到的目标位置(Px,Py)在下一帧的图像中取出目标的灰度图像块，并进行归一化，得到归一化后的目标灰度图像块；(7b)得到目标位置偏移量：对归一化后的目标灰度图像块进行亮度分级，使用垂直投影法确定图像块中目标的位置，计算得到的目标中心位置与图像块中心的位置的距离，即得到目标位置偏移量；(7c)得到修正后的目标位置：利用得到的目标位置偏移量修正运动估计网络ME-CNN预测目标的位置，得到目标修正后的所有位置；(8)用修正后的目标位置更新训练数据集，完成一帧的目标跟踪：将得到的目标左上角位置加入训练集D最后一行，并移除训练集D的第一行，进行一次性操作，得到了一个修正并更新的训练集D，完成一帧的训练，得到了一帧的目标位置结果；(9)判断目前的视频帧数是否小于总视频帧数：如果小于总视频帧数就循环重复步骤(4)～步骤(9)，进行目标的跟踪优化训练，直至遍历所有的视频帧，继续训练，反之如果等于总视频帧数，结束训练，执行步骤(10)；(10)得到遥感视频目标跟踪结果：累积得到的输出即为遥感视频目标跟踪结果。本专利技术解决了现有视频跟踪算法存在的计算复杂度高，跟踪精度较低的问题。本专利技术与现有技术相比，具有以下优点：(1)本专利技术采用的运动估计网络ME-CNN无需传统方法中先进行图像配准再进行帧差法或者复杂的图像背景建模得到目标的运动轨迹，可以通过神经网络对前F帧图像的目标位置组成的训练集的分析，网络预测得到目标的运动趋向，不需要人工标注后续视频帧中的目标位置标签，即可实现网络自循环训练，不仅大大减少了跟踪算法的复杂度，提高了算法的实用性。(2)本专利技术采用的算法，采用ME-CNN网络和辅助位置偏移量方法结合的方式自行修正遥感视频目标位置，根据目标的运动规律，修改了运动估计网络的损失函数，减小了网络的计算量，提高了目标跟踪的鲁棒性。附图说明图1是本专利技术的实现流程图；图2是本专利技术提出的ME-CNN网络的结构示意图；图3是采用本专利技术对大场景中极小目标的预测轨迹结果与标准目标轨迹的曲线对比图，本专利技术的预测结果为绿色曲线，红色为准确目标轨迹。具体实施方式下面结合附图和具体实施例，对本专利技术作详细描述。实施例1大场景极小目标遥感视频跟踪在安全监控、智慧城市建设和交通设施监测等方面发挥重要作用。本专利技术研究的遥感视频是移动的卫星拍摄的大场景极小目标、低分辨率的遥感视频。本专利技术研究的视频跟踪的目标极其模糊，且目标极小，与周围环境的对比度也很低，人眼在目标不运动的情况下也很难看出目标是车辆，视频又由于卫星的移动和拍摄地区的海拔高度变化会出现图像平移及部分缩放，其目标跟踪的难度相比清晰视频的目标跟踪大大提高，也是遥感视频跟踪的一个挑战。现有的方法主要有两种，一本文档来自技高网...

【技术保护点】
1.一种基于运动估计ME-CNN网络的大场景极小目标跟踪方法，其特征在于，包括如下步骤：/n(1)获取极小目标运动估计网络ME-CNN的初始训练集D：/n取原始遥感数据视频A的前F帧图像，对每幅图像的同一个目标连续标记边界框，将每个边界框左上角顶点坐标按视频帧数顺序排列在一起作为训练集D；/n(2)构建估计极小目标运动的网络ME-CNN：包括并联的三个提取训练数据不同特征的卷积模块，再依次层叠连接层、全连接层和输出层；/n(3)用极小目标运动参数计算网络ME-CNN的损失函数：根据目标的运动规律计算得到目标的运动趋势，并将它作为目标对应的训练标签，再计算训练标签与ME-CNN网络的预测结果之间的欧式空间距离，作为ME-CNN网络优化训练的损失函数；/n(4)判断是否为初始训练集：判断当前训练集是否为初始训练集，如果不是初始训练集，执行步骤(5)，更新损失函数中的训练标签；反之如果是初始训练集，执行步骤(6)，进入网络的循环训练；/n(5)更新损失函数中的训练标签：当前训练集不是初始训练集时，使用当前训练集的数据重新计算损失函数的训练标签，计算方法用极小目标运动参数计算训练标签的方法，与步骤(3)的方法相同，重新计算得到的训练标签，参与运动估计网络ME-CNN训练，进入步骤(6)；/n(6)得到预测目标运动位置的初始模型M1：将训练集D输入目标运动估计网络ME-CNN，根据当前的损失函数训练网络，得到预测目标运动位置的初始模型M1；/n(7)修正预测模型的位置结果：计算目标的辅助位置偏移量，用偏移量修正运动估计网络ME-CNN预测的位置结果；/n(7a)得到目标灰度图像块：根据预测目标运动位置的初始模型M1得到下一帧的目标位置(P...

【技术特征摘要】
1.一种基于运动估计ME-CNN网络的大场景极小目标跟踪方法，其特征在于，包括如下步骤：
(1)获取极小目标运动估计网络ME-CNN的初始训练集D：
取原始遥感数据视频A的前F帧图像，对每幅图像的同一个目标连续标记边界框，将每个边界框左上角顶点坐标按视频帧数顺序排列在一起作为训练集D；
(2)构建估计极小目标运动的网络ME-CNN：包括并联的三个提取训练数据不同特征的卷积模块，再依次层叠连接层、全连接层和输出层；
(3)用极小目标运动参数计算网络ME-CNN的损失函数：根据目标的运动规律计算得到目标的运动趋势，并将它作为目标对应的训练标签，再计算训练标签与ME-CNN网络的预测结果之间的欧式空间距离，作为ME-CNN网络优化训练的损失函数；
(4)判断是否为初始训练集：判断当前训练集是否为初始训练集，如果不是初始训练集，执行步骤(5)，更新损失函数中的训练标签；反之如果是初始训练集，执行步骤(6)，进入网络的循环训练；
(5)更新损失函数中的训练标签：当前训练集不是初始训练集时，使用当前训练集的数据重新计算损失函数的训练标签，计算方法用极小目标运动参数计算训练标签的方法，与步骤(3)的方法相同，重新计算得到的训练标签，参与运动估计网络ME-CNN训练，进入步骤(6)；
(6)得到预测目标运动位置的初始模型M1：将训练集D输入目标运动估计网络ME-CNN，根据当前的损失函数训练网络，得到预测目标运动位置的初始模型M1；
(7)修正预测模型的位置结果：计算目标的辅助位置偏移量，用偏移量修正运动估计网络ME-CNN预测的位置结果；
(7a)得到目标灰度图像块：根据预测目标运动位置的初始模型M1得到下一帧的目标位置(Px,Py)，根据得到的目标位置(Px,Py)在下一帧的图像中取出目标的灰度图像块，并进行归一化，得到归一化后的目标灰度图像块；
(7b)得到目标位置偏移量：对归一化后的目标灰度图像块进行亮度分级，使用垂直投影法确定图像块中目标的位置，计算得到的目标中心位置与图像块中心的位置的距离，即得到目标位置偏移量；
(7c)得到修正后的目标位置：利用得到的目标位置偏移量修正运动估计网络ME-CNN预测目标的位置，得到目标修正后的所有位置；
(8)用修正后的目标位置更新训练数据集，完成一帧的目标跟踪：将得到的目标左上角位置加入训练集D最后一行，并移除训练集D的第一行，进行一次性操作，得到了一个修正并更新的训练集D，完成一帧的训练，得到了一帧的目标位置结果；
(9)判断目前的视频帧数是否小于总视频帧数：如果小于总视频帧数就循环重复步骤(4)～步骤(9)，进行目标的跟踪优化...

【专利技术属性】
技术研发人员：焦李成，杨晓岩，李阳阳，唐旭，程曦娜，刘旭，杨淑媛，冯志玺，侯彪，张丹，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61