基于嵌入式平台的无人机车辆跟踪方法技术

本发明专利技术公开了一种基于嵌入式平台的无人机车辆跟踪方法，主要解决现有技术中无人机在车辆跟踪发生遮挡时跟踪丢失的问题。其实现步骤为：1.训练车辆分类器并标记地图；2.获取一帧图像，初始化跟踪目标；3.获取一帧图像进行目标跟踪；4.用分类器判断目标是否被遮挡，如果是，执行步骤5，否则执行步骤8；5.判断目标是否在地图的遮挡区域，如果是，执行步骤6，否则执行步骤7；6.在遮挡区域进行目标检测并令无人机悬停，执行步骤9；7.预测目标位置；8.根据目标控制无人机的飞行；9.判断是否结束，如果是则结束跟踪，否则返回步骤3。本发明专利技术能对遮挡后的目标进行检测与跟踪，提高了跟踪的鲁棒性，可用于城市道路下对车辆的跟踪。

Unmanned vehicle tracking method based on embedded platform

The invention discloses an unmanned vehicle tracking method based on an embedded platform, which mainly solves the problem that the tracking loss of the unmanned vehicle in the prior art is blocked when the vehicle tracking is blocked. The method comprises the following steps: 1. training vehicle classifier and mark map; 2. to obtain an image, initialize the tracking target; 3. to obtain an image of target tracking; 4. classifier to determine whether the target is occluded, if it is, step 5, step 8 or 5.; the judgment target whether in the occluded, map if it is, step 6, otherwise step 7; 6. in the occluded target detection and make UAV hovering, step 9; 7. predicted target position; 8. according to the target control of the UAV flight; 9. to determine whether the end, if it is the end of follow-up, otherwise return to step 3. The method can detect and track the occluded targets, improve the robustness of tracking, and can be used for tracking vehicles under urban roads.

【技术实现步骤摘要】
基于嵌入式平台的无人机车辆跟踪方法
本专利技术属于图像处理
，更进一步涉及一种无人机车辆跟踪方法，可用于城市道路下复杂环境的车辆跟踪。
技术介绍
近年来，无人机事业发展迅速，由于具有结构简单，高灵活性、机动性强、成本低廉、便于装备各类传感器等优点，同时可在复杂环境中进行悬停和垂直起降，无人机是完成目标检测、目标跟踪、监控等任务的理想平台。目前无人机已经应用在诸多目标监控与跟踪领域中。基于无人机的车辆跟踪是一个典型应用，可利用无人机的车辆跟踪进行逃犯追捕、基于车辆跟踪的航拍跟拍、电影拍摄等,具有重要现实意义。但由于在城市环境中，因为人行天桥、立交桥等复杂遮挡存在，基于无人机的车辆跟踪易发生跟踪目标丢失，致使跟踪失败。所以，利用无人机上搭配的传感器，结合航拍下车辆跟踪的特点，是一种有效解决无人机的车辆跟踪的方案。成都通甲优博科技有限责任公司的专利申请“一种基于无人机动平台的车辆跟踪方法”(公开号：CN104881650A，申请号：201510284911.6,J，申请日：2015年5月29日)中公开了一种基于无人机动平台的车辆跟踪方法。该方法主要通过目标车辆在当前视频帧中的位置预测目标车辆接下去的运动轨迹，并根据预测位置调整无人机的运动方向，从而实现车辆的无人机航拍跟踪。当在跟踪目标车辆的时候发生目标丢失的情况，还利用卡尔曼滤波器预测目标车辆在后续视频帧中可能出现的区域，并在后续视频中标示该区域以便操作人员在视频帧中快速找到目标车辆，进一步增加目标车辆跟踪的稳定性。该方法的不足是整个实现方案无法有效判断目标车辆是否丢失，同时目标丢失后虽然利用卡尔曼滤波来预测后续视频中可能出现的位置，但仍需要操作人员在视频帧查找目标，无法实现自动化跟踪。
技术实现思路
本专利技术的目的在针对上述现有技术的不足，提供一种基于嵌入式平台的无人机车辆跟踪方法，以有效防止目标被遮挡导致跟踪目标丢失的情况出现，提高车辆跟踪的鲁棒性，实现自动化跟踪。本专利技术的技术方案是：通过在无人机上搭载嵌入式平台对目标车辆使用核相关滤波算法进行目标跟踪，并将跟踪结果直接反馈给飞行控制模块控制无人机的飞行。在跟踪过程中，当利用车辆分类器判断出跟踪目标已丢失时，如果跟踪目标在飞行区域标记的地图的遮挡区域中，则结合传感器信息在目标可能出现的区域进行目标检测，否则使用卡尔曼滤波器预测被遮挡的目标的位置。其实现步骤包括如下：(1)训练一个车辆分类器：利用无人机在城市交通场景中进行航拍，在航拍视频中提取有车辆的正样本，无车辆的负样本，并利用正、负样本训练一个车辆分类器；(2)标记地图：通过地图软件获取飞行区域的地面地图，并标记出立交桥、隧道这些出现车辆遮挡区域的入口和对应的出口，得到被标记的地图；(3)初始化跟踪目标的位置矩形框：(3a)通过摄像头，获取一帧图像，通过视频解码器解码后加载到嵌入式平台的内存中，同时回传给地面控制人员；(3b)地面控制人员在获取的图像中选取一个将跟踪目标包含在内的矩形框，将所选的矩形框作为跟踪目标的位置矩形框；(3c)用位置矩形框和水平垂直速度初始化卡尔曼滤波器，即将水平垂直速度初始化为0，同时用跟踪目标的图像初始化核相关跟踪器；(4)通过摄像头获取一帧图像，并由视频解码器解码后加载到嵌入式平台的内存中；(5)利用核相关滤波算法计算出跟踪器与当前帧图像的特征的响应矩阵，当前帧图像目标的位置矩形框被识别为响应矩阵最大值的位置；(6)使用车辆分类器判断目标是否被遮挡，如果是，则执行步骤(7)；否则，执行步骤(12)；(7)利用传感器模块获得的无人机飞行参数，计算目标在被标记的地图中的位置，并判断该位置是否在被标记的地图的遮挡区域中，如果是，则执行步骤(8)；否则，执行步骤(11)；(8)利用被标记的地图得到被遮挡目标对应的出口区域，将出口区域转换到当前帧图像中，再通过目标检测算法在当前帧图像中筛选出目标的候选位置矩形框；(9)在当前帧图像中，对每个目标的候选位置矩形框，都利用核相关滤波算法计算出跟踪器与当前帧图像的特征的响应矩阵，求出所有响应矩阵最大值的位置，作为当前帧图像目标的位置矩形框；(10)嵌入式平台发送悬停指令，通过飞行控制模块令无人机悬停，执行步骤(13)；(11)使用卡尔曼滤波器在当前帧图像中预测出目标的位置矩形框；(12)利用当前帧图像中目标的位置矩形框更新卡尔曼滤波器和跟踪器，并通过飞行控制模块，嵌入式平台发送飞行指令使目标偏移到摄像头拍摄的中心，执行步骤(13)；(13)通信模块检测地面控制人员是否发送停止跟踪的信号，如果是，则结束目标跟踪；否则，返回步骤(4)。与现有技术相比，本专利技术具有以下优点：第一，本专利技术提出在无人机上搭载嵌入式平台，并在无人机上进行在线目标跟踪与检测，克服了原有技术中需要远端处理器的缺点，降低了跟踪过程中通信模块的传输带宽，减少了传输干扰。第二，本专利技术利用无人机上的传感器模块，同时结合被标记的地图信息，对跟踪目标发生遮挡时进行预测，解决了现有技术中在复杂交通场景下未能对跟踪目标发生遮挡后再重新检测的问题，大大提高了跟踪算法抗遮挡的鲁棒性，实现目标在复杂场景中的自主跟踪。第三，本专利技术使用卡尔曼滤波器，在跟踪目标的直线行驶过程中发生遮挡时用卡尔曼滤波器的输出作为跟踪结果，充分利用了跟踪目标的运动信息，提高了跟踪算法抗遮挡的鲁棒性。第四，本专利技术使用目标检测算法，在跟踪目标发生丢失需要对指定区域检测时，通过筛选减少了候选框的数目，在不降低检测准确率的同时，保证跟踪处理的实时性。附图说明图1是本专利技术的实现流程图。图2是本专利技术使用的跟踪系统的示意图。具体实施方式以下结合附图对本专利技术作进一步详细描述。参照图2，本专利技术使用的跟踪系统包括嵌入式平台、摄像头、视频解码模块、传感器模块、存储器模块、飞行控制模块和通信模块。其中，嵌入式平台负责与其他模块通信并完成目标自主跟踪的处理；传感器模块配有气压计和全球定位系统模块，用于获取无人机的飞行高度与全球定位系统GPS信息；摄像头模块用于采集图像帧并将图像发送给视频解码模块进行解码；视频解码模块完成码流的解码并将解码后得到的视频帧传输给嵌入式平台；通信模块与地面控制人员进行通信，用于传送视频帧图像和接受地面控制人员的控制信号；飞行控制模块根据飞行控制信号控制无人机的飞行。参照图1，对本专利技术基于图2系统进行无人机车辆跟踪的方法，其实现步骤如下。步骤1，训练一个车辆分类器。现有的车辆分类器有多种，包括级联分类器、随机森林、支持向量机SVM等，采样不同的分类器有不同的训练方式。本专利技术采用但不限于支持向量机SVM车辆分类器，其训步骤如下：(1a)在航拍视频中手工提取有车辆的正负样本，正负样本都通过开源计算机视觉库OpenCV中的图像缩放函数resize将图像统一缩放到64×64大小，得到正样本的训练数据posData和负样本的训练数据negData；(1b)调用开源计算机视觉库OpenCV中的支持向量机类CvSVM的成员函数train，利用正样本训练数据posData和负样本训练数据negData生成车辆分类器svm.xml。步骤2，标记地图。通过全能电子地图下载器下载飞行区域的地图，找到立交桥、隧道这些出现车辆遮挡区域的入口，分别用不同的正整数标记，并且将入口到对应的本文档来自技高网...

【技术保护点】
一种基于嵌入式平台的无人机车辆跟踪方法，包括：(1)训练一个车辆分类器：利用无人机在城市交通场景中进行航拍，在航拍视频中提取有车辆的正样本，无车辆的负样本，并利用正、负样本训练一个车辆分类器；(2)标记地图：通过地图软件获取飞行区域的地面地图，并标记出立交桥、隧道这些出现车辆遮挡区域的入口和对应的出口，得到被标记的地图；(3)初始化跟踪目标的位置矩形框：(3a)通过摄像头，获取一帧图像，通过视频解码器解码后加载到嵌入式平台的内存中，同时回传给地面控制人员；(3b)地面控制人员在获取的图像中选取一个将跟踪目标包含在内的矩形框，将所选的矩形框作为跟踪目标的位置矩形框；(3c)用位置矩形框和水平垂直速度初始化卡尔曼滤波器，即将水平垂直速度初始化为0，同时用跟踪目标的图像初始化核相关跟踪器；(4)通过摄像头获取一帧图像，并由视频解码器解码后加载到嵌入式平台的内存中；(5)利用核相关滤波算法计算出跟踪器与当前帧图像的特征的响应矩阵，当前帧图像目标的位置矩形框被识别为响应矩阵最大值的位置；(6)使用车辆分类器判断目标是否被遮挡，如果是，则执行步骤(7)；否则，执行步骤(12)；(7)利用传感器模块获得的无人机飞行参数，计算目标在被标记的地图中的位置，并判断该位置是否在被标记的地图的遮挡区域中，如果是，则执行步骤(8)；否则，执行步骤(11)；(8)利用被标记的地图得到被遮挡目标对应的出口区域，将出口区域转换到当前帧图像中，再通过目标检测算法在当前帧图像中筛选出目标的候选位置矩形框；(9)在当前帧图像中，对每个目标的候选位置矩形框，都利用核相关滤波算法计算出跟踪器与当前帧图像的特征的响应矩阵，求出所有响应矩阵最大值的位置，作为当前帧图像目标的位置矩形框；(10)嵌入式平台发送悬停指令，通过飞行控制模块令无人机悬停，执行步骤(13)；(11)使用卡尔曼滤波器在当前帧图像中预测出目标的位置矩形框；(12)利用当前帧图像中目标的位置矩形框更新卡尔曼滤波器和跟踪器，并通过飞行控制模块，嵌入式平台发送飞行指令使目标偏移到摄像头拍摄的中心，执行步骤(13)；(13)通信模块检测地面控制人员是否发送停止跟踪的信号，如果是，则结束目标跟踪；否则，返回步骤(4)。...

【技术特征摘要】
1.一种基于嵌入式平台的无人机车辆跟踪方法，包括：(1)训练一个车辆分类器：利用无人机在城市交通场景中进行航拍，在航拍视频中提取有车辆的正样本，无车辆的负样本，并利用正、负样本训练一个车辆分类器；(2)标记地图：通过地图软件获取飞行区域的地面地图，并标记出立交桥、隧道这些出现车辆遮挡区域的入口和对应的出口，得到被标记的地图；(3)初始化跟踪目标的位置矩形框：(3a)通过摄像头，获取一帧图像，通过视频解码器解码后加载到嵌入式平台的内存中，同时回传给地面控制人员；(3b)地面控制人员在获取的图像中选取一个将跟踪目标包含在内的矩形框，将所选的矩形框作为跟踪目标的位置矩形框；(3c)用位置矩形框和水平垂直速度初始化卡尔曼滤波器，即将水平垂直速度初始化为0，同时用跟踪目标的图像初始化核相关跟踪器；(4)通过摄像头获取一帧图像，并由视频解码器解码后加载到嵌入式平台的内存中；(5)利用核相关滤波算法计算出跟踪器与当前帧图像的特征的响应矩阵，当前帧图像目标的位置矩形框被识别为响应矩阵最大值的位置；(6)使用车辆分类器判断目标是否被遮挡，如果是，则执行步骤(7)；否则，执行步骤(12)；(7)利用传感器模块获得的无人机飞行参数，计算目标在被标记的地图中的位置，并判断该位置是否在被标记的地图的遮挡区域中，如果是，则执行步骤(8)；否则，执行步骤(11)；(8)利用被标记的地图得到被遮挡目标对应的出口区域，将出口区域转换到当前帧图像中，再通过目标检测算法在当前帧图像中筛选出目标的候选位置矩形框；(9)在当前帧图像中，对每个目标的候选位置矩形框，都利用核相关滤波算法计算出跟踪器与当前帧图像的特征的响应矩阵，求出所有响应矩阵最大值的位置，作为当前帧图像目标的位置矩形框；(10)嵌入式平台发送悬停指令，通过飞行控制模块令无人机悬停，执行步骤(13)；(11)使用卡尔曼滤波器在当前帧图像中预测出目标的位置矩形框；(12)利用当前帧图像中目标的位置矩形框更新卡尔曼滤波器和跟踪器，并通过飞行控制模块，嵌入式平台发送飞行指令使目标偏移到摄像头拍摄的中心，执行步骤(13)；(13)通信模块检测地面控制人员是否发送停止跟踪的信号，如果是，则结束目标跟踪；否则，返回步骤(4)。2.根据权利要求1所述的方法，其特征在于：步骤(3a)中所述的嵌入式平台是指NVIDIA嵌入式平台JetsonTX1。3.根据权利要求1所述的方法，其特征在于：步骤(1)中利用正、负样本训练一个车辆分类器，按如下步骤进行：(3a)先将正、负样本缩放到64×64大小作为训练的样本图像；(3b)通过adaboost算法或支持向量机或随机森林算法训练得到车辆分类器。4.根据权利要求1所述的方法，其特征在于：步骤(6)中使用车辆分类器判断目标是否被遮挡，是先将目标图像缩放到64×64大小，再通过车辆分类器进行分类，如果分类结果为负样本，则判断目标为被遮挡，否则判断目标为没有被遮挡。5.根据权利要求1所述的方法，其特征在于：步骤(8)中通过目标检测算法在当前帧图像中筛选出目标的候选位置矩形框，按如下步骤进行：(8a)通过目标检测算法得到一系列的候选位置矩形框；(8b)去掉每个候选位置矩形框中与被遮挡的目标尺寸不相匹配的候选位置矩形框；(8c)对保留下的候选位置矩形框，根据检测阈值进行降序排序，并选择排序后互不重叠的前若干个候选位置矩形框。6.根据权利要求...

【专利技术属性】
技术研发人员：吴宪云，吴仁坚，李云松，张静，雷杰，郭杰，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61