一种基于低空航拍红外视频的行人跟踪方法技术

本发明专利技术公开一种基于低空航拍红外视频的行人跟踪方法，结合Lucas‑Kanade光流法和局部区域二次检测来实现持续稳定的行人跟踪：1、离线训练航拍红外行人支持向量机(SVM)分类器；2、确定行人目标初始位置；3、利用LK光流法对行人目标进行初步跟踪，计算出行人目标在下一帧的位置；4、在预测的行人目标位置周围设定搜索区域；在搜索区域内利用离线训练好的SVM分类器对红外行人进行二次检测，更新行人目标位置；5、将在搜索区域内检测到的行人目标中心作为下一次LK光流法的输入坐标，重复步骤(3)～(5)即可。本发明专利技术可实现对红外行人目标持续稳定的跟踪，并可以处理路灯遮挡等问题。

【技术实现步骤摘要】

本专利技术属于计算机视觉
，涉及一种行人跟踪方法，具体来说，是一种基于低空航拍红外视频的行人跟踪方法。
技术介绍
随着计算机视觉技术的迅猛发展，通过视频采集行人数据，已成为计算机视觉领域中的一个重要研究方向，广泛应用在公共场所监控、智能交通监控系统、车载辅助驾驶系统开发等方面。在计算机视觉领域中，行人跟踪通常指在视频或连续帧图像中精确锁定同一个行人的位置，进而可以提高行人检测的精度。由于人体目标非刚性，且姿态、外表复杂多变，远近尺度大小不一，再加上目标遮挡及运动的随意性，使得实现可靠的行人跟踪非常困难。目前对于行人跟踪的大量研究主要集中在可见光图像领域，利用可见光图像的高质量、细节丰富、颜色特征鲜明等特点，以期获得较好的跟踪效果。但可见光图像受成像条件制约，比如夜晚、大雾等情况下无法清晰识别物体，使得其应用范围受到一定的限制。随着热红外成像技术的普及，利用行人在热红外视频中明显的热特征来实现可靠的行人跟踪正逐渐受到人们的关注。红外图像反映的是具有不同热辐射率目标的表面温度分布，不需要辅助光源的介入，可以在黑暗或大雾情况下识别目标。当前行人跟踪的研究主要是面向固定场所监控应用，然而监控装置机动性差，只能对定点场所进行视频采集，且拍摄角度倾斜，行人间的相互遮挡严重影响了行人的稳定跟踪。近年来，随着无人机在民用市场的开放，利用无人机从空中进行航拍采集视频，可以避免行人间的相互遮挡，更真实地体现行人实际位置变化，对于提取行人运动轨迹，研究行人交通行为具有重要价值。然而在低空航拍红外视频中，受成像质量的限制，视频信噪比较低，行人目标较小，给精确的行人跟踪带来了困难。传统的目标跟踪方法，如卡尔曼滤波在线性运动的跟踪中表现良好，但对于行人运动的随意性与非线性难以处理。考虑到红外行人目标典型的热特征，即目标较周围环境高亮，采用局部稀疏光流法对行人进行跟踪可以应对行人的非线性运动。通过计算局部稀疏光流从而确定指定像素点的位移来实现目标的跟踪，但是红外图像质量较差、信噪比低，使得光流的计算出现偏差，难以实现对行人目标的可靠、持续跟踪。
技术实现思路
为了克服低空航拍红外视频的成像质量差、行人目标小所带来的问题，本专利技术提出一种基于低空航拍红外视频的行人跟踪方法，结合Lucas-Kanade光流法和局部区域二次检测来实现持续稳定的行人跟踪。本专利技术基于低空航拍红外视频的行人跟踪方法，具体包括以下步骤：步骤1：离线训练航拍红外行人支持向量机分类器。步骤2：利用步骤1中训练得到的航拍红外行人支持向量机分类器，确定行人目标在第i帧图像中的位置。步骤3：根据步骤2中得到的第i帧图像中行人目标的位置，作为LK光流法的输入坐标，利用LK光流法计算出行人目标在第i+1帧中的位置。步骤4：以第i+1帧图像中的行人目标位置为中心设定搜索区域，在搜索区域内利用训练的航拍红外行人支持向量机分类器，对搜索区域内行人目标位置进行二次检测，得到第i+1帧图像中精确的行人目标位置。步骤5：将步骤4中得到的行人位置作为LK光流法的输入坐标，重复步骤3～5，由此实现对红外行人目标的持续、有效地跟踪。本专利技术的优点在于：1、本专利技术基于低空航拍红外视频的行人跟踪方法，通过计算局部稀疏光流来预测行人目标位置，很好地解决了行人运动的随意性与非线性的问题；2、本专利技术基于低空航拍红外视频的行人跟踪方法，通过设定搜索区域，在搜索区域内进行行人二次检测，克服了利用光流法进行跟踪出现的累计偏差，并解决了道路航拍视频出现的路灯遮挡问题，实现了对航拍红外行人目标的持续、稳定地跟踪。3、本专利技术基于低空航拍红外视频的行人跟踪方法，提出的融合HOG和DCT特征描述子对航拍红外行人目标具有良好的表达能力。附图说明图1是本专利技术基于低空航拍红外视频行人跟踪方法流程图；图2是本专利技术基于低空航拍红外视频行人跟踪方法中用来训练支持向量机分类器的行人和非行人训练样本图片；图3是本专利技术实施例中在搜索区域内进行行人二次检测的示意图；图4是本专利技术实施例中行人跟踪的示例图片；具体实施方式下面结合附图对本专利技术作进一步详细说明。本专利技术基于低空航拍红外视频的行人跟踪方法,如图1所示，通过下述步骤实现:步骤1：离线训练航拍红外行人支持向量机(SVM)分类器；A、建立航拍红外图像行人和非行人训练数据集：利用四旋翼无人机携带热红外摄像头在不同场景同一高度(以40m-60m为宜)下采集红外行人视频，其中摄像头垂直向下拍摄。对于一段固定场景的航拍红外行人视频，选取一部分视频帧图像，随后从图像中人工提取行人和非行人训练样本。在本实施例中，选取一段道路航拍红外视频，飞行高度为50m，视频分辨率为720×480像素，拍摄时室外温度为6℃。整段红外行人视频共2817帧图像，选取其中512帧图像作为训练图像，并统一缩放至32×32像素大小，其中用于训练的正负样本图片数目分别为2098幅和938幅，如图2、图3所示。B、对行人和非行人样本图像提取并融合梯度方向直方图(HOG)特征描述子和局部离散余弦变换(DCT)特征描述子：1)梯度方向直方图(HOG)特征描述子提取；梯度方向直方图特征属于图像局部特征，它刻画了图像的局部梯度幅值和边缘方向信息，提取步骤如下：1.1、对行人和非行人样本图像的颜色空间进行归一化，并采用中心对称的一维点模版[-1,0,1]进行卷积运算，得到行人和非行人样本图像上每个像素点的X、Y方向的梯度幅值Gx、Gy，则像素点的梯度大小梯度方向为D＝arctan(Gy/Gx)；1.2、对行人和非行人样本图像进行单元格(Cell)划分，单元格划分成相同大小，单元格数量依单元格的尺寸而定；在每一个单元格内按照梯度方向统计一维梯度方向直方图，方法为：每个单元格内的每个像素均有梯度大小值和梯度方向值与之对应，将单元格内每个像素的梯度方向0°～180°按照20°的间隔划分为9个区间，即：0°～20°，20°～40°，依次类推；统计单元格内的所有像素，确定各个像素所在区间，并将各像素的梯度值加在对应得区间上，构成梯度方向直方图向量Hi＝[h1,h2,...h8,h9]，是9维的，9个区间，其中hi为每个区间的权值。如：一个单元格中的某个像素的梯度方向是10°，那么它属于0°～20°区间，在该区间上加上像素的梯度值。1.3、将行人和非行人样本图像划分成包含多个相邻单元格的矩形区块(Block)，将区块内所有单元格的一维梯度方向直方图向量Hi串联起来本文档来自技高网...

【技术保护点】
一种基于低空航拍红外视频的行人跟踪方法，其特征在于：具体包括以下步骤：步骤1：离线训练航拍红外行人支持向量机分类器；步骤2：利用步骤1中训练得到的航拍红外行人支持向量机分类器，确定行人目标在第i帧图像中的位置；步骤3：根据步骤2中得到的第i帧图像中行人目标的位置，作为LK光流法的输入坐标，利用LK光流法计算出行人目标在第i+1帧中的位置；步骤4：以第i+1帧图像中的行人目标位置为中心设定搜索区域，在搜索区域内利用训练的航拍红外行人支持向量机分类器，对搜索区域内行人目标位置进行二次检测，得到第i+1帧图像中精确的行人目标位置；步骤5：将步骤4中得到的行人位置作为LK光流法的输入坐标，重复步骤2～5。

【技术特征摘要】
2015.12.07 CN 20151088826541.一种基于低空航拍红外视频的行人跟踪方法，其特征在于：具体包括以下步骤：
步骤1：离线训练航拍红外行人支持向量机分类器；
步骤2：利用步骤1中训练得到的航拍红外行人支持向量机分类器，确定行人目标在
第i帧图像中的位置；
步骤3：根据步骤2中得到的第i帧图像中行人目标的位置，作为LK光流法的输入坐
标，利用LK光流法计算出行人目标在第i+1帧中的位置；
步骤4：以第i+1帧图像中的行人目标位置为中心设定搜索区域，在搜索区域内利用
训练的航拍红外行人支持向量机分类器，对搜索区域内行人目标位置进行二次检测，得到
第i+1帧图像中精确的行人目标位置；
步...

【专利技术属性】
技术研发人员：王云鹏，吴新开，马亚龙，余贵珍，王章宇，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11