一种基于无人机的数据关联行人跟踪算法制造技术

技术编号:21915331 阅读:12 留言:0更新日期:2019-08-21 12:50
目前,无人机具有良好的飞行优势和广阔的飞行范围,能够轻松地完成航拍、搜救、地形勘测、监控侦察等任务,在诸多领域有着越来越广泛的应用。但目前,针对无人机视频图像中行人跟踪的相关研究还较少,而且对于目标的跟踪的准确度还有待提高。本发明专利技术提出一种基于无人机的数据关联行人跟踪算法,主要有以下步骤:通过端到端的跟踪模型在深度学习框架中生成融合特征提取和响应,并联合目标行人和其在不同帧之间的相关性,对目标行人进行数据关联跟踪。一种基于无人机的数据关联行人跟踪算法实现了无人机对行人进行拍摄时能够自动的按照输入图片的特征来对行人进行定位并达到跟踪的效果,在现有行人的识别和跟踪,算法速度上有明显的提升。

A Data Association Pedestrian Tracking Algorithm Based on UAV

【技术实现步骤摘要】
一种基于无人机的数据关联行人跟踪算法
本专利技术涉及深度学习、无人机飞控和行人跟踪领域,具体涉及到一种基于无人机的数据关联行人跟踪算法。
技术介绍
目前,无人机具有良好的飞行优势和广阔的飞行范围,能够轻松地完成航拍、搜救、地形勘测、监控侦察等任务,在诸多领域有着越来越广泛的应用。但目前,针对无人机视频图像中行人跟踪的相关研究还较少,而且对于目标的跟踪的准确度还有待提高。并且对于数据关联行人跟踪方面对于现如今市场的各行业都有广泛的需求。静态背景下的运动目标研究已经相对成熟,并广泛的应用于社会的各个领域,而动态背景下的目标运动相对复杂,理论与实际应用方面还有很多问题需要解决。特别是在不同的光照和不同的情境下往往会得出错误的结果,在视频中人有可能被其他物体遮挡导致跟丢目标,无人机在拍摄行人时由于角度的不同拍摄出的效果也不一样,这也是目前解决的一大难题。所以,本专利技术主要解决对行人跟踪效果和提高算法速度。没有考虑到外观的多个抽象级别。因此,当必须跟踪外观相似的对象时,尤其是在遮挡情况下,基于外观模型的技术往往很吃力。线性和非线性模型都不能很好地处理长帧间对象的遮挡。
技术实现思路
为解决现有技术中的缺点和不足,本专利技术提出了一种基于无人机的数据关联行人跟踪算法,通过端到端的跟踪模型在深度学习框架中生成融合特征提取和响应,并联合目标行人和其在不同帧之间的相关性,对目标行人进行数据关联跟踪。同时使用DAN网络在任意两帧内对抽取的检测过的目标的特征进行配对,来推断对象的相关性。若目标行人在视频帧之间消失又出现,DAN也可以对其关联。我们利用生成的高效关联计算将当前帧中的目标行人深入到前面的帧中进行关联。最后根据此DAN网络,进行视频帧的相关性计算,将视频帧中的目标行人与以前多个帧中的目标行人相关联,使用匈牙利算法生成可靠的轨迹。本专利技术的技术方案为:a.获取无人机拍摄的视频流。无人机拍摄的视频流传送给地面端后,地面端对视频流的数据进行解码。b.获取目标行人参数。获取人脸识别确定出的行人当前帧的参数。c.基于前后帧的准确性,利用最小成本流算法建立全局最优map轨迹关联并且构建显式遮挡模型(EOM)。在得出的结果与预期效果不符时,通过轨迹预测推断出目标位置,用匈牙利算法(或IOU等方法)使前后帧数据关联,对行人跟踪的准确性再次进行比较,以便使结果与预期效果更为接近。本专利技术的有益效果:(1)由于目标所处的运动场景十分复杂、目标数目的不确定性、目标间的相互遮挡以及采集图像时伴随着噪声的加入,给目标检测和跟踪的实现带来了极大的困难。在连续帧的短时间间隔内,目标的位置、大小以及其他特征变化是极为微小的,因此在严格的目标关联条件下可以形成较为准确的轨迹片段。而轨迹片段中蕴藏着目标更多的信息,其中包括运动的高阶信息和特征的统计信息,它们都利于提升目标跟踪的性能。本方法通过紧密结合目标跟踪过程中现存的问题和发展趋势,针对目标跟踪中的关键技术进行研究,以改善现有技术的不足,提高跟踪的准确度与稳定性。本专利技术的核心算法不仅可以为智能监控系统提供技术支持,还可以应用于交通监测、视频分析等领域,因此其有着重要的研究意义和实际应用价值;(2)本方法采用多方式建模,大大的增加了跟踪准确度,在无人机拍摄的视频流中更好的得出结果;(3)用匈牙利算法(或IOU等方法)使前后帧数据关联,对行人跟踪的准确性再次进行比较,以找到符合预期结果的最优解。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本专利技术一种基于无人机的数据关联行人跟踪算法的结构图;具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。如图1所示,对一种基于无人机的数据关联行人跟踪算法的具体流程进行详细说明。a.将数据关联定义为map(图)估计问题将一组对象检测结果作为输入观测结果,将没有重叠的轨迹建模为“成本流”网络中不相交的流动路径。将观测似然和过渡概率建模成为流动成本。利用最小成本流算法建立全局最优map轨迹关联。b.构建显式遮挡模型(EOM)a中的方法能够跟踪短期误检,包括由闭塞引起的检测。但是,如果只是将长期阻塞视为缺失的数据,则无法在不影响性能的情况下进行处理。如果允许观测与它们之间的巨大时间间隔关联,则创建错误关联的可能性也会增加。为了有效地解决跟踪长期遮挡,我们通过构造显式遮挡模型(EOM)来明确说明哪些对象可能会遮挡哪些对象。EOM生成一组遮挡假设,并通过一组遮挡约束将它们与输入观测结果结合起来。(只处理跟踪目标之间的遮挡问题)这相当于利用基于原始最小成本流算法的迭代方法解决了基于EOM的网络中最小成本流问题。c.DeepAffinityNetwork(DAN)对视频帧对象进行外观建模,使用DAN计算跨帧相关性。将网络分为两部分:特征提取器和亲和力估计器。将视频帧I及其目标中心Ct、视频帧I-n及其目标中心Ct-n作为网络输入。(使用隔多帧进行网络训练能够帮助当前帧能够更好的与之前帧数据进行关联)还需要groudtruth二进制数据关联矩阵(Lt-n,Lt)来计算网络损失。d.基于轨迹预测的跟踪方式使用faster-RCNN算法检测第一帧的目标,然后将检测的目标经过卡尔曼滤波预测下一帧的轨迹状态(u,v,r,h),再使用faster-RCNN检测第二帧的目标,将检测到的第二帧目标与预测的轨迹状态进行配对,(例如如果两者IOU接近1,则代表上帧目标与此帧对应成功)重复此过程,其中:faster-RCNN用于帧检测目标,卡尔曼滤波用于预测,匈牙利算法(或IOU等方法)用于前后帧数据关联这样的流程。有了这个预测,就能将下一帧预测的目标状态与下一帧的检测出来目标进行对比关联,能够发现我下一帧检测出来的这个目标对应上一帧的目标是哪个,就能将两帧分别检测出来的目标联系起来。本文档来自技高网...

【技术保护点】
1.一种基于无人机的数据关联行人跟踪算法,通过端到端的跟踪模型在深度学习框架中生成融合特征提取和响应,并联合目标行人和其在不同帧之间的相关性,对目标行人进行数据关联跟踪。同时使用DAN网络在任意两帧内对抽取的检测过的目标的特征进行配对,来推断对象的相关性。若目标行人在视频帧之间消失又出现,DAN也可以对其关联。我们利用生成的高效关联计算将当前帧中的目标行人深入到前面的帧中进行关联。最后根据此DAN网络,进行视频帧的相关性计算,将视频帧中的目标行人与以前多个帧中的目标行人相关联,使用匈牙利算法生成可靠的轨迹。完成数据关联行人跟踪,主要包括以下步骤:a.将数据关联定义为map(图)估计问题将一组对象检测结果作为输入观测结果,将没有重叠的轨迹建模为“成本流”网络中不相交的流动路径。将观测似然和过渡概率建模成为流动成本。利用最小成本流算法建立全局最优map轨迹关联。b.构建显式遮挡模型(EOM)a中的方法能够跟踪短期误检,包括由闭塞引起的检测。但是,如果只是将长期阻塞视为缺失的数据,则无法在不影响性能的情况下进行处理。如果允许观测与它们之间的巨大时间间隔关联,则创建错误关联的可能性也会增加。为了有效地解决跟踪长期遮挡,我们通过构造显式遮挡模型(EOM)来明确说明哪些对象可能会遮挡哪些对象。EOM生成一组遮挡假设,并通过一组遮挡约束将它们与输入观测结果结合起来。(只处理跟踪目标之间的遮挡问题)这相当于利用基于原始最小成本流算法的迭代方法解决了基于EOM的网络中最小成本流问题。c.Deep Affinity Network(DAN)对视频帧对象进行外观建模,使用DAN计算跨帧相关性。将网络分为两部分:特征提取器和亲和力估计器。将视频帧I及其目标中心Ct、视频帧I‑n及其目标中心Ct‑n作为网络输入。(使用隔多帧进行网络训练能够帮助当前帧能够更好的与之前帧数据进行关联)还需要groudtruth二进制数据关联矩阵(Lt‑n,Lt)来计算网络损失。d.基于轨迹预测的跟踪方式使用faster‑RCNN算法检测第一帧的目标,然后将检测的目标经过卡尔曼滤波预测下一帧的轨迹状态(u,v,r,h),再使用faster‑RCNN检测第二帧的目标,将检测到的第二帧目标与预测的轨迹状态进行配对,(例如如果两者IOU接近1,则代表上帧目标与此帧对应成功)重复此过程,其中:faster‑RCNN用于帧检测目标,卡尔曼滤波用于预测,匈牙利算法(或IOU等方法)用于前后帧数据关联这样的流程。有了这个预测,就能将下一帧预测的目标状态与下一帧的检测出来目标进行对比关联,能够发现我下一帧检测出来的这个目标对应上一帧的目标是哪个,就能将两帧分别检测出来的目标联系起来。...

【技术特征摘要】
1.一种基于无人机的数据关联行人跟踪算法,通过端到端的跟踪模型在深度学习框架中生成融合特征提取和响应,并联合目标行人和其在不同帧之间的相关性,对目标行人进行数据关联跟踪。同时使用DAN网络在任意两帧内对抽取的检测过的目标的特征进行配对,来推断对象的相关性。若目标行人在视频帧之间消失又出现,DAN也可以对其关联。我们利用生成的高效关联计算将当前帧中的目标行人深入到前面的帧中进行关联。最后根据此DAN网络,进行视频帧的相关性计算,将视频帧中的目标行人与以前多个帧中的目标行人相关联,使用匈牙利算法生成可靠的轨迹。完成数据关联行人跟踪,主要包括以下步骤:a.将数据关联定义为map(图)估计问题将一组对象检测结果作为输入观测结果,将没有重叠的轨迹建模为“成本流”网络中不相交的流动路径。将观测似然和过渡概率建模成为流动成本。利用最小成本流算法建立全局最优map轨迹关联。b.构建显式遮挡模型(EOM)a中的方法能够跟踪短期误检,包括由闭塞引起的检测。但是,如果只是将长期阻塞视为缺失的数据,则无法在不影响性能的情况下进行处理。如果允许观测与它们之间的巨大时间间隔关联,则创建错误关联的可能性也会增加。为了有效地解决跟踪长期遮挡,我们通过构造显式遮挡模型(EOM)来明确说明哪些对象可能会遮挡哪些对象。EOM生成一组遮挡假设,并通过...

【专利技术属性】
技术研发人员:怀梓钰韦统龙贺泽铭张映雪高旭
申请(专利权)人:中国石油大学华东
类型:发明
国别省市:山东,37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1