基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法制造技术

技术编号:22330661 阅读:42 留言:0更新日期:2019-10-19 12:22
本发明专利技术在深入研究基于深度学习的目标跟踪算法SiameseFC基础上,针对该算法在相似车辆干扰下容易发生跟踪错误的现象,提供一种基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法,首先,获取输入视频序列中第一帧与第二帧图像上的目标车辆的跟踪框;其次,获取输入视频序列中第三帧图像上的目标车辆的跟踪框;再次,将第四帧至第t帧图像分为偶数帧与奇数帧图像,获取第四帧至第t帧中偶数帧图像上目标车辆跟踪位置;最后,获取第四帧至第t帧中奇数帧图像上目标车辆的跟踪位置;本发明专利技术算法的中心误差均值与原算法相比降低了26.08个像素,精度提高了24.55%,成功率提高了18.31%。

【技术实现步骤摘要】
基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法
本专利技术涉及计算机图像处理、智能交通、车辆目标跟踪领域,具体涉及一种基于多帧角度信息融合的消除相似车辆干扰的车辆跟踪算法。
技术介绍
车辆跟踪算法是使用计算机视觉、图像处理以及机器学习等相关技术对视频序列进行处理并得到感兴趣目标的特征,从而在连续的视频序列中预测出目标车辆的位置、运动轨迹以及包裹目标的最小矩形尺寸。在车辆跟踪的实际应用过程中,经常会遇到光照变化、遮挡、平面内旋转、相似车辆干扰以及快速运动等各种复杂环境。因此,研究准确度高、鲁棒性强的视频车辆跟踪技术具有重要的实用价值。现有的车辆跟踪算法一般采用第一帧中的目标模板与当前帧的搜索区域进行相似度计算,并将最大相似度的所在位置确定为跟踪位置,搜索区域内相似车辆的出现会影响目标车辆的正常跟踪。此外,现有的车辆跟踪算法大多没有采用车辆多帧信息之间具有相关性的先验知识,这就导致了现有的车辆跟踪算法的准确度达不到实际应用的要求。
技术实现思路
本专利技术的目的是提供一种基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法,解决现有车辆跟踪算法在相似车辆干扰下会出现跟踪错误的技术问题。本专利技术的技术方案是提供一种基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法,包括以下步骤:步骤一、获取输入视频序列中第一帧与第二帧图像上的目标车辆的跟踪框;步骤二、获取输入视频序列中第三帧图像上的目标车辆的跟踪框;步骤2.1、将第一帧图像的目标车辆模板与第三帧图像搜索区域输入SiameseFC网络,获取第三帧图像的相似度响应热图;步骤2.2、根据获取的第三帧图像的相似度响应热图判断,是否有相似目标出现,若获取的第三帧图像的相似度响应热图上只有一个亮点,则认为无相似目标出现,将选取该亮点的位置为第三帧图像上目标车辆的跟踪位置;若获取的第三帧图像的相似度响应热图上至少有两个亮点,则认为有相似目标出现,对第三帧图像的相似度响应热图进行预处理,获取第三帧图像上搜索区域内所有车辆的偏转角;步骤2.3、获取第一帧和第二帧图像上目标车辆的运动偏转角,然后将该偏转角与第三帧图像上搜索区域内所有车辆的偏转角进行比对,选取差值绝对值最小的偏转角,将该偏转角在相似度响应热图中对应的响应点位置作为第三帧图像中目标车辆的跟踪位置;步骤三、将第四帧至第t帧图像分为偶数帧与奇数帧图像,获取第四帧至第t帧中偶数帧图像上目标车辆的跟踪位置;步骤3.1、利用相似度响应热图,获取无相似目标出现时,第2N帧图像上目标车辆的跟踪位置;或有相似目标出现时,第2N帧图像上搜索区域内所有车辆的偏转角;步骤3.11、将第一帧图像的目标车辆模板与第2N帧图像搜索区域输入SiameseFC网络,获取第2N帧图像的相似度响应热图;其中N为大于等于2的正整数;步骤3.12、根据获取的第2N帧图像的相似度响应热图判断,是否有相似目标出现,若获取的第2N帧图像的相似度响应热图上只有一个亮点,则认为无相似目标出现,将选取该亮点的位置为第2N帧图像上目标车辆的跟踪位置;若获取的第2N帧图像的相似度响应热图上至少有两个亮点,则认为有相似目标出现,对第2N帧图像的相似度响应热图进行预处理,获取第2N帧图像上搜索区域内所有车辆的偏转角;步骤3.2、利用ORB特征角点检测算法,获得第2N帧图像上目标车辆的偏转角;步骤3.21、提取第2N-1帧与第2N帧图像中搜索区域内的图像角点特征并进行特征匹配操作;其中N为大于等于2的正整数;步骤3.22、使用ORB特征角点检测算法提取第2N-1帧图像中目标车辆图像的特征点;使用ORB特征角点检测算法提取第2N帧图像中搜索区域内所有车辆图像的特征点;其中N为大于等于2的正整数;步骤3.23、然后根据特征点分别计算ORB特征描述子;步骤3.24、选取BF匹配中的K近邻模式对ORB特征描述子进行匹配,获得第2N帧图像上目标车辆的偏转角;步骤3.3、根据步骤3.1与步骤3.2获得的偏转角,获取第2N帧图像中目标车辆的跟踪位置;在步骤3.1获取的第2N帧图像上搜索区域内所有车辆的偏转角中选取与步骤3.2获取的第2N帧图像上目标车辆的偏转角差值绝对值最小的偏转角,将该偏转角在相似度响应热图中对应的响应点位置作为第2N帧图像中目标车辆的跟踪位置;步骤四、获取第四帧至第t帧中奇数帧图像上目标车辆的跟踪位置;步骤4.1、将第一帧图像的目标车辆模板与第2N+1帧图像搜索区域输入SiameseFC网络,获取第2N+1帧图像的相似度响应热图;其中N为大于等于2的正整数;步骤4.2、根据获取的第2N+1帧图像的相似度响应热图判断,是否有相似目标出现,若获取的第2N+1帧图像的相似度响应热图上只有一个亮点,则认为无相似目标出现,将选取该亮点的位置为第2N+1帧图像上目标车辆的跟踪位置;若获取的第2N+1帧图像的相似度响应热图上至少有两个亮点,则认为有相似目标出现,对第2N+1帧图像的相似度响应热图进行预处理,获取第2N+1帧图像上搜索区域内所有车辆的偏转角;步骤4.3、获取当相似目标出现时,当前奇数帧图像上目标车辆的跟踪位置;在获取的第2N+1帧图像上搜索区域内所有车辆的偏转角中选取与第2N帧图像上目标车辆的偏转角差值绝对值最小的偏转角,将该偏转角在相似度响应热图中对应的响应点位置作为第2N+1帧图像中目标车辆的跟踪位置。进一步地,所述步骤一具体为:步骤1.1、采集输入视频中所有图像,在第一帧图像上标记目标车辆的跟踪框;步骤1.2、提取第一帧图像上的目标车辆模板;步骤1.3、利用第一帧图像上标记的目标车辆跟踪框及第一帧图像的目标车辆模板,采用现有跟踪算法,跟踪第二帧图像,获得第二帧图像上的目标车辆跟踪框。进一步地,步骤3.24的具体过程为:步骤3.241、获取匹配后的每对ORB特征点形成的直线与Y轴的夹角;之后将角度值按大小进行排序;步骤3.242、当角度值的个数为一个,将该值默认为第2N帧图像上目标车辆的偏转角;当角度值个数为偶数,选择位于中间的两个角度值的平均值作为第2N帧图像上目标车辆的偏转角;当角度值的个数为奇数,选择位于中间的三个角度值,对这三个值进行取平均值作为第2N帧图像上目标车辆的偏转角。进一步地,步骤3.12及步骤4.2中对相似度响应热图进行预处理的过程如下:a、获取一个阈值T,然后将相似度响应热图中的相似值小于T的值默认为零;T的求解方式如下式所示:其中,pixel_max为相似度响应热图中热度最大值,pixel_min为相似度响应热图中热度最小值,并都大于零,其中m用于确定阈值T的大小;b、之后将阈值处理后的相似度响应热图的响应值进行归一化至0到255范围,并将归一化后的图像进行低通滤波处理,对滤波后图像进行OTUS阈值处理,获得二值热图;c、检测二值热图中亮区域的外轮廓并存储亮区域内所有点的坐标以及对应的相似度响应值;d、选取所有轮廓中相似度响应值最大点的位置坐标;e、根据相似度响应值最大点与响应图中心点确定的直线与Y轴构成的夹角,获得搜索区域内所有车辆的偏转角。进一步地,所述现有跟踪算法为SiameseFC目标跟踪算法。进一步地,初步采用汉宁窗对相似度响应热图进行操作来减轻相似车辆的干扰,除此之外主要使用多帧信息融合的方法对相似车辆进行排除。本专利技术还提供一本文档来自技高网...

【技术保护点】
1.基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法,其特征在于,包括以下步骤:步骤一、获取输入视频序列中第一帧与第二帧图像上的目标车辆的跟踪框;步骤二、获取输入视频序列中第三帧图像上的目标车辆的跟踪框;步骤2.1、将第一帧图像的目标车辆模板与第三帧图像搜索区域输入SiameseFC网络,获取第三帧图像的相似度响应热图;步骤2.2、根据获取的第三帧相似度响应热图判断,是否有相似目标出现,若获取的第三帧相似度响应热图上只有一个亮点,则认为无相似目标出现,将选取该亮点的位置为第三帧图像上目标车辆的跟踪位置;若获取的第三帧相似度响应热图上至少有两个亮点,则认为有相似目标出现,对第三帧图像的相似度响应热图进行预处理,获取第三帧图像上搜索区域内所有车辆的偏转角;步骤2.3、获取第一帧和第二帧图像上目标车辆的运动偏转角,然后将该偏转角与第三帧图像上搜索区域内所有车辆的偏转角进行比对,选取差值绝对值最小的偏转角,将该偏转角在相似度响应热图中对应的响应点位置作为第三帧图像中目标车辆的跟踪位置;步骤三、将第四帧至第t帧图像分为偶数帧与奇数帧图像,获取第四帧至第t帧中偶数帧图像上目标车辆跟踪位置;步骤3.1、利用相似度响应热图,获取无相似目标出现时,第2N帧图像上目标车辆的跟踪位置;或有相似目标出现时,第2N帧图像上搜索区域内所有车辆的偏转角;步骤3.11、将第一帧图像的目标车辆模板与第2N帧图像搜索区域输入SiameseFC网络,获取第2N帧图像的相似度响应热图;其中N为大于等于2的正整数;步骤3.12、根据获取的第2N帧图像的相似度响应热图判断,是否有相似目标出现,若获取的第2N帧图像的相似度响应热图上只有一个亮点,则认为无相似目标出现,将选取该亮点的位置为第2N帧图像上目标车辆的跟踪位置;若获取的第2N帧图像的相似度响应热图上至少有两个亮点,则认为有相似目标出现,对第2N帧图像的相似度响应热图进行预处理,获取第2N帧图像上搜索区域内所有车辆的偏转角;步骤3.2、利用ORB特征角点检测算法,获得第2N帧图像上目标车辆的偏转角;步骤3.21、提取第2N‑1帧与第2N帧图像中搜索区域内的图像角点特征并进行特征匹配操作;其中N为大于等于2的正整数;步骤3.22、使用ORB特征角点检测算法提取第2N‑1帧图像中目标车辆图像的特征点;使用ORB特征角点检测算法提取第2N帧图像中搜索区域内所有车辆图像的特征点;其中N为大于等于2的正整数;步骤3.23、然后根据特征点分别计算ORB特征描述子;步骤3.24、选取BF匹配中的K近邻模式对ORB特征描述子进行匹配,获得第2N帧图像上目标车辆的偏转角;步骤3.3、根据步骤3.1与步骤3.2获得的偏转角,获取第2N帧图像中目标车辆的跟踪位置;在步骤3.1获取的第2N帧图像上搜索区域内所有车辆的偏转角中选取与步骤3.2获取的第2N帧图像上目标车辆的偏转角差值绝对值最小的偏转角,将该偏转角在相似度响应热图中对应的响应点位置作为第2N帧图像中目标车辆的跟踪位置;步骤四、获取第四帧至第t帧中奇数帧图像上目标车辆的跟踪位置;步骤4.1、将第一帧图像的目标车辆模板与第2N+1帧图像搜索区域输入SiameseFC网络,获取第2N+1帧图像的相似度响应热图;其中N为大于等于2的正整数;步骤4.2、根据获取的第2N+1帧图像的相似度响应热图判断,是否有相似目标出现,若获取的第2N+1帧图像的相似度响应热图上只有一个亮点,则认为无相似目标出现,将选取该亮点的位置为第2N+1帧图像上目标车辆的跟踪位置;若获取的第2N+1帧图像的相似度响应热图上至少有两个亮点,则认为有相似目标出现,对第2N+1帧图像的相似度响应热图进行预处理,获取第2N+1帧图像上搜索区域内所有车辆的偏转角;步骤4.3、获取当相似目标出现时,当前奇数帧图像上目标车辆的跟踪位置;在获取的第2N+1帧图像上搜索区域内所有车辆的偏转角中选取与第2N帧图像上目标车辆的偏转角差值绝对值最小的偏转角,将该偏转角在相似度响应热图中对应的响应点位置作为第2N+1帧图像中目标车辆的跟踪位置。...

【技术特征摘要】
1.基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法,其特征在于,包括以下步骤:步骤一、获取输入视频序列中第一帧与第二帧图像上的目标车辆的跟踪框;步骤二、获取输入视频序列中第三帧图像上的目标车辆的跟踪框;步骤2.1、将第一帧图像的目标车辆模板与第三帧图像搜索区域输入SiameseFC网络,获取第三帧图像的相似度响应热图;步骤2.2、根据获取的第三帧相似度响应热图判断,是否有相似目标出现,若获取的第三帧相似度响应热图上只有一个亮点,则认为无相似目标出现,将选取该亮点的位置为第三帧图像上目标车辆的跟踪位置;若获取的第三帧相似度响应热图上至少有两个亮点,则认为有相似目标出现,对第三帧图像的相似度响应热图进行预处理,获取第三帧图像上搜索区域内所有车辆的偏转角;步骤2.3、获取第一帧和第二帧图像上目标车辆的运动偏转角,然后将该偏转角与第三帧图像上搜索区域内所有车辆的偏转角进行比对,选取差值绝对值最小的偏转角,将该偏转角在相似度响应热图中对应的响应点位置作为第三帧图像中目标车辆的跟踪位置;步骤三、将第四帧至第t帧图像分为偶数帧与奇数帧图像,获取第四帧至第t帧中偶数帧图像上目标车辆跟踪位置;步骤3.1、利用相似度响应热图,获取无相似目标出现时,第2N帧图像上目标车辆的跟踪位置;或有相似目标出现时,第2N帧图像上搜索区域内所有车辆的偏转角;步骤3.11、将第一帧图像的目标车辆模板与第2N帧图像搜索区域输入SiameseFC网络,获取第2N帧图像的相似度响应热图;其中N为大于等于2的正整数;步骤3.12、根据获取的第2N帧图像的相似度响应热图判断,是否有相似目标出现,若获取的第2N帧图像的相似度响应热图上只有一个亮点,则认为无相似目标出现,将选取该亮点的位置为第2N帧图像上目标车辆的跟踪位置;若获取的第2N帧图像的相似度响应热图上至少有两个亮点,则认为有相似目标出现,对第2N帧图像的相似度响应热图进行预处理,获取第2N帧图像上搜索区域内所有车辆的偏转角;步骤3.2、利用ORB特征角点检测算法,获得第2N帧图像上目标车辆的偏转角;步骤3.21、提取第2N-1帧与第2N帧图像中搜索区域内的图像角点特征并进行特征匹配操作;其中N为大于等于2的正整数;步骤3.22、使用ORB特征角点检测算法提取第2N-1帧图像中目标车辆图像的特征点;使用ORB特征角点检测算法提取第2N帧图像中搜索区域内所有车辆图像的特征点;其中N为大于等于2的正整数;步骤3.23、然后根据特征点分别计算ORB特征描述子;步骤3.24、选取BF匹配中的K近邻模式对ORB特征描述子进行匹配,获得第2N帧图像上目标车辆的偏转角;步骤3.3、根据步骤3.1与步骤3.2获得的偏转角,获取第2N帧图像中目标车辆的跟踪位置;在步骤3.1获取的第2N帧图像上搜索区域内所有车辆的偏转角中选取与步骤3.2获取的第2N帧图像上目标车辆的偏转角差值绝对值最小的偏转角,将该偏转角在相似度响应热图中对应的响应点位置作为第2N帧图像中目标车辆的跟踪位置;步骤四、获取第四帧至第t帧中奇数帧图像上目标车辆的跟踪位置;步骤4.1、将第一帧图像的目标车辆模板与第2N+1帧图像搜索区域输入SiameseFC网络,获取第2N+1帧图像的相似度响应热图;其中N为大于等于2的正整数;步骤4.2、根据获取的第2N+1帧图像的相似度响应热图...

【专利技术属性】
技术研发人员:曾泽沧王浩文顾文宁杜慧敏张霞常立博
申请(专利权)人:西安邮电大学
类型:发明
国别省市:陕西,61

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1