目标跟踪方法、装置、电子设备以及可读存储介质制造方法及图纸

技术编号:30769787 阅读:16 留言:0更新日期:2021-11-10 12:37
本公开实施例公开了一种目标跟踪方法、装置、电子设备以及可读存储介质。该目标跟踪方法包括:获取上一帧的目标边界框;将上一帧的目标边界框的尺寸放大以生成搜索区域;将当前帧在搜索区域内的图像数据缩放到预定尺寸;将缩放后的图像数据输入目标跟踪网络,以便从多个候选锚点框中确定目标锚点框,并获取目标锚点框的位置偏移量和尺寸调整信息;基于位置偏移量和尺寸调整信息调整目标锚点框,以便从搜索区域中确定目标区域;基于搜索区域以及目标区域在搜索区域中的位置,确定目标在当前帧中的位置,表示为当前帧的目标边界框,从而减小了跳帧处理下目标在图像上的变化对目标跟踪效果的影响,提高了目标跟踪的正确性。提高了目标跟踪的正确性。提高了目标跟踪的正确性。

【技术实现步骤摘要】
目标跟踪方法、装置、电子设备以及可读存储介质


[0001]本公开涉及视频
,具体涉及一种目标跟踪方法、装置、电子设备以及可读存储介质。

技术介绍

[0002]目标跟踪是计算机视觉研究领域的热点之一,并得到广泛应用。相机的跟踪对焦、无人机的自动目标跟踪等都需要用到了目标跟踪技术。另外还有特定物体的跟踪,比如人体跟踪,交通监控系统中的车辆跟踪,人脸跟踪和智能交互系统中的手势跟踪等。简单来说,目标跟踪就是在连续的视频序列中,建立所要跟踪物体的位置关系,得到物体完整的运动轨迹。给定图像第一帧的目标坐标位置,计算在下一帧图像中目标的确切位置。
[0003]跳帧是指按一定间隔从视频中抽取部分视频帧进行处理。本专利技术人发现,在运动的过程中,目标可能会呈现一些图像上的变化,比如姿态、形状或尺度的变化,尤其是在跳帧的情况下,这种变化对目标跟踪的效果产生严重的影响。

技术实现思路

[0004]为了解决相关技术中的问题,本公开实施例提供一种目标跟踪方法、装置、电子设备以及可读存储介质。
[0005]第一方面,本公开实施例中提供了一种目标跟踪方法。
[0006]具体地,所述目标跟踪方法包括:
[0007]获取上一帧的目标边界框;
[0008]将所述上一帧的目标边界框的尺寸放大以生成搜索区域;
[0009]将当前帧在所述搜索区域内的图像数据缩放到预定尺寸;
[0010]将缩放后的图像数据输入目标跟踪网络,以便从多个候选锚点框中确定目标锚点框,并获取所述目标锚点框的位置偏移量和尺寸调整信息;
[0011]基于所述位置偏移量和尺寸调整信息调整所述目标锚点框,以便从所述搜索区域中确定目标区域;
[0012]基于所述搜索区域以及所述目标区域在搜索区域中的位置,确定目标在所述当前帧中的位置,表示为所述当前帧的目标边界框。
[0013]结合第一方面,本公开在第一方面的第一种实现方式中,所述将缩放后的图像数据输入目标跟踪网络,以便从多个候选锚点框中确定目标锚点框,并获取所述目标锚点框的位置偏移量和尺寸调整信息包括:
[0014]将缩放后的图像数据输入目标跟踪网络,以获取目标置信度、位置偏移量和尺寸调整信息;
[0015]基于所述目标置信度,从多个候选锚点框中确定目标锚点框。
[0016]结合第一方面的第一种实现方式,本公开在第一方面的第二种实现方式中,所述目标跟踪网络包括五个串联的卷积层,在第一个卷积层和第二个卷积层后分别设置有池化
层,最后一个卷积层包括六个通道,
[0017]其中,所述六个通道中的两个通道用于输出所述目标置信度,所述六个通道中的另外四个通道用于输出所述位置偏移量和尺寸调整信息,
[0018]其中,所述第一个卷积层的输入尺寸与所述预定尺寸一致,所述最后一个卷积的输出尺寸与所述候选锚点框的数量相匹配。
[0019]结合第一方面的第一种实现方式,本公开在第一方面的第三种实现方式中,所述目标置信度包括每个候选锚点框为目标锚点框的第一概率和非目标锚点框的第二概率,所述基于所述目标置信度,从多个候选锚点框中确定目标锚点框包括:
[0020]确定每个所述候选锚点框的所述第一概率和第二概率的差值;
[0021]基于所述差值,从所述多个候选锚点框中确定目标锚点框。
[0022]结合第一方面、第一方面的第一种至第三种实现方式中的任一项,本公开在第一方面的第四种实现方式中,所述缩放后的图像数据的大小为k
×
k,所述候选锚点框的数量为n
×
n,大小为m
×
m,步长为s,满足k=m+(n

1)
×
s,其中,k、m、n、s为整数,且k∈[48,96],n∈[7,19],m∈[12,48],s∈[4,12]。
[0023]结合第一方面、第一方面的第一种至第三种实现方式中的任一项,本公开在第一方面的第五种实现方式中,其中,所述搜索区域的尺寸为所述上一帧的目标边界框的尺寸的1

10倍,优选1

5倍,进一步优选1

3倍,最优选例如3倍,所述目标跟踪方法用于通过头部区域跟踪人体。
[0024]结合第一方面、第一方面的第一种至第三种实现方式中的任一项,本公开在第一方面的第六种实现方式中,其中,所述基于所述位置偏移量和尺寸调整信息调整所述目标锚点框,以便从所述搜索区域中确定目标区域包括:
[0025]确定位置偏移量(xp,yp)和尺寸调整信息(wp,hp),其中,xp为水平偏移量,yp为竖直偏移量,wp为宽度调整信息,hp为高度调整信息;
[0026]确定目标锚点框的位置(cx,cy,wa,ha),其中,cx、cy、wa、ha分别为目标锚点框在搜索区域中的水平位置坐标、竖直位置坐标、宽度和高度;
[0027]确定目标区域在搜索区域中的位置(x,y,w,h),x、y、w、h分别为目标区域在搜索区域中的水平位置坐标、竖直位置坐标、宽度和高度,其中:
[0028]x=xp+cx;
[0029]y=yp+cy;
[0030]w=wa
×
e
wp

[0031]h=ha
×
e
hp
,e为自然常数。
[0032]第二方面,本公开实施例中提供了一种目标跟踪装置。
[0033]具体地,所述目标跟踪装置包括:
[0034]获取模块,被配置为获取上一帧的目标边界框;
[0035]放大模块,被配置为将所述上一帧的目标边界框的尺寸放大以生成搜索区域;
[0036]缩放模块,被配置为将当前帧在所述搜索区域内的图像数据缩放到预定尺寸;
[0037]预测模块,被配置为将缩放后的图像数据输入目标跟踪网络,以便从多个候选锚点框中确定目标锚点框,并获取所述目标锚点框的位置偏移量和尺寸调整信息;
[0038]调整模块,被配置为基于所述位置偏移量和尺寸调整信息调整所述目标锚点框,
以便从所述搜索区域中确定目标区域;
[0039]确定模块,被配置为基于所述搜索区域以及所述目标区域在搜索区域中的位置,确定目标在所述当前帧中的位置,表示为所述当前帧的目标边界框。
[0040]第三方面,本公开实施例提供了一种电子设备,包括存储器和处理器,其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行以实现如第一方面、第一方面的第一种到第六种实现方式中任一项所述的方法。
[0041]第四方面,本公开实施例中提供了一种计算机可读存储介质,其上存储有计算机指令,该计算机指令被处理器执行时实现如第一方面、第一方面的第一种到第六种实现方式中任一项所述的方法。
[0042]根据本公开实施例提供的技术方案,通过获取上一帧的目标边界框;将所述上一帧的目标边界框的尺寸放大以生成搜索区本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种目标跟踪方法,包括:获取上一帧的目标边界框;将所述上一帧的目标边界框的尺寸放大以生成搜索区域;将当前帧在所述搜索区域内的图像数据缩放到预定尺寸;将缩放后的图像数据输入目标跟踪网络,以便从多个候选锚点框中确定目标锚点框,并获取所述目标锚点框的位置偏移量和尺寸调整信息;基于所述位置偏移量和尺寸调整信息调整所述目标锚点框,以便从所述搜索区域中确定目标区域;基于所述搜索区域以及所述目标区域在搜索区域中的位置,确定目标在所述当前帧中的位置,表示为所述当前帧的目标边界框。2.根据权利要求1所述的方法,其中,所述将缩放后的图像数据输入目标跟踪网络,以便从多个候选锚点框中确定目标锚点框,并获取所述目标锚点框的位置偏移量和尺寸调整信息包括:将缩放后的图像数据输入目标跟踪网络,以获取目标置信度、位置偏移量和尺寸调整信息;基于所述目标置信度,从多个候选锚点框中确定目标锚点框。3.根据权利要求2所述的方法,其中,所述目标跟踪网络包括五个串联的卷积层,在第一个卷积层和第二个卷积层后分别设置有池化层,最后一个卷积层包括六个通道,其中,所述六个通道中的两个通道用于输出所述目标置信度,所述六个通道中的另外四个通道用于输出所述位置偏移量和尺寸调整信息,其中,所述第一个卷积层的输入尺寸与所述预定尺寸一致,所述最后一个卷积的输出尺寸与所述候选锚点框的数量相匹配。4.根据权利要求2所述的方法,其中,所述目标置信度包括每个候选锚点框为目标锚点框的第一概率和非目标锚点框的第二概率,所述基于所述目标置信度,从多个候选锚点框中确定目标锚点框包括:确定每个所述候选锚点框的所述第一概率和第二概率的差值;基于所述差值,从所述多个候选锚点框中确定目标锚点框。5.根据权利要求1~4任一项所述的方法,其中,所述缩放后的图像数据的大小为k
×
k,所述候选锚点框的数量为n
×
n,大小为m
×
m,步长为s,满足k=m+(n

1)
×
s,其中,k、m、n、s为整数,且k∈[48,96],n∈[7,19],m∈[12,48],s∈[4,12]。6....

【专利技术属性】
技术研发人员:罗伯特
申请(专利权)人:北京澎思科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1