System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种目标跟踪方法技术_技高网

一种目标跟踪方法技术

技术编号:40093418 阅读:7 留言:0更新日期:2024-01-23 16:34
本发明专利技术提供一种目标跟踪方法,包括:获取跟踪视频,并将所述跟踪视频拆分为帧图像;对每一帧图像中的目标进行修正标注;对基于DETR模型的目标检测模型进行训练;利用LoRA模块对训练后的目标检测模型进行微调;结合卡尔曼滤波和微调后的目标检测模型对跟踪视频进行目标跟踪。通过对帧图像中的目标进行修正标注,使得目标检测模型能够更好的对目标进行检测,从而提高目标跟踪效果;通过基于DETR的模型对目标检测模型进行训练,流程更加简洁;通过LoRA模块对目标检测模型进行微调,引入目标运动方向以缓解目标ID交换的问题。解决了现有目标跟踪方法跟踪效率低下的问题。

【技术实现步骤摘要】

本专利技术涉及目标识别,特别涉及一种目标跟踪方法


技术介绍

1、目标跟踪是指在视频或图像序列中自动识别和跟踪特定目标的过程。目标可以是人、车辆、动物或其他感兴趣的物体。目标跟踪的目的是在视频中准确地跟踪目标的位置、大小、形状和运动,并在目标发生变化或遮挡时进行适应性调整。目标跟踪通常包括以下步骤:目标检测、目标跟踪、目标更新、目标评估,目标跟踪在许多应用领域中都有广泛的应用,包括视频监控、智能交通系统、无人驾驶、增强现实等,它可以帮助实时监测和分析目标的行为、提供安全警报、改善交通流量管理等。例如目标跟踪可以用于无人驾驶车辆中,以识别和跟踪其他车辆、行人或障碍物;又如目标跟踪可以用于监控摄像头中的人员、车辆或其他物体,以便实时检测异常行为、提供安全警报或帮助调查犯罪。

2、行人跟踪是目标跟踪中的一个重要应用领域,它主要用于监控、安全和智能交通系统等方面。行人跟踪技术的发展和应用,可以提高城市的安全性、交通效率和人们的生活质量。随着计算机视觉和深度学习等技术的进步,行人跟踪的准确性和实时性将不断提高,为各个领域带来更多的应用机会。

3、然而,现有的行人跟踪算法会出现对行人检测不全的情况,即当行人有遮挡或者交叉重叠或时,会导致前后帧的目标检测框交并比变小,从而出现id丢失;另外,现有的行人跟踪算法没有考虑行人运动的方向信息,当两个行人从不同方向经过并重叠时,容易出现id交换问题,即在目标跟踪过程中,由于目标相似或遮挡,而导致目标id发生错误交换;此外,现有的行人跟踪算法通常基于特征匹配,这需要提取前后帧目标行人的特征,用于相似度的计算,而特征提取的过程会在一定程度上增加时间成本,导致目标跟踪的即时性较差。


技术实现思路

1、本专利技术的目的在于提供一种目标跟踪方法,以至少解决现有目标跟踪方法跟踪效率低下的问题。

2、为解决上述技术问题,本专利技术提供一种目标跟踪方法,包括:

3、获取跟踪视频,并将所述跟踪视频拆分为帧图像;

4、对每一帧图像中的目标进行修正标注;

5、对基于detr模型的目标检测模型进行训练;

6、利用lora模块对训练后的目标检测模型进行微调;

7、结合卡尔曼滤波和微调后的目标检测模型对跟踪视频进行目标跟踪。

8、可选的,在所述的目标跟踪方法中,所述对每一帧图像中的目标进行修正标注的方法包括:

9、对于完整可见的目标,将目标整体进行标注;

10、对于部分遮挡的目标,将目标的可见部分和遮挡部分作为整体进行标注。

11、可选的,在所述的目标跟踪方法中,所述对每一帧图像中的目标进行修正标注的方法还包括:

12、对目标的运动方向进行标注,其中运动方向包括八个不同方向。

13、可选的,在所述的目标跟踪方法中,所述对基于detr模型的目标检测模型进行训练的方法包括:

14、收集训练图像,并对训练图像中的目标进行修正标注;

15、将训练图像划分为训练集和测试集;

16、利用训练集训练目标检测模型;

17、利用测试集测试训练后的目标检测模型的性能。

18、可选的,在所述的目标跟踪方法中,所述利用训练集训练目标检测模型的方法包括:

19、构建目标检测模型,所述目标检测模型包括依次设置的卷积神经网络模型和transformer模型;

20、利用卷积神经网络模型提取帧图像的特征信息;

21、将卷积神经网络模型提取的特征信息和位置编码模块获取的位置编码输入至transformer模型中;

22、利用transformer模型对特征信息和位置编码进行编码和解码,并通过前馈神经网络得到模型输出。

23、可选的,在所述的目标跟踪方法中,所述卷积神经网络模型采用resnet系列。

24、可选的,在所述的目标跟踪方法中,所述利用transformer模型对特征信息和位置编码进行编码和解码,并通过前馈神经网络得到模型输出的方法包括:

25、设置损失函数:

26、l=lclass+lbbox+ldirection

27、其中,lclass表示类别损失,lbbox表示检测框损失,lairection表示方向损失;

28、通过编码器对特征信息和位置编码进行编码以得到特征向量;

29、通过解码器对特征向量进行解码以得到解码输出;

30、将解码输出输入前馈神经网络以得到模型输出。

31、可选的,在所述的目标跟踪方法中,所述利用lora模块对训练后的目标检测模型进行微调的方法包括:

32、在transformer模型的解码器的attention部分引入lora模块,所述lora模块由两个全连接层构成;

33、所述lora模块作用于attention部分的q模块和v模块;

34、冻结transformer模型的原始模型权重,训练时只更新lora模块的参数:

35、h=wo*x+δw*x=wo*x+ba*x

36、其中,h表示模型输出,wo表示原始模型权重,x表示输入,ba分别构成lora模块的两个全连接层的权重。

37、可选的,在所述的目标跟踪方法中,所述结合卡尔曼滤波和微调后的目标检测模型对跟踪视频进行目标跟踪的方法包括:

38、利用微调后的目标检测模型得到第1帧帧图像中目标的检测框;

39、将检测框初始化为跟踪框;

40、将跟踪框进行卡尔曼滤波预测操作,以得到第1帧帧图像的预测跟踪框;

41、利用微调后的目标检测模型得到第t帧帧图像中目标的检测框;

42、将第t-1帧帧图像的预测跟踪框和第t帧帧图像的检测框结合后进行卡尔曼滤波更新操作,以得到更新跟踪框;

43、将更新跟踪框进行卡尔曼滤波预测操作,以得到第t帧帧图像的预测跟踪框;

44、其中,t=2,3,……n,n为跟踪视频拆分为帧图像的总帧数。

45、可选的,在所述的目标跟踪方法中,所述卡尔曼滤波的公式表示为:

46、tracki=tracki-1*(1-ki)+ki*detectioni

47、其中,tracki表示当前时刻的跟踪信息,tracki-1表示上一时刻的跟踪信息,ki表示卡尔曼增益,detectioni表示当前时刻的检测信息。

48、本专利技术提供的目标跟踪方法,包括:获取跟踪视频,并将所述跟踪视频拆分为帧图像;对每一帧图像中的目标进行修正标注;对基于detr模型的目标检测模型进行训练;利用lora模块对训练后的目标检测模型进行微调;结合卡尔曼滤波和微调后的目标检测模型对跟踪视频进行目标跟踪。通过对帧图像中的目标进行修正标注,使得目标检测模型能够更好的对目标进行检测,从而提高目标跟踪效果;通过基于detr的模型对本文档来自技高网...

【技术保护点】

1.一种目标跟踪方法,其特征在于,包括:

2.根据权利要求1所述的目标跟踪方法,其特征在于,所述对每一帧图像中的目标进行修正标注的方法包括:

3.根据权利要求2所述的目标跟踪方法,其特征在于,所述对每一帧图像中的目标进行修正标注的方法还包括:

4.根据权利要求1所述的目标跟踪方法,其特征在于,所述对基于DETR模型的目标检测模型进行训练的方法包括:

5.根据权利要求4所述的目标跟踪方法,其特征在于,所述利用训练集训练目标检测模型的方法包括:

6.根据权利要求5所述的目标跟踪方法,其特征在于,所述卷积神经网络模型采用resnet系列。

7.根据权利要求5所述的目标跟踪方法,其特征在于,所述利用Transformer模型对特征信息和位置编码进行编码和解码,并通过前馈神经网络得到模型输出的方法包括:

8.根据权利要求5所述的目标跟踪方法,其特征在于,所述利用LoRA模块对训练后的目标检测模型进行微调的方法包括:

9.根据权利要求1所述的目标跟踪方法,其特征在于,所述结合卡尔曼滤波和微调后的目标检测模型对跟踪视频进行目标跟踪的方法包括:

10.根据权利要求9所述的目标跟踪方法,其特征在于,所述卡尔曼滤波的公式表示为:

...

【技术特征摘要】

1.一种目标跟踪方法,其特征在于,包括:

2.根据权利要求1所述的目标跟踪方法,其特征在于,所述对每一帧图像中的目标进行修正标注的方法包括:

3.根据权利要求2所述的目标跟踪方法,其特征在于,所述对每一帧图像中的目标进行修正标注的方法还包括:

4.根据权利要求1所述的目标跟踪方法,其特征在于,所述对基于detr模型的目标检测模型进行训练的方法包括:

5.根据权利要求4所述的目标跟踪方法,其特征在于,所述利用训练集训练目标检测模型的方法包括:

6.根据权利要求5所述的目标跟踪方法,其特征在于,所述卷积神...

【专利技术属性】
技术研发人员:曾杰川林栋刘汉亮邱述洪童荪
申请(专利权)人:联通广东产业互联网有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1