System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种点追踪方法、装置、电子设备和存储介质制造方法及图纸_技高网

一种点追踪方法、装置、电子设备和存储介质制造方法及图纸

技术编号:40781329 阅读:4 留言:0更新日期:2024-03-25 20:25
本发明专利技术公开了一种点追踪方法、装置、电子设备和存储介质。其中,该方法包括:基于待追踪点的当前位置信息确定待追踪点在当前视频帧片段中对应的初始特征轨迹和初始位置轨迹;确定待追踪点在当前视频帧片段中对应的时空依赖特征;基于预设自适应滑动窗口策略、时空依赖特征以及预设迭代次数对初始特征轨迹和初始位置轨迹进行迭代更新,生成当前视频帧片段对应的目标特征轨迹和目标位置轨迹;通过在视频帧序列中依次确定待追踪点对应每个视频帧片段的目标位置轨迹,进而确定出待追踪点对应视频帧序列的最终位置轨迹。通过提取待追踪点的时空依赖特征以及采用预设自适应滑动窗口策略,有效提升了在目标遮挡情况下的点追踪精度和鲁棒性。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种点追踪方法、装置、电子设备和存储介质


技术介绍

1、在计算机视觉领域,点追踪是一项关键任务,用于在视频序列中跟踪物体、特定点或特征的位置随时间的变化。这项技术在多个应用中都具有重要意义,包括行为识别、未来行为预测、意图推断和机器人导航等。此外,它还解决了在真实世界场景中长期运动估计的挑战,这对于视频监控、行为分析和视频编辑等领域也具有巨大潜力。

2、现有的点追踪方法尚存在一些不足之处:例如基于光流的点追踪方法,基于特征匹配的点追踪方法等等,上述点追踪方法通常是独立地跟踪点的运动情况,并没有考虑到多点多帧之间的相互关系,导致点轨迹追踪的精度不高;此外,上述点追踪方法在处理遮挡等复杂场景时的鲁棒性较低。


技术实现思路

1、本专利技术提供了一种点追踪方法、装置、电子设备和存储介质,以解决现有点追踪方法存在的追踪精度不高,尤其是在遮挡场景下的追踪鲁棒性较低的问题。

2、根据本专利技术的一方面,提供了一种点追踪方法,该方法包括:

3、基于待追踪点的当前位置信息确定待追踪点在当前视频帧片段中对应的初始特征轨迹和初始位置轨迹;

4、确定待追踪点在当前视频帧片段中对应的时空依赖特征;

5、基于预设自适应滑动窗口策略、时空依赖特征以及预设迭代次数对初始特征轨迹和初始位置轨迹进行迭代更新,生成当前视频帧片段对应的目标特征轨迹和目标位置轨迹;其中,预设自适应滑动窗口策略用于根据目标特征轨迹对当前视频帧片段对应的预设窗口大小进行调整;

6、基于目标位置轨迹确定待追踪点在当前视频帧片段中最后一帧图像的目标位置信息,并将目标位置信息作为待追踪点的当前位置信息,并返回基于待追踪点的当前位置信息确定待追踪点在当前视频帧片段中对应的初始特征轨迹和初始位置轨迹的步骤,直至确定出待追踪点对应视频帧序列的最终位置轨迹。

7、根据本专利技术的另一方面,提供了一种点追踪装置,该装置包括:

8、轨迹初始化模块,用于基于待追踪点的当前位置信息确定待追踪点在当前视频帧片段中对应的初始特征轨迹和初始位置轨迹;

9、特征确定模块,用于确定待追踪点在当前视频帧片段中对应的时空依赖特征;

10、目标轨迹确定模块,用于基于预设自适应滑动窗口策略、时空依赖特征以及预设迭代次数对初始特征轨迹和初始位置轨迹进行迭代更新,生成当前视频帧片段对应的目标特征轨迹和目标位置轨迹;其中,预设自适应滑动窗口策略用于根据目标特征轨迹对当前视频帧片段对应的预设窗口大小进行调整;

11、最终轨迹确定模块,用于基于目标位置轨迹确定待追踪点在当前视频帧片段中最后一帧图像的目标位置信息,并将目标位置信息作为待追踪点的当前位置信息,并返回基于待追踪点的当前位置信息确定待追踪点在当前视频帧片段中对应的初始特征轨迹和初始位置轨迹的步骤,直至确定出待追踪点对应视频帧序列的最终位置轨迹。

12、根据本专利技术的另一方面,提供了一种电子设备,所述电子设备包括:

13、至少一个处理器;以及

14、与所述至少一个处理器通信连接的存储器;其中,

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本专利技术任一实施例所述的点追踪方法。

16、根据本专利技术的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的点追踪方法。

17、本专利技术实施例的技术方案,通过基于待追踪点的当前位置信息确定待追踪点在当前视频帧片段中对应的初始特征轨迹和初始位置轨迹;确定待追踪点在当前视频帧片段中对应的时空依赖特征;基于预设自适应滑动窗口策略、时空依赖特征以及预设迭代次数对初始特征轨迹和初始位置轨迹进行迭代更新,生成当前视频帧片段对应的目标特征轨迹和目标位置轨迹;其中,预设自适应滑动窗口策略用于根据目标特征轨迹对当前视频帧片段对应的预设窗口大小进行调整;基于目标位置轨迹确定待追踪点在当前视频帧片段中最后一帧图像的目标位置信息,并将目标位置信息作为待追踪点的当前位置信息,并返回基于待追踪点的当前位置信息确定待追踪点在当前视频帧片段中对应的初始特征轨迹和初始位置轨迹的步骤,直至确定出待追踪点对应视频帧序列的最终位置轨迹。本专利技术实施例通过提取待追踪点在当前视频帧片段中对应的时空依赖特征,实现待追踪点之间的信息交流以及捕获跨点之间的复杂依赖关系,有效提升了在目标遮挡情况下的点追踪精度和效率;同时,在轨迹的迭代更新过程中,采用了预设自适应滑动窗口策略,能够动态调整视频帧片段的滑动窗口大小,使得本技术方案可有效应对长时间遮挡情景,进一步提高了点轨迹追踪的鲁棒性和性能。

18、应当理解,本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征,也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种点追踪方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于待追踪点的当前位置信息确定所述待追踪点在当前视频帧片段中对应的初始特征轨迹和初始位置轨迹,包括:

3.根据权利要求1所述的方法,其特征在于,所述确定所述待追踪点在所述当前视频帧片段中对应的时空依赖特征,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于预设自适应滑动窗口策略、所述时空依赖特征以及预设迭代次数对所述初始特征轨迹和所述初始位置轨迹进行迭代更新,生成所述当前视频帧片段对应的目标特征轨迹和目标位置轨迹,包括:

5.根据权利要求1所述的方法,其特征在于,所述基于所述目标位置轨迹确定所述待追踪点在所述当前视频帧片段中最后一帧图像的目标位置信息,并将目标位置信息作为所述待追踪点的当前位置信息,并返回所述基于待追踪点的当前位置信息确定所述待追踪点在当前视频帧片段中对应的初始特征轨迹和初始位置轨迹的步骤,直至确定出所述待追踪点对应视频帧序列的最终位置轨迹,包括:

6.根据权利要求2所述的方法,其特征在于,在所述点追踪模型的训练过程中,采用时间对比损失机制优化所述特征轨迹,其中,所述时间对比损失机制基于正样本对和负样本对构建实现。

7.根据权利要求4所述的方法,其特征在于,所述滑动窗口更新公式表示为:W'=W+2n;其中,W表示所述预设窗口大小;W'表示所述新的预设窗口大小;n表示针对同一视频帧片段的特征轨迹更新过程中,所述位置遮挡状态满足所述预设窗口更新条件的次数。

8.一种点追踪装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的点追踪方法。

...

【技术特征摘要】

1.一种点追踪方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于待追踪点的当前位置信息确定所述待追踪点在当前视频帧片段中对应的初始特征轨迹和初始位置轨迹,包括:

3.根据权利要求1所述的方法,其特征在于,所述确定所述待追踪点在所述当前视频帧片段中对应的时空依赖特征,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于预设自适应滑动窗口策略、所述时空依赖特征以及预设迭代次数对所述初始特征轨迹和所述初始位置轨迹进行迭代更新,生成所述当前视频帧片段对应的目标特征轨迹和目标位置轨迹,包括:

5.根据权利要求1所述的方法,其特征在于,所述基于所述目标位置轨迹确定所述待追踪点在所述当前视频帧片段中最后一帧图像的目标位置信息,并将目标位置信息作为所述待追踪点的当前位置信息,并返回所述基于待追踪点的当前位置信息确定所述待追踪点在当前视频帧片段中对...

【专利技术属性】
技术研发人员:胡枭玮邢正昊王天宇
申请(专利权)人:上海人工智能创新中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1