一种基于3D提示信息的彩色和深度图像单目标跟踪算法制造技术

本发明专利技术属于深度学习、多模态目标跟踪和提示学习领域，涉及动态图卷积网络、K近邻聚类算法和单目标跟踪算法OSTrack。本发明专利技术提出了一种基于3D提示信息的彩色和深度图像单目标跟踪算法，旨在提升算法在各种场景中的泛化能力，同时提高其在极端条件下的性能。该方法可部署在自动驾驶场景中的多种设备上，为视觉定位导航提供目标信息。本发明专利技术的优势在于：通过使用3D提示信息赋予2D预训练模型对3D环境的感知能力，提高了跟踪算法对目标位置的计算精度，并降低了干扰物在跟踪过程中的影响。同时，这种方法降低了网络对训练数据量的需求，并提升了跟踪算法的精度。

【技术实现步骤摘要】

本专利技术属于深度学习、多模态目标跟踪、提示学习领域，涉及动态图卷积网络、k近邻聚类算法、单目标跟踪算法ostrack，具体涉及一种基于3d提示信息的彩色和深度图像单目标跟踪算法。

技术介绍

1、彩色图像的单目标跟踪任务作为计算机视觉领域的基础组成部分，在虚拟现实、增强现实和自动驾驶等多个领域中都有应用。近些年来，在该领域的发展主要得益于transformer结构以及多个大规模数据集的提出。基于transformer结构的单目标跟踪算法，如mixformer、neighbortrack、ostrack等，已经超越了基于卷积结构的算法。这些算法取得的成就不仅得益于transformer结构，同时也得益于多个大规模rgb跟踪数据集，如lasot、got-10k和tracknet。

2、虽然利用彩色图像的单目标跟踪算法取得了显著的成果，但是这些算法在面临一些挑战性场景，如极端光照变化、背景杂乱和运动模糊等，仍然会出现性能不够的问题。而多模态信息，如深度图，可以帮助算法更好地定位和跟踪目标。然而最近的彩色和深度图像跟踪算法，如dal、det和vipt等本文档来自技高网...

【技术保护点】

1.一种基于3D提示信息的彩色和深度图像单目标跟踪算法，其特征在于，步骤如下：

【技术特征摘要】

1.一种基于3d提示信息的彩色和深度图像...

【专利技术属性】
技术研发人员：卢湖川，李柏岑，王立君，王一帆，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：