【技术实现步骤摘要】
本专利技术属于多目标跟踪领域，具体涉及一种基于运动与外观特征自适应融合的多目标关联与跟踪方法。
技术介绍
1、多目标跟踪是计算机视觉领域的一个关键技术，广泛应用于视频追踪、人机交互、交通管控、行为识别等多方面。近几年，目标遮挡作为多目标跟踪领域的研究热点，已被深入展开研究，通常采用提高目标检测精度的方式缓解遮挡带来的影响。公开号为cn114049383a的专利公开了一种多目标跟踪方法、设备及可读存储介质，通过找回低得分检测框，利用目标检测框的有效信息来增加跟踪器对遮挡的鲁棒性。公开号为cn113506317a的专利公开了一种基于mask r-cnn和表观特征融合的多目标跟踪方法，利用空间注意力加强跟踪模型的特征区分度，有效地提高跟踪过程中目标身份信息稳定的概率。公开号为cn111639551a的专利公开了基于孪生网络和长短期线索的在线多目标跟踪方法和系统，完善多目标跟踪任务中表观特征融合。公开号为cn113379793a的专利公开了基于孪生网络结构和注意力机制的在线多目标跟踪方法，提出一种基于注意力机制的结构相似度计算方法，克服检测遗漏和遮挡问题。但是上述专利主要通过提高目标特征提取能力来解决遮挡引起的跟踪失败问题，并未考虑基于遮挡的时空特征变换机理对多目标关联与跟踪的促进。
技术实现思路
1、本专利技术的目的在于提供一种基于运动与外观特征自适应融合的多目标关联与跟踪方法，针对目标受遮挡或者短暂消失情形下呈现特征不稳定问题，基于目标遮挡状态识别对跟踪目标的时空特征自适应融合，生成能
2、本专利技术所采用的技术方案是：
3、本专利技术提供了一种基于运动与外观特征自适应融合的多目标关联与跟踪方法，包括以下步骤：
4、s1、通过时空特征聚合网络提取连续图像序列中目标外观特征向量和运动特征向量，并聚合生成多序列帧时空尺度特征图；
5、s2、对当前图像帧中的目标进行关键点检测，根据目标在连续帧之间的关键点数量变化，识别目标被遮挡状态；
6、s3、根据目标被遮挡状态确定运动特征向量和外观特征向量对目标特征表示的贡献度，自适应调整两者的权重，并进行特征融合，生成准确的特征描述向量；
7、s4、根据各个目标生成的准确的特征描述向量进行多帧图像序列间的数据关联，实现多目标跟踪。
8、接上述技术方案，步骤s1中，时空特征聚合网络为efficientvit与convlstm的组合网络模型，具体通过efficientvit对连续图像帧上的目标进行外观特征提取，再通过convlstm提取目标在连续图像帧上的运动特征，并聚合生成多序列帧时空尺度特征图。
9、接上述技术方案，识别目标被遮挡状态，分为四种：无遮挡、进入遮挡、离开遮挡、完全遮挡。
10、接上述技术方案，步骤s2中，关键点检测是指构建目标关键点结构，利用直接回归方法对目标区域进行关键点的检测。
11、接上述技术方案，多目标跟踪时，具体通过连续图像帧中的特征描述向量的相似度计算，实现多目标关联与跟踪。
12、接上述技术方案，具体使用马氏距离和余弦距离分别计算运动特征向量相似度和外观特征向量相似度。
13、接上述技术方案，假设目标未发生遮挡的情况下，将前n帧关键点数量的平均值u作为遮挡的检测标准，利用当前帧检测到的关键点数量f与平均值u的比值衡量遮挡情况：
14、当d/u>50％时，表示当前帧无遮挡，此时u根据当前帧中的关键点数量d进行更新；
15、当0<d/u≤50％时，若dt+1<dt，目标处于进入遮挡状态，若dt+1>dt时，目标处于离开遮挡状态；
16、当d/u为0时，目标处于完全遮挡状态。
17、本专利技术还提供一种基于运动与外观特征自适应融合的多目标关联与跟踪系统，包括以下步骤：
18、时空特征聚合模块，用于通过时空特征聚合网络提取连续图像序列中目标的时空特征，包括外观特征向量和运动特征向量，根据各自的初始权重进行特征融合；
19、目标遮挡状态识别模块，用于对当前图像帧中的目标进行关键点检测，根据目标在连续帧之间的关键点数量变化，识别目标被遮挡状态；
20、自适应特征聚合模块，用于根据目标被遮挡状态确定运动特征向量和外观特征向量对目标特征表示的贡献度，自适应调整两者的权重，并进一步通过时空特征聚合网络进行特征融合，生成准确的特征描述向量：
21、多目标关联与跟踪模块，用于根据各个目标生成的准确的特征描述向量进行多帧图像序列间的数据关联，实现多目标跟踪。
22、本专利技术还提供一种计算机存储介质，其内存储有可被处理器执行的计算机程序，该计算机程序执行上述技术方案所述的基于运动与外观特征自适应融合的多目标关联与跟踪方法。
23、本专利技术产生的有益效果是：本专利技术通过时空特征聚合网络提取连续图像序列中目标外观特征向量和运动特征向量，并聚合生成多序列帧时空尺度特征图，可增强对目标的特征描述能力，解决目标受短时遮挡或者消失情形下呈现的特征不稳定问题。进一步通过增加遮挡判断功能，根据目标关键点随时间变化预测受遮挡状态，确定目标运动与外观信息对目标特征向量的贡献度，自适应调整两者融合时的权重，从而实现对目标当前状态的精准描述，解决由于遮挡导致的跟踪失败问题，提升多目标跟踪的准确度。
本文档来自技高网...【技术保护点】
1.一种基于运动与外观特征自适应融合的多目标关联与跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于运动与外观特征自适应融合的多目标关联与跟踪方法，其特征在于，步骤S1中，时空特征聚合网络为EfficientVIT与ConvLSTM的组合网络模型，具体通过EfficientVIT对连续图像帧上的目标进行外观特征提取，再通过ConvLSTM提取目标在连续图像帧上的运动特征，并聚合生成多序列帧时空尺度特征图。
3.根据权利要求1所述的基于运动与外观特征自适应融合的多目标关联与跟踪方法，其特征在于，识别目标被遮挡状态，分为四种：无遮挡、进入遮挡、离开遮挡、完全遮挡。
4.根据权利要求1所述的基于运动与外观特征自适应融合的多目标关联与跟踪方法，其特征在于，步骤S2中，关键点检测是指构建目标关键点结构，利用直接回归方法对目标区域进行关键点的检测。
5.根据权利要求1所述的基于运动与外观特征自适应融合的多目标关联与跟踪方法，其特征在于，多目标跟踪时，具体通过连续图像帧中的特征描述向量的相似度计算，实现多目标关联与跟踪。
<...【技术特征摘要】
1.一种基于运动与外观特征自适应融合的多目标关联与跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于运动与外观特征自适应融合的多目标关联与跟踪方法，其特征在于，步骤s1中，时空特征聚合网络为efficientvit与convlstm的组合网络模型，具体通过efficientvit对连续图像帧上的目标进行外观特征提取，再通过convlstm提取目标在连续图像帧上的运动特征，并聚合生成多序列帧时空尺度特征图。
3.根据权利要求1所述的基于运动与外观特征自适应融合的多目标关联与跟踪方法，其特征在于，识别目标被遮挡状态，分为四种：无遮挡、进入遮挡、离开遮挡、完全遮挡。
4.根据权利要求1所述的基于运动与外观特征自适应融合的多目标关联与跟踪方法，其特征在于，步骤s2中，关键点检测是指构建目标关键点结构，利用直接回归方法对目标区域进行关键点的检测。
5.根据权利要求1所述的基于运...
【专利技术属性】
技术研发人员：元海文，王源，肖长诗，程莉，甘浪雄，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。