一种视频多目标跟踪与分割系统和方法技术方案

本发明专利技术公开了一种视频多目标跟踪与分割系统和方法。该系统包括：视频获取模块，用于获取待处理视频；特征提取模块，与视频获取模块连接，用于提取多个视频帧的特征；目标框检测分支，与特征提取模块连接，用于生成每个视频帧包含的目标的目标框、类别和置信度；语义分割分支，与特征提取模块连接，用于生成每个视频帧包含的目标的分割掩膜；时空嵌入分支，与特征提取模块连接，用于对所述多个视频帧中的每个目标的分布进行估计。本发明专利技术通过时空信息可以学习到更具有区分性的嵌入信息，提高系统的跟踪性。的跟踪性。的跟踪性。

【技术实现步骤摘要】
一种视频多目标跟踪与分割系统和方法


[0001]本专利技术实施例涉及视频多目标跟踪与分割
，尤其涉及一种视频多目标跟踪与分割系统和方法。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]多目标跟踪与分割（Multi
‑
Object Tracking and Segment，MOST）主要任务是根据每一帧图像中目标的检测结果，匹配已有的目标轨迹和分割掩膜；对于新出现的目标，需要生成新的目标分割掩膜；对于已经离开摄像机视野的目标，需要终止轨迹的跟踪。这一过程中，检测结果与已有的目标轨迹的匹配可以看作为目标的重识别，例如，当跟踪多个行人时，把已有的轨迹的行人图像集合看作为图像库（gallery），而检测图像看作为查询图像（query），检测结果与已有的目标轨迹的匹配关联过程可以看作在图像库中检索查询图像的过程。由于实例掩模能够精确地描绘出可见物体的边界和分离的邻接关系，多目标跟踪与分割不仅提供像素级的分析，更重要的是鼓励学习比基于边界框（bounding 本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频多目标跟踪与分割系统，其特征在于，包括：视频获取模块，用于获取待处理视频，所述待处理视频由多个视频帧组成，所述多个视频帧中包含多个目标；特征提取模块，与所述视频获取模块连接，用于使用基于3D卷积扩展的多尺度信息整合模块，提取所述多个视频帧的特征；目标框检测分支，与所述特征提取模块连接，用于基于所述多个视频帧的特征，生成每个视频帧包含的目标的目标框、类别和置信度；语义分割分支，与所述特征提取模块连接，用于基于所述多个视频帧的特征，生成每个视频帧包含的目标的分割掩膜；时空嵌入分支，与所述特征提取模块连接，用于基于所述多个视频帧的特征，对所述多个视频帧中的每个目标的分布进行估计，得到每个目标的轨迹分布似然值。2.如权利要求1所述的视频多目标跟踪与分割系统，其特征在于，所述特征提取模块包括金字塔结构的特征提取器，所述特征提取器用于：基于每个视频帧的4个相邻的视频帧，得到所述每个视频帧对应的4个不同尺度的特征图F1、F2、F3和F4。3.如权利要求2所述的视频多目标跟踪与分割系统，其特征在于，所述特征提取器包括：自底向上路径，与所述特征提取模块连接，使用残差网络ResNet50模型作为骨干网络，包括5个串联的卷积块TU1、TU2、TU3、TU4和TU5，其中，每个相邻的视频帧输入TU1后，依次通过TU2、TU3、TU4和TU5，TU1、TU2、TU3、TU4和TU5分别输出所述每个相邻的视频帧的不同尺度的特征Feature1、Feature2、Feature3、Feature4和Feature5；自顶向下路径，与所述自底向上路径连接，包括4个卷积模块TD4、TD3、TD2和TD1，其中，Feature5通过1
×
1卷积后作为TD4的输入；将TD
i
的输出上采样至Feature
i
大小，与通过1
×
1卷积的Feature
i
进行跳跃连接，得到Fe
i
，同时作为TD
i
‑1的输入，其中，i为正整数，且2≤i≤4；通道变换模块，用于将所述4个相邻的视频帧的Fe
j
进行通道数叠加，得到Fe
j＇
，其中，Fe
j
的通道数为N
j
，Fe
j＇
的通道数为4N
j
；使用两个串联的3D卷积对Fe
j＇
进行上下文信息获取，得到F
j
，其中，F
j
的通道数为N
j
，j为正整数，且1≤j≤4。4.如权利要求3所述的...

【专利技术属性】
技术研发人员：房体品，秦者云，卢宪凯，丁冬睿，
申请(专利权)人：广东众聚人工智能科技有限公司，
类型：发明
国别省市：