视频多目标检测关联与轨迹生成方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种视频多目标检测关联与轨迹生成方法、装置及电子设备，可以应用于计算机视觉技术领域以及图像处理技术领域。该方法包括：将至少一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视频分别划分为第一预设时长的多个视频片段；利用空间位置重叠策略对多个视频片段进行处理，得到与待检测目标对应的多个第一轨迹；根据多个第一轨迹，得到多个邻接矩阵；根据多个邻接矩阵，生成与待检测目标对应的第二轨迹。待检测目标对应的第二轨迹。待检测目标对应的第二轨迹。

【技术实现步骤摘要】
视频多目标检测关联与轨迹生成方法、装置及电子设备


[0001]本专利技术涉及计算机视觉
以及图像处理
，尤其涉及一种视频多目标检测关联与轨迹生成方法、装置及电子设备。

技术介绍

[0002]相关技术中，利用固定视角的采集装置对目标场景进行采集，得到单一视角的视频。然后对单一视角的视频进行处理，得到与单一视角的视频包括的多个目标分别对应的目标轨迹。
[0003]在实现本专利技术构思的过程中，专利技术人发现相关技术中至少存在如下问题：在目标场景较复杂的情况下，根据单一视角的视频得到目标轨迹的准确度低。

技术实现思路

[0004]鉴于上述问题，本专利技术提供了一种视频多目标检测关联与轨迹生成方法、装置及电子设备。
[0005]根据本专利技术的第一个方面，提供了一种视频多目标检测关联与轨迹生成方法，包括：将至少一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视频分别划分为第一预设时长的多个视频片段，其中，上述顶视角视频和上述水平视角视频是对同一目标场景进行同步采集得到的，上述目标场景包括至少一个待检测目标；利用空间位置重叠策略对上述多个视频片段进行处理，得到与上述待检测目标对应的多个第一轨迹，其中，上述第一轨迹表征第一预设时长内单一视角下每一帧图像中上述待检测目标的位置变化；根据上述多个第一轨迹，得到多个邻接矩阵，其中，上述邻接矩阵包括上述视频片段在同一相邻时段下的上述第一轨迹之间的连接关系；根据多个上述邻接矩阵，生成与上述待检测目标对应的第二轨迹，其中，上述第二轨迹表征不同视角下第二预设时长内上述待检测目标的位置变化，其中，上述第二预设时长大于等于上述第一预设时长，上述第二预设时长为上述目标场景的视频采集时长。
[0006]根据本专利技术的实施例，上述根据上述多个第一轨迹，得到多个邻接矩阵包括：针对上述多个视频片段中的每个视频片段在同一相邻时段下的第一轨迹，计算任意两个上述第一轨迹之间的轨迹相似度；根据上述轨迹相似度，得到权重矩阵，其中，上述权重矩阵包括上述视频片段在同一相邻时段下的上述第一轨迹之间的相似度；根据上述权重矩阵构建增广拉格朗日函数；利用交替方向乘子法对上述增广拉格朗日函数进行处理，得到上述邻接矩阵。
[0007]根据本专利技术的实施例，利用交替方向乘子法对上述增广拉格朗日函数进行处理，得到上述邻接矩阵包括：
利用交替方向乘子法对上述增广拉格朗日函数进行处理，得到与上述邻接矩阵相关的第一函数、与辅助变量相关的第二函数和与拉格朗日乘数相关的第三函数；基于上述第一函数，根据上述权重矩阵、第k轮的拉格朗日乘数和第k轮的辅助变量得到第k+1轮的邻接矩阵，其中，上述邻接矩阵满足对称约束条件，其中，k为大于等于1的整数；在确定上述第k+1轮的邻接矩阵不满足收敛条件的情况下，基于上述第二函数，根据第k轮的邻接矩阵和第k轮的拉格朗日乘数，得到第k+1轮的辅助变量；基于上述第三函数，根据第k轮的拉格朗日乘数、第k轮的邻接矩阵和第k轮的辅助变量，得到第k+1轮的拉格朗日乘数；根据上述第k+1轮的辅助变量和上述第k+1轮的拉格朗日乘数，返回基于上述第一函数计算邻接矩阵的操作，并递增k；在确定上述第k+1轮的邻接矩阵满足收敛条件的情况下，得到上述邻接矩阵。
[0008]根据本专利技术的实施例，上述轨迹相似度包括跨时段形态相似度、跨视角形态相似度、跨时段运动位置变化相似度和多视角轨迹相似度。
[0009]根据本专利技术的实施例，上述针对上述多个视频片段中的每个视频片段在同一相邻时段下的上述第一轨迹，计算任意两个上述第一轨迹之间的轨迹相似度包括：针对水平视角下的第一轨迹，对上述水平视角下的第一轨迹进行特征提取，得到与上述待检测目标对应的形态特征；根据上述形态特征，得到与上述水平视角下的第一轨迹对应的跨时段形态相似度和跨视角形态相似度；利用恒速运动模型对同一视角下的相邻时段的第一轨迹进行处理，得到跨时段运动位置变化相似度；利用基于空间位置分布的互补视角关联模型同时对同一时段下的任意一个顶视角下的第一轨迹和任意一个水平视角下的第一轨迹进行处理，得到与每一帧图像对应的目标关联结果；根据上述目标关联结果，得到上述顶视角下的第一轨迹和上述水平视角下的第一轨迹之间的多视角轨迹相似度。
[0010]根据本专利技术的实施例，上述根据上述形态特征，得到与上述水平视角下的第一轨迹对应的跨时段形态相似度和跨视角形态相似度包括：根据上述形态特征，计算同一水平视角下的相邻时段的第一轨迹之间的欧式距离，得到跨时段形态相似度；根据上述形态特征，针对所有水平视角下的同一时段的第一轨迹，计算任意两个水平视角下的第一轨迹之间的欧式距离，得到跨视角形态相似度。
[0011]根据本专利技术的实施例，上述权重矩阵为对称矩阵，上述根据上述轨迹相似度，得到权重矩阵包括：将上述权重矩阵中的对称轴上的元素设置为第一预设值；针对上述权重矩阵中的与同一时段下的任意两个水平视角的上述第一轨迹对应的第一元素，根据上述跨视角形态相似度对上述第一元素进行赋值；针对上述权重矩阵中的与同一时段下的任意一个顶视角下的第一轨迹和任意一
个水平视角下的第一轨迹对应的第二元素，根据上述多视角轨迹相似度对上述第二元素进行赋值；针对上述权重矩阵中的与同一水平视角下的相邻时段的上述第一轨迹对应的第三元素，根据上述跨时段形态相似度和跨时段运动位置变化相似度对上述第三元素进行赋值；针对上述权重矩阵中的与同一顶视角下的相邻时段的上述第一轨迹对应的第四元素，根据跨时段运动位置变化相似度对上述第四元素进行赋值。
[0012]根据本专利技术的实施例，上述利用空间位置重叠策略对上述多个视频片段进行处理，得到与上述待检测目标对应的多个第一轨迹包括：针对上述多个视频片段中的每个视频片段执行以下操作，得到与上述每个视频片段对应的第一轨迹：利用目标检测网络对上述每个视频片段进行目标检测，得到与上述待检测目标对应的多个目标框；基于空间位置重叠策略对上述多个目标框进行连接，得到上述与上述每个视频片段对应的第一轨迹。
[0013]本专利技术的第二方面提供了一种视频多目标检测关联与轨迹生成装置，包括：划分模块，用于将至少一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视频分别划分为第一预设时长的多个视频片段，其中，上述顶视角视频和上述水平视角视频是对同一目标场景进行同步采集得到的，上述目标场景包括至少一个待检测目标；第一得到模块，用于利用空间位置重叠策略对上述多个视频片段进行处理，得到与上述待检测目标对应的多个第一轨迹，其中，上述第一轨迹表征第一预设时长内单一视角下每一帧图像中上述待检测目标的位置变化；第二得到模块，用于根据上述多个第一轨迹，得到多个邻接矩阵，其中，上述邻接矩阵包括上述视频片段在同一相邻时段下的上述第一轨迹之间的连接关系；生成模块，用于根据多个上述邻接矩阵，生成与上述待检测目标对应的第二轨迹，其中，上述第二轨迹表征不同视角下第二预设时长内上述待检测目标的位置变化，其中，上述第二预设时长大于等于上述第一预设时长，上述第二预设时长为上述目标场景的视频采集时长。
[0014]本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频多目标检测关联与轨迹生成方法，其特征在于，所述方法包括：将至少一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视频分别划分为第一预设时长的多个视频片段，其中，所述顶视角视频和所述水平视角视频是对同一目标场景进行同步采集得到的，所述目标场景包括至少一个待检测目标；利用空间位置重叠策略对所述多个视频片段进行处理，得到与所述待检测目标对应的多个第一轨迹，其中，所述第一轨迹表征第一预设时长内单一视角下每一帧图像中所述待检测目标的位置变化；根据所述多个第一轨迹，得到多个邻接矩阵，其中，所述邻接矩阵包括所述视频片段在同一相邻时段下的所述第一轨迹之间的连接关系；根据多个所述邻接矩阵，生成与所述待检测目标对应的第二轨迹，其中，所述第二轨迹表征不同视角下第二预设时长内所述待检测目标的位置变化，其中，所述第二预设时长大于等于所述第一预设时长，所述第二预设时长为所述目标场景的视频采集时长。2.根据权利要求1所述的方法，其特征在于，所述根据所述多个第一轨迹，得到多个邻接矩阵包括：针对所述多个视频片段中的每个视频片段在同一相邻时段下的第一轨迹，计算任意两个所述第一轨迹之间的轨迹相似度；根据所述轨迹相似度，得到权重矩阵，其中，所述权重矩阵包括所述视频片段在同一相邻时段下的所述第一轨迹之间的相似度；根据所述权重矩阵构建增广拉格朗日函数；利用交替方向乘子法对所述增广拉格朗日函数进行处理，得到所述邻接矩阵。3.根据权利要求2所述的方法，其特征在于，利用交替方向乘子法对所述增广拉格朗日函数进行处理，得到所述邻接矩阵包括：利用交替方向乘子法对所述增广拉格朗日函数进行处理，得到与所述邻接矩阵相关的第一函数、与辅助变量相关的第二函数和与拉格朗日乘数相关的第三函数；基于所述第一函数，根据所述权重矩阵、第k轮的拉格朗日乘数和第k轮的辅助变量得到第k+1轮的邻接矩阵，其中，所述邻接矩阵满足对称约束条件，其中，k为大于等于1的整数；在确定所述第k+1轮的邻接矩阵不满足收敛条件的情况下，基于所述第二函数，根据第k轮的邻接矩阵和第k轮的拉格朗日乘数，得到第k+1轮的辅助变量；基于所述第三函数，根据第k轮的拉格朗日乘数、第k轮的邻接矩阵和第k轮的辅助变量，得到第k+1轮的拉格朗日乘数；根据所述第k+1轮的辅助变量和所述第k+1轮的拉格朗日乘数，返回基于所述第一函数计算邻接矩阵的操作，并递增k；在确定所述第k+1轮的邻接矩阵满足收敛条件的情况下，得到所述邻接矩阵。4.根据权利要求2所述的方法，其特征在于，所述轨迹相似度包括跨时段形态相似度、跨视角形态相似度、跨时段运动位置变化相似度和多视角轨迹相似度。5.根据权利要求4所述的方法，其特征在于，所述针对所述多个视频片段中的每个视频片段在同一相邻时段下的所述第一轨迹，计算任意两个所述第一轨迹之间的轨迹相似度包括：
针对水平视角下的第一轨迹，对所述水平视角下的第一轨迹进行特征提取，得到与所述待检测目标对应的形态特征；根据所述形态特征，得到与所述水平视角下的第一轨迹对应的跨时段形态相似度和跨视角形态相似度；利用恒速运动模型对同一视角下的相邻时段的第一轨迹进行处理，得到跨时段运动位置变化相似度；利用基于空间位置分布的互补视角关联模型同时对同一时段下的任意一个顶视角下的第...

【专利技术属性】
技术研发人员：冯伟，韩瑞泽，万亮，林迪，冯澍，姜杰，王伟，王永飞，
申请(专利权)人：天津大学，
类型：发明
国别省市：