【技术实现步骤摘要】
基于多部件特征融合的行人检测多目标跟踪系统及方法
[0001]本专利技术涉及图像识别
，尤其是涉及基于多部件特征融合的行人检测多目标跟踪系统及方法。
技术介绍
[0002]随着城市公共区域监控相机的广泛部署，基于公共安全及紧急求援的需求，针对行人的在线检测及多目标跟踪技术具有重大的学术与商业价值。
[0003]当前的大部分多目标跟踪算法均是采用两阶段模式，即先利用相对成熟的检测算法检测得到目标，然后对目标提取外观特征及运动信息，再基于上述特征对目标和轨迹进行关联从而达到多目标跟踪的目的。但是这种方法有明显的缺陷：1.两阶段方法极度依赖检测算法的效果，一旦目标因为遮挡等问题导致漏检，第二阶段的跟踪算法无法对上述漏检做任何修补。
[0004]2.两阶段跟踪算法需要单独先对目标进行检测然后再对检测得到的目标一一提取外观和运动特征，这种两阶段模式耗时较长，无法满足当前的在线实时检测和跟踪的需求。
[0005]针对两阶段多目标跟踪算法的缺陷，学术界提出将检测和跟踪融合的多目标跟踪网络，虽然在运行效率上避免...
【技术保护点】
【技术特征摘要】
1.一种基于多部件特征融合的行人检测多目标跟踪系统，包括沙漏模块、目标尺寸回归模块、目标中心点热度图模块、目标中心点偏移回归模块和多部件特征融合模块，其特征在于：沙漏模块分别获取第t帧及其前k帧图像的特征图，特征提取的过程共享权重，第t帧的特征图分别通过目标尺寸回归模块、目标中心点偏移回归模块、目标中心点热度图模块和多部件特征融合模块，得到目标宽高、目标中心点偏移、目标中心点和外观特征，多部件特征融合模块分别与沙漏模块和目标中心点热度图模块连接，分别获取第t帧及其前k帧图像的特征图，提取外观特征后，将前k帧的具有与第t帧图像相同身份识别号的外观特征，基于目标中心点进行拼接，得到目标在第t帧的外观特征，身份识别号用于表示行人不同的部件。2.一种基于多部件特征融合的行人检测多目标跟踪方法，应用于权利要求1所述的基于多部件特征融合的行人检测多目标跟踪系统，其特征在于包括如下步骤：步骤S1：获取行人图像数据集并对行人部件进行标注；步骤S2：构造并训练基于多部件特征融合的行人检测多目标跟踪系统；首先回归得到行人的P类部件对应的多部件特征，对多部件特征进行融合，得到多部件融合特征；步骤S3：基于训练得到的系统进行推理，获取单帧行人检测结果及多帧的行人融合特征，使用训练好的系统，检测得到的行人多部件，通过单个部件搜索最近邻其他部件，组合成一个人体；步骤S4：计算当前帧检测得到的行人特征与前一帧轨迹的融合特征的相似度，根据步骤S2获取的当前帧的多部件融合特征，与当前帧之前的历史轨迹的融合特征进行相似度比较；步骤S5：利用相似度矩阵进行数据关联，生成当前帧的行人轨迹，并更新轨迹的特征。3.根据权利要求2所述的基于多部件特征融合的行人检测多目标跟踪方法，其特征在于：所述步骤S1中，使用矩形框对视频的每帧图像的行人部件进行框注，包括头肩区域标注为类别0、躯干区域标注为类别1和腿部区域标注为类别2，相同区域标注相同的身份识别号；所述步骤S3中，如果没有检测到头肩区域，则按照躯干区域搜索最近的腿部区域，然后将目标框组合成人体，如果仅检测到腿部区域，则按照误检处理。4.根据权利要求2所述的基于多部件特征融合的行人检测多目标跟踪方法，其特征在于：所述步骤S2中，系统的总损失函数包括分类损失函数和检测损失函数，分类损失函数采用多部件融合特征分类损失函数，第i个行人的多部件特征经全连接层得到多部件分类输出，通过多部件分类输出、第t帧图像中第i个行人中是否检测到了该部件，以及各类部件在融合分类中的占比，得到第i个行人的多部件融合分类输出；最终第t帧的损失函数为检测损失函数与分类损失函数平均和。5.根据权利要求4所述的基于多部件特征融合的行人检测多目标跟踪方法，其特征在于：所述步骤S2中，系统首先回归得到人体P类部件，对应的多部件特征则用表示，其中i表示第i个行人，n表示在t
‑
k帧到t帧内检测到同一个行人的同一个部件的次数，a为P类部件的上标，对...
【专利技术属性】
技术研发人员：张文广，王军，徐晓刚，何鹏飞，曹卫强，朱亚光，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。