行人多目标跟踪识别方法及跟踪识别装置制造方法及图纸

本发明专利技术公开了一种行人多目标跟踪识别方法和跟踪识别装置，解决现有技术存在的精确度低和稳定性差的问题。所述方法包括采用训练数据集训练网络并获取行人多目标跟踪识别模型的过程：获取包含行人多目标的训练数据集；将所述训练数据集输入基于FairMOT架构、由GAConv和CLFPN构建的Encoder

【技术实现步骤摘要】
行人多目标跟踪识别方法及跟踪识别装置


[0001]本专利技术属于计算机视觉
，具体地说，涉及行人跟踪识别技术，更具体地说，是涉及行人多目标跟踪识别方法及跟踪识别装置。

技术介绍

[0002]依托于不断深入的深度神经网络研究，计算机视觉领域内的各项任务也取得了长足的发展，其中，对于视频内运动的多目标的跟踪是研究的重要方向之一。其中，行人多目标跟踪识别在视频监控、计算机动画、虚拟现实、人机交互、智能交通等方面均获得了广泛的应用。因此，对行人跟踪技术进行相关研究与分析是十分有意义的。
[0003]现有技术中，通过深度神经网络实现视频内运动多目标跟踪为常用的方法，其过程一般被分为两个子任务来解决：首先，对视频帧中感兴趣的一类或多类目标的检测结果进行定量分析，判断目标在连续时序中的位置；然后对目标本身进行重识别特征信息提取，获取目标的完整运动轨迹。
[0004]自FairMOT(Fair Multi
‑
Object Tracking，合理的多目标跟踪架构)出现之后，在多目标跟踪领域被广泛应用。公开号为CN113034545A的中国专利申请公开了一种基于CenterNet多目标跟踪算法的车辆跟踪方法，基于FairMOT框架，采用HRnet网络作为目标检测的主干网络，引入注意力机制构建FairMOT的目标检测和重识别网络，实现对目标车辆的跟踪。
[0005]而在行人多目标跟踪识别领域，行人作为视频中的活动主体时，在移动时相较于车辆更具灵活性，并且行人是非刚体，轮廓特征在不断变化，不易提取，因此，上述应用于车辆跟踪的方法在行人跟踪识别时，存在着模型跟踪识别精度低、模型收敛性差、跟踪识别稳定性弱等问题。
[0006]鉴于此，亟需一种跟踪识别精度高、模型收敛性强的行人多目标跟踪识别技术。

技术实现思路

[0007]本专利技术的目的在于提供一种行人多目标跟踪识别方法及跟踪识别装置，解决现有行人多目标跟踪识别技术存在的精确度低和稳定性差的技术问题。
[0008]为解决上述技术问题，本专利技术提供的行人多目标跟踪识别方法采用下述技术方案予以实现：
[0009]一种行人多目标跟踪识别方法，其特征在于，所述方法包括采用训练数据集训练网络并获取行人多目标跟踪识别模型的过程；
[0010]所述训练网络的过程包括：
[0011]获取包含行人多目标的训练数据集；
[0012]将所述训练数据集输入基于FairMOT架构的Encoder
‑
Decoder网络进行特征提取，获得多尺度融合特征图；所述Encoder
‑
Decoder网络中，采用全局注意卷积模块GAConv作为主干网络，引入跨层特征金字塔结构CLFPN对所述主干网络进行改进；
[0013]将所述多尺度融合特征图输入所述FairMOT架构的目标检测网络和重识别网络，获得目标和检测结果；
[0014]将所述目标和检测结果输入所述FairMOT架构的跟踪网络进行跟踪，获得训练后的行人多目标跟踪识别模型；
[0015]在采用所述训练数据集训练网络时，采用自适应loss衰减的学习率更改策略和AdamW相结合的方法执行网络参数优化，网络参数收敛后的模型确定为所述训练后的行人多目标跟踪识别模型。
[0016]本申请的一些实施例中，所述方法还包括：
[0017]获取所述训练后的行人多目标跟踪识别模型各层的初始权重；
[0018]采用层次聚类算法对所述初始权重进行聚类，获取聚类后的有效权重；
[0019]采用kmeans++对所述有效权重进行聚类压缩，获得量化压缩的轻量化跟踪识别模型。
[0020]本申请的一些实施例中，所述方法还包括采用测试数据集对模型进行评估的过程；
[0021]所述评估的过程包括：
[0022]获取包含行人多目标的原始测试数据集；
[0023]对所述原始测试数据集进行图像增强，获得增强后测试数据集；
[0024]采用所述增强后测试数据集评估所述训练后的行人多目标跟踪识别模型和/或所述轻量化跟踪识别模型，获得最终跟踪结果。
[0025]本申请的一些实施例中，对所述原始测试数据集进行图像增强，获得增强后测试数据集，包括：
[0026]对所述原始测试数据集采用自适应直方图均衡化方式进行图像增强，获得所述增强后测试数据集。
[0027]本申请的一些实施例中，所述训练数据集和所述原始测试数据集采用下述方法获取：
[0028]获取包含行人多目标的多帧图片，在每帧图片上标注行人id、图片左上角坐标和图片下角点坐标，获得标注后行人数据集；
[0029]将所述标注后行人数据集进行格式转换，获得包含行人id、目标中心点坐标、目标长宽的数据文档；
[0030]将所述数据文档和所述标注后行人数据集确定为组合数据集；
[0031]将所述组合数据集按照设定比例划分为所述训练数据集和所述原始测试数据集。
[0032]本申请的一些实施例中，将所述训练数据集输入基于FairMOT架构的Encoder
‑
Decoder网络进行特征提取，获得多尺度融合特征图，包括：
[0033]将所述全局注意卷积模块GAConv与标准卷积模块结合，提取输入的数据集的原始特征图；
[0034]利用所述全局注意卷积模块GAConv对所述原始特征图进行两方向的序列编码，通过注意力机制对两编码序列进行扩充还原，将扩充还原后的两序列拼接，获得拼接后序列；
[0035]将所述拼接后序列与所述原始特征图进行叠加，获取全局注意力权重；
[0036]在所述主干网络后连接所述跨层特征金字塔结构CLFPN，通过可学习的所述全局
注意力权重学习不同输入特征的重要性，并通过跨层连接，反复应用自顶向下和自底向上的多尺度特征融合，获得所述多尺度融合特征图。
[0037]本申请的一些实施例中，所述自适应loss衰减的学习率更改策略包括：
[0038]采用下述更新函数更新学习率：
[0039][0040]其中，lr为学习率；和分别为学习率的最大值和最小值，为设定值；T
i
为当前训练轮次，为变化值；T
cur
为到达最大学习率的轮次，为设定值，为以e为底的指数，表示loss变化率，C
loss
为相邻两训练轮次的loss差值，为计算值；T为训练总轮次，为设定值。
[0041]为解决前述技术问题，本专利技术提供的行人多目标跟踪识别装置采用下述技术方案予以实现：
[0042]一种行人多目标跟踪识别装置，所述装置包括：
[0043]训练数据集获取模块，用于获取包含行人多目标的训练数据集；
[0044]特征提取模块，用于将所述训练数据集输入基于FairMOT架构的Encoder
‑
Decoder网络进行特征提取，获得多尺度融合特征图；所述Encoder...

【技术保护点】

【技术特征摘要】
1.一种行人多目标跟踪识别方法，其特征在于，所述方法包括采用训练数据集训练网络并获取行人多目标跟踪识别模型的过程；所述训练网络的过程包括：获取包含行人多目标的训练数据集；将所述训练数据集输入基于FairMOT架构的Encoder
‑
Decoder网络进行特征提取，获得多尺度融合特征图；所述Encoder
‑
Decoder网络中，采用全局注意卷积模块GAConv作为主干网络，引入跨层特征金字塔结构CLFPN对所述主干网络进行改进；将所述多尺度融合特征图输入所述FairMOT架构的目标检测网络和重识别网络，获得目标和检测结果；将所述目标和检测结果输入所述FairMOT架构的跟踪网络进行跟踪，获得训练后的行人多目标跟踪识别模型；在采用所述训练数据集训练网络时，采用自适应loss衰减的学习率更改策略和AdamW相结合的方法执行网络参数优化，网络参数收敛后的模型确定为所述训练后的行人多目标跟踪识别模型。2.根据权利要求1所述的行人多目标跟踪识别方法，其特征在于，所述方法还包括：获取所述训练后的行人多目标跟踪识别模型各层的初始权重；采用层次聚类算法对所述初始权重进行聚类，获取聚类后的有效权重；采用kmeans++对所述有效权重进行聚类压缩，获得量化压缩的轻量化跟踪识别模型。3.根据权利要求2所述的行人多目标跟踪识别方法，其特征在于，所述方法还包括采用测试数据集对模型进行评估的过程；所述评估的过程包括：获取包含行人多目标的原始测试数据集；对所述原始测试数据集进行图像增强，获得增强后测试数据集；采用所述增强后测试数据集评估所述训练后的行人多目标跟踪识别模型和/或所述轻量化跟踪识别模型，获得最终跟踪结果。4.根据权利要求3所述的行人多目标跟踪识别方法，其特征在于，对所述原始测试数据集进行图像增强，获得增强后测试数据集，包括：对所述原始测试数据集采用自适应直方图均衡化方式进行图像增强，获得所述增强后测试数据集。5.根据权利要求3所述的行人多目标跟踪识别方法，其特征在于，所述训练数据集和所述原始测试数据集采用下述方法获取：获取包含行人多目标的多帧图片，在每帧图片上标注行人id、图片左上角坐标和图片下角点坐标，获得标注后行人数据集；将所述标注后行人数据集进行格式转换，获得包含行人id、目标中心点坐标、目标长宽的数据文档；将所述数据文档和所述标注后行人数据集确定为组合数据集；将所述组合数据集按照设定比例划分为所述训练数据集和所述原始测试数据集。6.根据权利要求1所述的行人多目标跟踪识别方法，其特征在于，将所述训练数据集输入基于FairMOT架构的Encoder
‑
Decoder网络进行特征提取，获得多尺度融合特征图，包括：
将所述全局注意卷积模块GAConv与标准卷积模块结合，提取输入的数据集的原始特征图；利用所述全局注意卷积模...

【专利技术属性】
技术研发人员：梁宏涛，董文轩，吴沭运，刘国柱，杜军威，朱习军，胡强，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：