端对端的多行人姿态跟踪方法、装置及电子设备制造方法及图纸

本申请公开了一种端对端的多行人姿态跟踪方法、装置、电子设备及介质，用于提高姿态跟踪准确率。方法包括：通过行人检测和姿态估计，获得视频各帧的目标检测框；针对每帧均执行以下过程：利用特征提取网络，获得将当前帧和前一帧中各目标检测框的层级卷积特征；基于层级卷积特征，利用基于通道注意力机制的网络获得最终特征，然后基于包括最终特征的特征矩阵和相似度估计网络获得相似度矩阵，接着为增广行和增广列进行赋值，得到正向相似度矩阵和负向相似度矩阵；并基于正向相似度矩阵和反向相似度矩阵，生成当前帧和前一帧之间的数据关联矩阵，最后根据数据关联矩阵，对当前图像帧各目标检测框进行身份分配，以获得当前帧的跟踪结果。果。果。

【技术实现步骤摘要】
端对端的多行人姿态跟踪方法、装置及电子设备


[0001]本申请属于计算机视觉
，尤其涉及一种端对端的多行人姿态跟踪方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]多目标姿态跟踪旨在一段连续的视频中估计出多个人的姿态，并在不同视频帧中准备地关联他们的身份，在行为识别、多媒体分析、事件检测等多个视觉领域具有广泛的应用。
[0003]目前，姿态跟踪方法通常首先检测出视频图像中的所有行人框，然后再估计出行人框内的人体关键点，最后通过构建数据关联来实现行人框在不同视频帧之间的身份关联。
[0004]然而，现有的数据关联方式往往采用特征学习、相似度估计和身份分配三个独立的步骤来实现，并且，相似度估计和身份分配这两个步骤常常是采用手工设计的模型，模型泛化能力较低，这样导致姿态跟踪过程不能实现有效的数据关联，姿态跟踪准确率较低。

技术实现思路

[0005]本申请实施例提供了一种端对端的多行人姿态跟踪方法、装置、电子设备及计算机可读存储介质，可以解决现有姿态跟踪准确率较低的问题。
>[0006]第一方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种端对端的多行人姿态跟踪方法，其特征在于，包括：获取待检测视频，并对所述待检测视频进行行人检测和姿态估计，获得所述待检测视频中各图像帧的目标检测框，所述图像帧包括多个所述目标检测框；针对每个待处理的图像帧，将图像对和所述图像对中每个图像帧的所述目标检测框输入至特征提取网络，获得所述特征提取网络输出的每个所述目标检测框的层级卷积特征，所述层级卷积特征包括多层卷积特征，所述图像对包括所述待处理的图像帧和所述待处理的图像帧的前一帧；分别将每个所述层级卷积特征的每层卷积特征的各个通道特征输入至基于通道注意力机制的网络，获得所述基于通道注意力机制的网络输出的所述通道特征的基于通道注意力描述的最终特征，每层所述卷积特征包括多个所述通道特征；对所述图像对中每个图像帧的特征矩阵进行处理，得到特征通量，并将所述特征通量输入至相似度估计网络，获得所述相似度估计网络输出的相似度矩阵，所述特征矩阵包括所述基于通道注意力描述的最终特征；根据所述相似度矩阵中每一行的峰值旁瓣比，为正向相似度矩阵中的增广列的元素赋值，以获得正向相似度矩阵，并根据相似度矩阵中每一列的峰值旁瓣比，为反向相似度矩阵中的增广行的元素赋值，以获得反向相似度矩阵；根据所述正向相似度矩阵，生成正向预测矩阵，并根据所述反向相似度矩阵，生成反向预测矩阵；根据所述正向预测矩阵和所述反向预测矩阵，生成所述待处理的图像帧和所述待处理的图像帧的前一帧之间的数据关联矩阵；根据所述数据关联矩阵，基于所述待处理的图像帧的前一帧各目标检测框对所述待处理的图像帧各目标检测框进行身份分配，以获得所述待处理的图像帧的跟踪结果。2.如权利要求1所述的方法，其特征在于，根据所述相似度矩阵中每一行的峰值旁瓣比，为正向相似度矩阵中的增广列的元素赋值，以获得正向相似度矩阵，并根据相似度矩阵中每一列的峰值旁瓣比，为反向相似度矩阵中的增广行的元素赋值，以获得反向相似度矩阵，包括：通过公式计算所述相似度矩阵中每一行元素的峰值旁瓣比，其中，为所述相似度矩阵的第i行的峰值旁瓣比，为第i行元素的标准差；判断所述第i行的峰值旁瓣比是否小于第一预设阈值；当所述第i行的峰值旁瓣比小于所述第一预设阈值，将所述增广列中的第i行设为1；当所述第i行的峰值旁瓣比大于或等于所述第一预设阈值，将所述增广列中的第i行设为0；通过公式计算所述相似度矩阵中每一列元素的峰值旁瓣比，其中，为所述相似度矩阵的第j列的峰值旁瓣比，为第j列元素的标准差；判断所述第j列的峰值旁瓣比是否小于第二预设阈值；当所述第j列的峰值旁瓣比小于所述第二预设阈值，将所述增广行中的第j列设为1；当
所述第j列的峰值旁瓣比大于或等于所述第二预设阈值，将所述增广列中的第j列设为0。3.如权利要求1所述的方法，其特征在于，根据所述正向相似度矩阵，生成正向预测矩阵，并根据所述反向相似度矩阵，生成反向预测矩阵，包括：利用softmax函数对所述正向相似度矩阵的行进行逐点式操作，生成所述正向预测矩阵；利用所述softmax函数对所述反向相似度矩阵的列进行逐点式操作，生成所述反向预测矩阵。4.如权利要求1所述的方法，其特征在于，根据所述正向预测矩阵和所述反向预测矩阵，生成所述待处理的图像帧和所述待处理的图像帧的前一帧之间的数据关联矩阵，包括：去掉所述正向预测矩阵的最后一列，得到目标正向预测矩阵；去掉所述反向预测矩阵的最后一行，得到目标反向预测矩阵；通过公式生成所述待处理的图像帧和所述待处理的图像帧的前一帧之间的数据关联矩阵；其中，为所述数据关联矩阵，为所述目标正向预测矩阵，为所述目标反向预测矩阵。5.如权利要求1所述的方法，其特征在于，分别将每个所述层级卷积特征的每层卷积特征的各个通道特征输入至基于通道注意力机制的网络，获得所述基于通道注意力机制的网络输出的所述通道特征的基于通道注意力描述的最终特征，包括：针对每层卷积特征的每个通道特征，将所述通道特征输入至所述基于通道注意力机制的网络，获得所述基于通道注意力机制的网络输出的所述通道特征的基于通道注意力描述的最终特征；其中，，，；表示第c个通道特征在位置(i,j)上的数值；和分别表示sigmod函数和ReLU层函数；表示第一全连接层的权重集，表示第二全连接层的权重集；第c个通道特征...

【专利技术属性】
技术研发人员：阮威健，何耀彬，史周安，
申请(专利权)人：中电科新型智慧城市研究院有限公司，
类型：发明
国别省市：