一种骨架检测跟踪方法、装置及电子设备制造方法及图纸

本发明专利技术公开了一种骨架检测跟踪方法及装置，包括步骤：S10、获取对齐的二维图像和深度图像，将二维图像输入预设2D骨架网络分别获得人体关键点坐标和第一特征图；S20、将深度图像输入预设深度跟踪特征提取网络，获得深度特征图；S30、根据人体关键点坐标，从第一特征图和深度特征图中分别获得2D骨架特征向量序列和深度骨架特征向量序列；S40、利用2D骨架特征向量序列、深度骨架特征向量序列及预设的各对应的骨架序列样本进行匹配计算，获取目标2D骨架序列。本发明专利技术综合利用二维图像和深度信息，将两者的输出匹配并进行去除多余骨架及误检，提高了效率，且提升了跟踪系统的鲁棒性。且提升了跟踪系统的鲁棒性。且提升了跟踪系统的鲁棒性。

【技术实现步骤摘要】
一种骨架检测跟踪方法、装置及电子设备


[0001]本专利技术涉及图像处理
，尤其涉及一种骨架检测跟踪方法、装置及电子设备。

技术介绍

[0002]多目标跟踪任务(MOT)是计算机视觉的基础任务之一，其核心在于将视频中不同帧之间的同一物体进行关联。在多目标跟踪领域中，tracking
‑
by
‑
detection(检测跟踪)是常用的跟踪方法，该方法首先在每一帧上得到检测框，然后匹配帧之间的检测框来完成跟踪任务。基于Tracking
‑
by
‑
detaction框架的MOT算法是先对视频序列的每一帧进行目标检测，根据包围框对目标进行裁剪，得到图像中的所有目标。然后，转化为前后两帧之间的目标关联问题，通过IoU、外观等构建相似度矩阵，并通过匈牙利算法、贪婪算法等方法进行求解。
[0003]目前MOT主流方法基本上都是基于tracking
‑
by
‑
detection的思路，即先做2D关键点检测(object detection)，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种骨架检测跟踪方法，其特征在于，包括如下步骤：S10、获取对齐的二维图像和深度图像，将所述二维图像输入预设2D骨架网络分别获得人体关键点坐标和第一特征图；S20、将所述深度图像输入预设深度跟踪特征提取网络，获得深度特征图；S30、根据所述人体关键点坐标，从所述第一特征图和所述深度特征图中分别获得2D骨架特征向量序列和深度骨架特征向量序列；S40、利用所述2D骨架特征向量序列、所述深度骨架特征向量序列及预设的各对应的骨架序列样本进行匹配计算，获取目标2D骨架序列。2.如权利要求1所述的骨架检测跟踪方法，其特征在于，所述预设2D骨架网络包括主干网络、关键点检测分支网络和2D跟踪特征分支网络，所述关键点检测分支网络和所述2D跟踪特征分支网络共用所述主干网络。3.如权利要求2所述的骨架检测跟踪方法，其特征在于，步骤S10包括：将所述二维图像输入所述主干网络，获取所述二维图像中的人体检测框；根据所述人体检测框，通过所述关键点检测分支网络进行人体骨架关键点检测，获得人体关键点坐标；根据所述人体检测框，通过所述2D跟踪特征分支网络提取特征，得到第一特征图。4.如权利要求1所述的骨架检测跟踪方法，其特征在于，所述步骤S20中，所述深度跟踪特征提取网络采用单通道卷积核对所述深度图像进行特征提取，得到深度特征图，其中，所述单通道卷积核大小为n
×
n
×
1。5.如权利要求1所述的骨架检测跟踪方法，其特征在于，所述步骤S30包括：根据所述人体关键点坐标获取所述人体关键点的边界框坐标信息；将所述第一特征图、所述深度特征图及所述边界框坐标信息输入预设感兴趣区域池化层；所述预设感兴趣区域池化层将所述边界框坐标信息映射到所述第一特征图和所述深度特征图，获得所述第一特征图及所述深度特征图上所述人体关键点边界框的特征值；基于所述第一特征图及所述深度特征图的边界框提取所述边界框中每个关键点的特征值，并变换为固定大小长度的特征；将所述第一特征图及所述深度特...

【专利技术属性】
技术研发人员：廖振生，
申请(专利权)人：奥比中光科技集团股份有限公司，
类型：发明
国别省市：