人体骨骼关键点信息的生成方法技术

本申请公开了一种人体骨骼关键点信息的生成方法

【技术实现步骤摘要】
人体骨骼关键点信息的生成方法、装置及相关设备


[0001]本申请属于图像识别
，具体涉及一种人体骨骼关键点信息的生成方法
、
装置及相关设备
。

技术介绍

[0002]人体骨骼关键点可以用于行为跟踪
、
运动分析和姿态估计等，传统的人体骨骼关键点预测一般是在几何先验的基础上基于模版匹配的思路来进行的，但是这种方法的时效性较差
。
为满足实时预测的需求，现有技术中，采用了深度学习的网络预测模型
(
例如，密集姿态估计
(DensePose)、
开放姿态估计
(OpenPose)、
对比主网络
(Contrastive Principal Network
，
CPN)
等
)
，通过采集大量的不同人体姿态图像，对其进行标注训练模型，以达到预测人体骨骼关键点的效果
。
[0003]然而，现有的人体骨骼关键点信息的生成方法在人体姿态较为复杂以及姿态动作变换较快时，生成的关键点容易出现抖动跳变，导致关键点稳定性较差的问题
。

技术实现思路

[0004]本申请实施例的目的是提供一种人体骨骼关键点信息的生成方法
、
装置及相关设备，能够解决现有的人体骨骼关键点信息的生成方法生成的关键点容易出现抖动跳变，导致关键点稳定性较差的问题
。
[0005]第一方面，本申请实施例提供了一种人体骨骼关键点信息的生成方法，所述方法包括：
[0006]获取第一图像帧对应的
c
个特征图向量，以及获取第二图像帧对应的第一特征向量，其中，所述
c
为大于1的整数，所述
c
个特征图向量与所述第一图像帧中的
c
个人体骨骼关键点一一对应，所述特征图向量为基于热力图算法对所对应的关键点进行处理得到的特征图向量，所述第一特征向量为对所述第二图像帧进行人体骨骼关键点特征采样得到的特征向量，所述第一图像帧和所述第二图像帧为目标图像序列中任意相邻的两个图像帧，且所述第二图像帧为所述第一图像帧的后一个图像帧；
[0007]对所述
c
个特征图向量和所述第一特征向量进行拼接，得到第二特征向量；
[0008]基于所述第二特征向量，生成所述第二图像帧对应的人体骨骼关键点信息，其中，所述人体骨骼关键点信息包括所述第二图像帧中的
c
个人体骨骼关键点的位置信息
。
[0009]第二方面，本申请实施例提供了一种人体骨骼关键点信息的生成装置，所述装置包括：
[0010]第一获取模块，用于获取第一图像帧对应的
c
个特征图向量，以及获取第二图像帧对应的第一特征向量，其中，所述
c
为大于1的整数，所述
c
个特征图向量与所述第一图像帧中的
c
个人体骨骼关键点一一对应，所述特征图向量为基于热力图算法对所对应的关键点进行处理得到的特征图向量，所述第一特征向量为对所述第二图像帧进行人体骨骼关键点特征采样得到的特征向量，所述第一图像帧和所述第二图像帧为目标图像序列中任意相邻
的两个图像帧，且所述第二图像帧为所述第一图像帧的后一个图像帧；
[0011]拼接模块，用于对所述
c
个特征图向量和所述第一特征向量进行拼接，得到第二特征向量；
[0012]生成模块，用于基于所述第二特征向量，生成所述第二图像帧对应的人体骨骼关键点信息，其中，所述人体骨骼关键点信息包括所述第二图像帧中的
c
个人体骨骼关键点的位置信息
。
[0013]第三方面，本申请实施例提供了一种电子设备，包括：处理器
、
存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如第一方面所述的方法的步骤
。
[0014]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤
。
[0015]在本申请实施例中，在获取第二图像帧的第一特征向量的同时，获取第二图像帧相邻的上一帧图像
(
即第一图像帧
)
对应的
c
个特征图向量，将
c
个特征图向量中的每一个特征图向量与第一特征向量进行拼接，融合了上一帧图像中
c
个人体骨骼关键点的位置信息，增强了生成第二图像帧对应的人体骨骼关键点的泛化能力，从而增强了每个人体骨骼关键点的稳定性，使得基于人体骨骼关键点信息生成的
3D
人体骨骼模型具有较高的稳定性
。
附图说明
[0016]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图
。
[0017]图1为本申请实施例提供的人体骨骼关键点信息的生成方法的流程示意图之一；
[0018]图2为本申请实施例提供的人体骨骼关键点的位置示意图；
[0019]图3为本申请实施例提供的人体骨骼关键点信息的生成方法的流程示意图之二；
[0020]图4为本申请实施例提供的人体骨骼关键点信息的生成方法的流程示意图之三；
[0021]图5为本申请实施例提供的人体骨骼关键点信息的生成方法的流程示意图之四；
[0022]图6为本申请实施例提供的人体骨骼关键点信息的生成装置的结构示意图；
[0023]图7为本申请实施例提供的电子设备的结构示意图
。
具体实施方式
[0024]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围
。
[0025]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序
。
应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可
以是多个
。
此外，说明书以及权利要求中“和
/
或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系
。
[0026]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种人体骨骼关键点信息的生成方法，其特征在于，所述方法包括：获取第一图像帧对应的
c
个特征图向量，以及获取第二图像帧对应的第一特征向量，其中，所述
c
为大于1的整数，所述
c
个特征图向量与所述第一图像帧中的
c
个人体骨骼关键点一一对应，所述特征图向量为基于热力图算法对所对应的关键点进行处理得到的特征图向量，所述第一特征向量为对所述第二图像帧进行人体骨骼关键点特征采样得到的特征向量，所述第一图像帧和所述第二图像帧为目标图像序列中任意相邻的两个图像帧，且所述第二图像帧为所述第一图像帧的后一个图像帧；对所述
c
个特征图向量和所述第一特征向量进行拼接，得到第二特征向量；基于所述第二特征向量，生成所述第二图像帧对应的人体骨骼关键点信息，其中，所述人体骨骼关键点信息包括所述第二图像帧中的
c
个人体骨骼关键点的位置信息
。2.
如权利要求1所述的方法，其特征在于，所述获取第一图像帧对应的
c
个特征图向量，包括：获取目标人体骨骼关键点的坐标，所述目标人体骨骼关键点为所述第一图像帧中的
c
个人体骨骼关键点中任意人体骨骼关键点；基于第一矩阵对预设矩阵中的目标范围内的值进行更新，得到第二矩阵，其中，所述第一矩阵为
m
×
m
维矩阵，且所述第一矩阵的中心点的值为1，所述第一矩阵除所述中心点之外的其他位置点的值的取值范围为0至1，所述
m
为大于1的奇数，所述预设矩阵为
h
×
w
维矩阵，且所述
h
和所述
w
均为大于所述
m
的整数，所述预设矩阵中的各个位置点的值均为0，所述目标范围为以所述目标人体骨骼关键点的坐标所指示的位置点为中心在所述预设矩阵中确定网格的范围，所述第一矩阵在所述预设矩阵中对应的网格范围大于或等于所述目标范围；基于所述第二矩阵生成所述目标人体骨骼关键点对应的特征图向量
。3.
如权利要求2所述的方法，其特征在于，所述基于所述第二矩阵生成所述目标人体骨骼关键点对应的特征图向量，包括：对所述第二矩阵进行高斯滤波处理，得到所述目标人体骨骼关键点对应的特征图向量
。4.
如权利要求1所述的方法，其特征在于，在所述获取第一图像帧对应的
c
个特征图向量，以及获取第二图像帧对应的第一特征向量之前，所述方法还包括：获取初始图像序列；提取所述初始图像序列中每一帧图像中的人体图像内容，得到所述目标图像序列，所述目标图像序列中每一帧图像的人体区域具有相同的比例
。5.
如权利要求1所述的方法，其特征在于，所述获取第二图像帧对应的第一特征向量，包括：将所述第二图像帧输入预先训练得到的人体骨干网络模型进行识别，得到所述第一特征向量，所述第一特征向量和所述特征图向量均包括
h
×
w
维向量，所述第一特征向量的通道数为
c
，
c
个通道的第一特征向量与所述
c
个特征图向量一一对应...

【专利技术属性】
技术研发人员：胡良军，洪毅强，王琦，张伟杰，陈佳悦，刘泽凡，
申请(专利权)人：咪咕文化科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：