一种基于骨骼关节点识别的人体姿态特征提取方法技术

本发明专利技术是一种基于骨骼关节点识别的人体姿态特征提取方法，包括特征提取坐标系建立和骨骼关节点特征提取两个阶段，在特征提取坐标系建立阶段，首先根据预选取的图片构造特征提取坐标系参照图片序列，然后提取各参照图片中包含骨骼关节点数据，构造包含人体对象序列数据的特征提取参照坐标系；在骨骼关节点特征提取阶段，针对待特征提取的目标图片，首先提取该图片中人物的骨骼关节点数据，构造该图片对应的人体对象数据；然后参照特征提取坐标系，对该目标图片中的人体对象进行对齐校正处理；最后，利用OKS算法，计算目标图片中人物姿态与特征提取坐标系中的各参照图片的人物姿态的相似度，生成表示目标图片中人物的人体姿态的特征向量。特征向量。

【技术实现步骤摘要】
一种基于骨骼关节点识别的人体姿态特征提取方法


[0001]本专利技术属于计算机视觉领域，具体的说是涉及一种基于骨骼关节点识别的人体姿态特征提取方法。

技术介绍

[0002]动作识别是计算机视觉领域的基本问题之一，在智能监测、运动评估、医疗看护等具有动作识别需求的应用领域具有一定的实用价值。近些年伴随着网络视频数据量的急剧增长，动作识别的重心由原来传统的机器学习方法转向基于图像的深度学习方法，而基于图像的深度学习方法在进行网络训练前需要对视频数据进行特征提取，受视频质量和场景信息复杂的影响，特征提取的方法往往也不相同。光流特征、骨骼特征、时空特征是目前人体动作识别中最常用的方法。随着图卷积神经网络的提出，因为人体骨骼中含有关节的位置信息，基于骨骼关节点的特征提取方法成为主流。
[0003]目前基于骨骼关节点的特征提取方法主要通过提取骨骼关节点的静态和动态特征来描述人体姿态。静态特征包括肢体夹角和相对距离，在静态特征的提取中，虽然实现了对视频中每一帧动作的表达，但是对于近邻帧之间的变化却无法表达，使用动态特征，如关节动能和肢体夹角的角加速度等，可以更加有利地进行人体动作的识别。而动态特征的提取对动作边界的确定性有一定的要求，对于包括多个动作，且每个动作的持续时间不同、速度变化快，不能在时间上对动作边界进行准确地定位的场景识别效果较差。

技术实现思路

[0004]为了解决上述问题，本专利技术提供了一种基于骨骼关节点识别的人体姿态特征提取方法，该特征提取方法分析了骨骼关节点数据的特征，精炼构建了人体特征向量。
[0005]为了达到上述目的，本专利技术是通过以下技术方案实现的：
[0006]本专利技术是一种基于骨骼关节点识别的人体姿态特征提取方法，包括特征提取坐标系建立和骨骼关节点特征提取两个阶段。在特征提取坐标系建立阶段，首先选取人物动作差异明显的多张图片，构造特征提取坐标系参照图片序列；然后提取图片序列内各图片中人物的骨骼关节点数据得到基于骨骼关节点描述的人体对象序列。在骨骼关节点特征提取阶段，首先对于待特征提取的包含目标人物的图片利用人体骨骼关节点识别模型提取图片中目标人物的骨骼关节点构造图片中目标人物的人体对象；然后利用OKS算法计算图片中人物姿态与特征提取坐标系参照图片序列中各图片的人物姿态的相似度，生成表示图片中人物的人体姿态的特征向量。
[0007]特征提取坐标系建立阶段：
[0008](1)选取m张图片，构造特征提取坐标系参照图片序列R＝<r1,r2,
…
,r
m
>，其中每张图片只包含一个人，且无遮挡、骨骼关节点清晰，不同图片中人物动作具有差异性。
[0009](2)提取R中各图片中人物的骨骼关节点，得到基于骨骼关节点描述的人体对象序列S＝<s1,s2,
…
,s
m
>，每一个人体对象s
i
包含k个骨骼关节点N＝{n1,n2,
…
,n
k
}的像素坐标，
即有s
i
＝{“n
1”:(x
i,1
,y
i,1
,conf
i,1
),“n
2”:(x
i,2
,y
i,2
,conf
i,2
),
…
,“n
k”:(x
i,k
,y
i,k
,conf
i,k
)}，其中，n
j
表示人体对象s
i
中某个骨骼关节点的唯一标签，x
i,j
和y
i,j
表示s
i
的骨骼关节点n
j
在图片中的横纵像素坐标，conf
i,j
表示s
i
的骨骼关节点n
j
的坐标的置信度。这里的S即为用于计算人体姿态特征向量的坐标系。
[0010]骨骼关节点特征提取阶段：
[0011](1)对于待特征提取的包含目标人物的图片p，利用人体骨骼关节点识别模型提取图片p中目标人物的骨骼关节点，构造图片p中的人体对象o＝{“n
1”:(x1,y1,conf1),“n
2”:(x2,y2,conf2),
…
,“n
k”:(x
k
,y
k
,conf
k
)}，其中，n
i
表示人体中某个骨骼关节点的唯一标签，x
i
和y
i
表示骨骼关节点n
i
在图片中的横纵像素坐标，conf
i
表示骨骼关节点n
i
坐标的置信度。
[0012](2)利用OKS算法计算图片p中人物姿态与坐标系参照图片序列R中各图片的人物姿态的相似度，生成表示图片p中人物的人体姿态特征向量V
p
，具体步骤如下：
[0013](2a)参照坐标系S中每一个人体对象s
i
的骨骼关节点数据，对人体对象o中的骨骼关节点数据进行对齐处理，得到与S中各人体对象对应的对齐校正后的人体对象序列O＝<o
′1，o
′2，...，o
′
m
>，具体步骤如下：
[0014](2a1)根据预设的中心点参照骨骼关节点集合计算人体对象o的中心点坐标C
O
＝(C
o_x
，C
o_y
)，C
o_x
和C
o_y
表示中心点的横纵坐标，其计算公式如下：
[0015][0016][0017]其中x
i
和y
i
表示F中第i个骨骼关节点的横纵坐标。
[0018]然后按照相同的中心点计算方法，计算坐标系S中每一个人体对象s
i
的中心点坐标C
si
＝(C
si_x
，C
si_y
)。
[0019](2a2)计算o与S中每一个人体对象s
i
的中心偏移量(offset
i，x
，offset
i，y
)，其计算公式如下：
[0020]offset
i，x
＝C
si_x
‑
C
o_x
[0021]offset
i，y
＝C
si_y
‑
C
o_y
[0022](2a3)参照o相对于S中每一个人体对象s
i
的中心偏移量，根据如下计算公式生成o校正后的与s
i
对应骨骼关节点序列o
i
’
＝{“n
1”：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于骨骼关节点识别的人体姿态特征提取方法，其特征在于：所述人体姿态特征提取方法包括如下步骤：步骤1：特征提取坐标系建立阶段：选取图片，构造特征提取坐标系参照图片序列，提取图片中人物的骨骼关节点，得到基于骨骼关节点描述的人体对象序列，从而获得用于计算人体姿态特征向量的坐标系；步骤2：骨骼关节点特征提取阶段：对于待特征提取的包含目标人物的图片，利用人体骨骼关节点识别模型提取图片中目标人物的骨骼关节点，利用OKS算法计算待特征提取的包含目标人物的图片中人物姿态与步骤1坐标系参照图片序列中各图片的人物姿态的相似度，生成人体姿态特征向量。2.根据权利要求1所述一种基于骨骼关节点识别的人体姿态特征提取方法，其特征在于：所述步骤2骨骼关节点特征提取阶段具体包括如下步骤：步骤2
‑
1:对于待特征提取的包含目标人物的图片p，利用人体骨骼关节点识别模型提取图片p中目标人物的骨骼关节点，构造图片p中的人体对象o＝{“n
1”:(x1,y1,conf1),“n
2”:(x2,y2,conf2),
…
,“n
k”:(x
k
,y
k
,conf
k
)}，其中，n
i
表示人体中某个骨骼关节点的唯一标签，x
i
和y
i
表示骨骼关节点n
i
在图片中的横纵像素坐标，conf
i
表示骨骼关节点n
i
坐标的置信度；步骤2
‑
2:利用OKS算法计算图片p中人物姿态与坐标系参照图片序列R中各图片的人物姿态的相似度，生成表示图片p中人物的人体姿态特征向量V
p
。3.根据权利要求2所述一种基于骨骼关节点识别的人体姿态特征提取方法，其特征在于：所述步骤2
‑
2具体包括如下步骤：步骤2
‑2‑
1：参照步骤1中的坐标系S中每一个人体对象s
i
的骨骼关节点数据，对人体对象o中的骨骼关节点数据进行对齐处理，得到与坐标系S中各人体对象对应的对齐校正后的人体对象序列O＝<o
′1,o
′2，...，o
′
m
>；步骤2
‑2‑
2:根据校正后的人体对象序列O，利用OKS算法计算图片p中目标人物的基于坐标系S的人体姿态特征向量V
p
。4.根据权利要求3所述一种基于骨骼关节点识别的人体姿态特征提取方法，其特征在于：步骤2
‑2‑
1中，对人体对象o中的骨骼关节点数据进行对齐处理，得到与坐标系S中各人体对象对应的对齐校正后的人体对象序列O＝<o
′1,o
′2，...，o
′
m
>，具体步骤为：步骤2
‑2‑1‑
1：根据预设的中心点参照骨骼关节点集合计算人体对象o的中心点坐标C
O
＝(C
o_x
,C
o_y
)，C
o_x
和C
o_y
表示中心点的横纵坐标，其计算公式如下：表示中心点的横纵坐标，其计算公式如下：其中x
i
和y
i
表示F中第i个骨骼关节点的横纵坐标，然后按照相同的中心点计算方法，计算坐标系S中每一个人体对象s
i
的中心点坐标C
si
＝(C
si_x
,C
si_y
)；步骤2
‑2‑1‑
2：计算人体对象o与坐标系S中每一个人体对象s
i
的中心偏移量offset
i,x
,
offset
i,y
，其计算公式如下：offset
i，x
＝C
si_x
‑
C
o_x
offset
i，y
＝C
si_y
‑
C
o_y
；步骤2
‑2‑1‑
3:：参照人体对象o相对于坐标系S中每一个人体对象s
i
的中心偏移量，根据如下计算公式生成人体对象o校正后的与s
i
对应骨骼关节点序列o
i
’
＝{“n
1”:(x
′
i，1
,y...

【专利技术属性】
技术研发人员：戴华，吴昊哲，郑桂能，杨伟洪，周倩，杨庚，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：