一种人体行为识别方法与系统技术方案

本发明专利技术提供了一种人体行为识别方法与系统。所述方法包括如下步骤：通过摄像头采集人体图像数据；将人体数据使用OpenPose解析出人体的骨架序列数据，并将骨架序列数据进行预处理，得到人体行为帧窗口数据；将人体行为帧窗口数据使用支持向量机原理提取为二次规划问题；将二次规划问题转换为线性变分不等式使用支持向量神经网络进行求解，得到人体行为识别结果。所述系统用于实现所述人体行为识别方法。本发明专利技术创造性地采用OpenPose与支持向量神经网络识别人体行为，具有计算效率高、实时性强，鲁棒性好的优点。鲁棒性好的优点。鲁棒性好的优点。

【技术实现步骤摘要】
一种人体行为识别方法与系统


[0001]本专利技术属于目标检测与识别领域，特别是涉及一种人体行为识别方法与系统。

技术介绍

[0002]随着计算机技术的发展，计算机在生活中的应用越来越广泛；随之而来的是计算机如何理解场景的问题，也即识别问题，当计算机能够理解环境时，便能完成一系列与之相关的指令，在不同的环境中完成不同的任务。而在众多环境中，包含人的场景占比更是巨大，研究这些场景中出现的人物以及人物的表现行为也就相当有意义。
[0003]而处理这些复杂的场景，往往采用很复杂、庞大的算法模型进行处理或者是昂贵的硬件设备代替软件检测，其拓展性差且成本较高。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提供一种计算量小、拓展性强、实时运行的人体行为识别方法与系统，通过使用OpenPose解决了场景复杂的问题，规避了昂贵的硬件成本，使用支持向量神经网络解决了模型庞大，拓展性差的问题。
[0005]为了实现上述专利技术目的，本专利技术提供的一种人体行为识别方法，包括如下步骤：
[0006]采集人体图像数据；
[0007]从包含人体图像的视频序列中提取出人体骨架序列数据；
[0008]将提取到的人体骨架序列进行数据预处理，找出人体参照关节点，计算人体各关节点相对于人体参照节点的偏移，再根据关节点之间的最大距离对关节点坐标进行标准化，将骨架序列通过滑动窗口的形式生成人体行为帧窗口数据；
[0009]对人体行为帧窗口数据进行分类，使用结构化风险最小化的思想，将分类问题转换为二次规划问题；
[0010]将二次规划问题使用支持向量神经网络进行求解，首先将二次规划问题转化为一个线性变分不等式LVI，再将线性变分不等式LVI转为线性投影问题PLPE，使用原对偶神经网络求解。
[0011]将求解结果封装为函数库，软件使用函数库搭建人体行为识别系统。
[0012]其中，人体图像视频只需使用普通的高清摄像头进行图像采集，使用OpenPose系统对图像进行逐帧处理提取人体骨架数据。
[0013]其中，人体参照关节点选用骨架序列中的脖子位置特征点；关节点之间的距离指相互连接的关节点之间的距离，例如左肘与左手腕的距离。
[0014]所述对人体骨架序列数据进行预处理，得到人体行为帧窗口数据，包括：
[0015]在人体骨架数据中，将其中一个关节点设定为整个人体关节的参照基准点，把其他关节点的坐标转换为相对于人体关节的参照基准点的偏置；
[0016]使用各关节间的最长距离对整体骨架进行标准化；
[0017]从标准化后的人体骨架序列数据通过滑动窗口的形式生成人体行为帧窗口数据。
[0018]其中，其他关节点的坐标转换为相对于人体关节的参照基准点的偏移中，偏移的公式为：
[0019][0020][0021]式中，(x1，y1)是参照基准点的坐标，(x
i
，y
i
)为身体关节点i的坐标，是身体关节点i相对于参照基准点偏置后的坐标。
[0022]其中，所述使用各关节间的最长距离对整体骨架进行标准化中，包括：
[0023]分别计算各相连关节之间的距离d
i，j
，得到整体的距离集合D；
[0024]选择距离集合D中的最大值d
max
，对相对于关节参照基准点的偏置进行标准化：
[0025][0026][0027]其中，对人体骨架序列数据进行的预处理还包括：
[0028]若某一帧中的人体关节的参照基准点未检测到，则丢弃该帧；
[0029]若某一帧中人体的部分关节点未能检测到，缺失了一个或多个关节点坐标，则利用前后两帧中的关节坐标插值求出当前帧坐标。
[0030]所述利用前后两帧中的关节坐标插值求出当前帧坐标中的插值方式为：
[0031][0032][0033]其中t表示第t帧数据，分别代表第t帧数据对应的关节点坐标。
[0034]其中，将帧窗口数据转为一个一维特征向量，这个特征向量中包含了人体的某种行为，根据结构化风险最小化，分类问题会转化为求解数据特征空间的不同类别数据之间间隔最大的凸二次规划问题，具体的求解如下给出。
[0035]首先，给出一个人体行为数据集T，
[0036][0037]其中，X由x
l
组成，x
l
∈R1×
n
为特征列向量样本，R1×
n
代表维度为n，Y由y
l
组成，y
l
∈{1，
‑
1}为样本的类别标签，l＝1，
…
，m，代表对应第1个数据样本。分类函数即两种特征向量之间的决策超平面可以表示为：
[0038]f(X)＝ωX
T
+b#
ꢀꢀꢀ
(2)
[0039]其中，ω∈R1×
n
为该超平面的法向量，阈值b表示该超平面在特征空间中的位置，X
T
代表将特征向量进行转置操作。为使超平面在特征空间中能将两类特征向量的间隔达到最大，即位于超平面两边的特征向量到达最大超平面的距离最大，可以得出这样的数学表示：
[0040][0041]s.t.y
l
(ωx
lT
+b)
‑
1≥0，l＝1，2，...，m#
ꢀꢀꢀ
(4)
[0042]式(4)中将根据经验法将间隔设置为1(一般设置为1，也可根据视情况设置为其他数值)，这样的条件称为硬间隔；有时为了避免因为个别极端的特征向量对超平面造成影响，式(4)的约束可以稍微降低，所以引入了软间隔，允许少数数据点的间隔小于1，引入一个松弛变量ξ
l
来减小间隔，同时也将松弛变量ξ
i
的错误加入目标函数中，则式(3)(4)将转变为二次规划问题：
[0043][0044]s.t.y
l
(ωx
l
+b)
‑
1+ξ
l
≥0#
ꢀꢀꢀ
(6)
[0045]ξ
l
≥0，l＝1，2，...，m#
ꢀꢀꢀ
(7)
[0046]其中C是一个惩罚系数，表示引入松弛变量ξ
l
之后带来的结构风险。
[0047]对于式(5)的求解，可以通过拉格朗日对偶性变换到对偶变量的优化问题。
[0048]引入拉格朗日乘子α
l
≥0，β
l
≥0，根据公式(6)、(7)列出公式(5)的拉格朗日方程：
[0049][0050]L(ω，b，α，β)中α、β代表对应等式与不等式约束的拉格朗日乘子。
[0051]令L(ω，b，α，β)对ω、b、ξ的偏导为零，可得：
[0052][0053][0054]C＝α
l
+本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体行为识别方法，其特征在于，包括以下步骤：采集人体图像数据；使用OpenPose算法从人体图像数据中提取出人体骨架序列数据，并对人体骨架序列数据进行预处理，得到人体行为帧窗口数据；将人体行为帧窗口数据的分类以结构风险最小化为目标表示为二次规划问题；将二次规划问题使用支持向量神经网络进行求解，得到人体行为识别结果。2.根据权利要求1所述的一种人体行为识别方法，其特征在于，所述对人体骨架序列数据进行预处理，得到人体行为帧窗口数据，包括：在人体骨架数据中，将其中一个关节点设定为整个人体关节的参照基准点，把其他关节点的坐标转换为相对于人体关节的参照基准点的偏置；使用各关节间的最长距离对整体骨架进行标准化；从标准化后的人体骨架序列数据通过滑动窗口的形式生成人体行为帧窗口数据。3.根据权利要求2所述的一种人体行为识别方法，其特征在于，所述其他关节点的坐标转换为相对于人体关节的参照基准点的偏置中，偏置的公式为：转换为相对于人体关节的参照基准点的偏置中，偏置的公式为：式中，(x1,y1)是参照基准点的坐标，(x
i
,y
i
)为身体关节点i的坐标，是身体关节点i相对于参照基准点偏置后的坐标。4.根据权利要求2所述的一种人体行为识别方法，其特征在于，所述使用各关节间的最长距离对整体骨架进行标准化中，包括：分别计算各相连关节之间的距离d
i，j
，得到整体的距离集合D；选择距离集合D中的最大值d
max
，对相对于关节参照基准点的偏置进行标准化：，对相对于关节参照基准点的偏置进行标准化：5.根据权利要求2所述的一种人体行为识别方法，其特征在于，对人体骨架序列数据进行的预处理还包括：若某一帧中的人体关节的参照基准点未检测到，则丢弃该帧；若某一帧中人体的部分关节点未能检测到，缺失了一个或多个关节点坐标，则利用前后两帧中的关节坐标插值求出当前帧坐标。6.根据权利要求5所述的一种人体行为识别方法，其特征在于，所述利用前后两帧中的关节坐标插值求出当前帧坐标中的插值方式为：
其中t表示第t帧数据，分别代表第t帧数据对应的关节点坐标。7.根据权利要求1所述的一种人体行为识别方法，其特征在于，所述将人体行为帧窗口数据的分类以结构风险最小化为目标表示为二次规划问题，包括：给出一个人体行为数据集T，其中，X由x
l
组成，x
l
∈R1×
n
为特征列向量样本，R1×
n
代表维度为n，Y由y
l
组成，y
l
∈{1，
‑
1}为样本的类别标签，l＝1，
…
，m，代表对应第1个数据样本；通过分类函数将人体行为帧窗口数据进行分类，所述分类函数为f(X)＝ωX
T
+b#(2)其中，ω∈R1×
n
为两种特征向量之间的决策超平面的法向量，阈值b表示该超平面在特征空间中的位置，X
T
代表将特征向量进行转置操作；为使位于超平面两边的特征向量到达最大超平面的距离最大，可以得出这样的数学表示：s.t.y
l
(ωx
lT
+b)
‑
1≥0，l＝1，2，...，m#(4)引入一个松弛变量ξ
l
来减小间隔，则式(3)(4)将转变为二次规划问题：s.t.y
l
(ωx
l
+b)
‑
1+ξ
l
≥0#(6)ξ
l
≥0，l＝1，2，...，m#(7)其中C是一个惩罚系数，表示引入松弛变量ξ
i
之后带来的结构风险；引入拉格朗日乘子α
l
≥0，β
l
≥0，根据公式(6)、(7)列出公式(5)的拉格朗日方程：L(ω，b，α，β)中α、β代表对应等式与不等式约束的拉格朗日乘子；令L(ω，b，α，β)对ω、b、ξ的偏导为零，可得：
C＝α
l
+β
l
#(11)将式(9)(10)(11)代入公式(5)，可得其对偶问题：将式(9)(10)(11)代入公式(5)，可得其对偶问题：0≤α1，α2，...，α
m
≤C#(14)其中l，j代表对应数据样本的下标，代表特征向量两两相乘，求解出α，代入式(12)即可得到ω，而阈值b可通过公式(15)求出：8.根据权利要求1所述的一种人体行为识别方法，其特征在于，所述...

【专利技术属性】
技术研发人员：张智军，陈广强，潘安，黄三航，张梅，王涛，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：