人体动作识别计数方法技术

本发明专利技术公开了一种人体动作识别计数方法，包括以下步骤：将人体动作分解为冠状面和矢状面两个平面内的动作，采集人体平面内动作实时视频图像，将所述实时视频图像进行分帧和预处理后，输入人体关键骨骼点检测网络模型，输出每帧图像上的人体关键骨骼点检测结果；将得到的所述人体关键骨骼点检测结果输入预先配置的动作状态特征机，所述动作状态特征机按照所述人体关键骨骼点的置信度约束条件和特征点约束条件，确定用户是否完成对应动作。本发明专利技术采用一个通用模型匹配不同动作状态特征机，代码复用率高且计算量小，占用存储空间小，特征表达强，在保证计数准确的同时，具有更快的系统响应速度。统响应速度。

【技术实现步骤摘要】
人体动作识别计数方法


[0001]本专利技术属于图像识别
，具体涉及一种人体动作识别计数方法。

技术介绍

[0002]人体动作识别主要应用于公共场所、医院、安全等方面；手势识别大部分应用于智能家居的感知与控制、教育学习、非能力限制的人员的表达等。一般处理人体动作识别，都是采用以下流程：首先收集数据，接着对收集到的数据进行预处理并提取出特征量，然后训练和分类，最后实现人体动作的识别。人体动作的坐标系按照人体解剖学姿势将人体分为三个平面，作为人体的基本标志，如图1所示，包括，矢状面通过躯干纵轴、前后位的垂直平面，将人体分为左右两半；冠状面，与矢状面成直角的垂直平面，将人体分为前后(背侧与腹侧)两部分；水平面又称横切面。通过人体与地平面平行的任一平面，将人体分为上下两部分。根据人体运动的特点，人体动作识别主要研究对象为矢状面和冠状面内的动作。
[0003]CN201910361909中公开了一种人体动作识别方法，包括对人体骨骼关节点的三维坐标数据进行特征提取，将所有的特征向量分到与之最近的聚类中心形成各个簇，计算各个簇的多元高斯分布概率密度函数和每一特征向量在各个簇的多元高斯概率密度值，将每一个特征向量重新分配至概率密度最大的簇中；利用最大似然估计更新各个簇的多元高斯分布函数参数，根据最终分配结果计算各个动作类型的隶属度，对每个簇的隶属度向量进行加权，最后判断该动作属于得分最高的动作类型。但是采用这种技术也大大增加了系统的计算量，特别是面对复杂动作的识别难以实时实现。

技术实现思路

[0004]本专利技术的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。
[0005]本专利技术的目的在于提供一种人体动作识别计数方法，该方法采用一个通用模型匹配不同动作状态特征机，代码复用率高且计算量小，占用存储空间小，特征表达强，在保证计数准确的同时，具有更快的系统响应速度。
[0006]为了实现根据本专利技术的这些目的和其它优点，提供了一种人体动作识别计数方法，包括以下步骤：
[0007]步骤一，采集不同场景下的各种人体动作的图像，将所述人体动作分解为冠状面和矢状面两个平面内的动作图像，将所述动作图像进行分帧和预处理后，采用深度学习获得人体关键骨骼点检测网络模型，所述人体关键骨骼点检测网络模型输出人体关键骨骼点的置信度与坐标；
[0008]步骤二，引导用户在指定平面内完成静止准备动作，将所述静止准备动作图像输入所述人体关键骨骼点检测网络模型，再将得到的所述人体关键骨骼点检测结果输入预先配置的动作状态特征机，所述动作状态特征机按照所述人体关键骨骼点的置信度约束条件和特征点约束条件，确定用户是否完成所述静止准备动作，从而完成准备阶段，激活计数功
能；
[0009]步骤三，引导用户在指定平面内完成后续动作，将所述平面内后续动作分解为若干时序子状态,进入计数阶段；将所述子状态动作图像输入所述人体关键骨骼点检测网络模型，再将得到的所述人体关键骨骼点检测结果输入所述动作状态特征机，所述动作状态特征机按照所述人体关键骨骼点的时序约束条件和临界特征点约束条件，判断每个所述子状态内所述人体关键骨骼点在平面内至少经历上抬、下降、屈曲、伸展中的任意一项，确定所有所述人体关键骨骼点完整地按顺序经历所述所有子状态，动作计数值加1。
[0010]优选的是，其中所述的人体关键骨骼点检测网络模型由深度学习获得，其训练数据为不同场景下的包含有各类人体姿态的图像，其输出为人体11个关键骨骼点的置信度与坐标；所述人体11个关键骨骼点依次为：鼻子、左肩、右肩、左手腕、右手腕、左臀骨、右臀骨、左膝盖、右膝盖、左脚踝、右脚踝。
[0011]优选的是，其中所述人体冠状面内的准备动作为：人体站立，双手呈V 字形摆放于身体上放，双脚自然张开站立，并保持人体大致位于图像中央；
[0012]所述人体冠状面内的准备动作的动作状态特征机的完整约束条件如下：
[0013][0014][0015]T{P
t
∩C
t
}＝T{P
t
}
×
T{C
t
}＝1
[0016]式中，P
t
表示关键骨骼点的置信度约束条件，C
t
表示关键骨骼点的特征约束条件，P
t
∩C
t
表示联合约束条件，t表示输入的图像帧序号，P
i,t
表示第t帧图像上的第i个骨骼点的置信度，P
i,t
∈[0,1]，x
i,t
和y
i,t
分别表示第t帧图像上的第i个骨骼点的横、纵坐标，l
w
和lh分别表示图像的Y轴和Z轴方向上的像素总数；
[0017]T{*}为自定义算子，当条件成立时，T{*}＝1，反之，T{*}＝0；T{*}满足交换律和结合律；计算如下式：
[0018][0019]式中，v
t,i,j
和v
t,i,k
表示向量，
·
表示向量乘法，‖*‖表示向量求模；向量v
t,i,j
计算如下式：
[0020]v
t,i,j
＝(x
i,t
‑
x
j,t
,y
i,t
‑
y
j,t
)
[0021]向量v
t,i,k
计算同理；w0～w3，h0～h4，a0～a3为经验常数值；
[0022]后续调用的人体尺寸特征值分别为：
[0023][0024][0025][0026]m3＝m1‑
m2[0027]式中，m0表示肩宽，m1表示肩高(肩膀到脚踝的高度)，m2表示上身长 (肩膀到臀部的高度)，m3表示下身长(臀部到脚踝的高度)。
[0028]优选的是，其中所述平面内的人体关键骨骼点的上抬和下降动作的动作状态特征机的完整约束条件如下：
[0029][0030][0031]式中，Δt的为每片实际帧数的间隔时间；在第(t
‑
Δt)帧到第t帧这段时间内，若T{U
t
}＝1，表示人体关键骨骼点正在沿Z轴上抬；若T{D
t
}＝1，表示人体关键骨骼点正在沿Z轴下降；h5～h6，H0～H1为经验常数值。
[0032]优选的是，其中所述平面内的人体关键骨骼点的屈曲和伸展动作的动作状态特征机的完整约束条件如下：
[0033][0034][0035]式中，在第(t
‑
Δt)帧到第t帧这段时间内，若T{L
t
}＝1，表示人体关键骨骼点正在沿Y轴伸展；若T{M
t
}＝1，表示人体关键骨骼点正在沿Y轴屈曲； w4～w5，W0～W1为经验常数值。
[0036]优选的是，其中所述平面内后续动作的计数阶段共分解为N
s
个子状态，所述每个子状态的动作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体动作识别计数方法，其特征在于，包括以下步骤：步骤一，采集不同场景下的各种人体动作的图像，将所述人体动作分解为冠状面和矢状面两个平面内的动作图像，在对所述动作图像进行分帧和预处理后，采用深度学习获得人体关键骨骼点检测网络模型，所述人体关键骨骼点检测网络模型输出人体关键骨骼点的置信度与坐标；步骤二，引导用户在指定平面内完成静止准备动作，将所述静止准备动作图像输入所述人体关键骨骼点检测网络模型，再将得到的所述人体关键骨骼点检测结果输入预先配置的动作状态特征机，所述动作状态特征机按照所述人体关键骨骼点的置信度约束条件和特征点约束条件，确定用户是否完成所述静止准备动作，从而完成准备阶段，激活计数功能；步骤三，引导用户在指定平面内完成后续动作，将所述平面内后续动作分解为若干时序子状态，进入计数阶段；将所述子状态动作图像输入所述人体关键骨骼点检测网络模型，再将得到的所述人体关键骨骼点检测结果输入所述动作状态特征机，所述动作状态特征机按照所述人体关键骨骼点的时序约束条件和临界特征点约束条件，判断每个所述子状态内所述人体关键骨骼点在平面内至少经历上抬、下降、屈曲、伸展中的任意一项，确定所有所述人体关键骨骼点完整地按顺序经历所述所有子状态，动作计数值加1。2.如权利要求1所述的人体动作识别方法，其特征在于，所述的人体关键骨骼点检测网络模型由深度学习获得，其训练数据为不同场景下的包含有各类人体姿态的图像，其输出为人体11个关键骨骼点的置信度与坐标；所述人体11个关键骨骼点依次为：鼻子、左肩、右肩、左手腕、右手腕、左臀骨、右臀骨、左膝盖、右膝盖、左脚踝、右脚踝。3.如权利要求2所述的人体动作识别方法，其特征在于，所述人体冠状面内的准备动作为：人体站立，双手呈V字形摆放于身体上放，双脚自然张开站立，并保持人体大致位于图像中央；所述人体冠状面内的准备动作的动作状态特征机的完整约束条件如下：征机的完整约束条件如下：T{P
t
∩C
t
}＝T{P
t
}
×
T{C
t
}＝1式中，P
t
表示关键骨骼点的置信度约束条件，C
t
表示关键骨骼点的特征约束条件，P
t
∩C
t
表示联合约束条件，t表示输入的图像帧序号，P
i，t
表示第t帧图像上的第i个骨骼点的置信度，P
i，t
∈[0，1]，x
i，t
和y
i，t
分别表示第t帧图像上的第i个骨骼点的横、纵坐标，l
w
和l
h
分别表示图像的Y轴和Z轴方向上的像素总数；T{*}为自定义算子，当条件成立时，T{*}＝1，反之，T{*}＝0；T{*}满足交换律和结合律；计算如下式：
式中，v
t，i，j
和v
t，i，k
表示向量，
·
表示向量乘法，||*||表示向量求模；向量v
t，i，j
计算如下式：v
t，i，j
＝(x
i，t
‑
x
j，t
，y
i，t
‑
Y
j，t
)向量v
t，i，...

【专利技术属性】
技术研发人员：李世伟，周世镒，胡征慧，刘庆杰，王蕴红，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：