一种基于卷积神经网络的人体运动姿态自动检测方法技术

本发明专利技术公开了一种基于卷积神经网络的人体运动姿态自动检测方法，步骤包括：采集运动图像并进行预处理；分割人体图像与场景图像；提取人体关键点信息；基于关键点生成特征向量；计算特征向量夹角；调用神经网络诊断模型判定运动姿态。本发明专利技术提出基于卷积神经网络模型进行人体运动姿态的实时诊断，所设计方法适用于不同运动场景和多种人体动作，解决了普通人群由于缺乏专业培训而无法判断运动姿态是否错误的难题，为提升普通人群运动质量提供了一种可行的低成本解决方案。

【技术实现步骤摘要】
一种基于卷积神经网络的人体运动姿态自动检测方法
本专利技术属于人工智能领域，具体地说是涉及一种用于人体运动姿态自动检测和判定的方法。
技术介绍
随着社会的发展以及国民健康意识的增强，越来越多的人开始选择在工作之余参与各类运动。普通人群由于缺乏专业培训无法及时发现并纠正自身运动姿势的错误，不仅影响运动效果，还可能带来不必要的身体损害。聘请专业教练进行指导可以有效解决以上问题，但相关辅导费用及其昂贵。因此，开发一种智能化、低成本的运动姿态自动检测技术将有助于提升国民的运动质量，降低运动风险。研究人员针对人体运动姿态的检测和判定提出了多种可行方法。专利CN110743153A、CN110478883A基于多传感器实时数据进行姿态计算，系统稳定可靠，但部署成本高、难度大。专利CN110188599A、CN110163038A针对连续运动过程中人体关节点位置图像，基于深度学习模型进行运动姿态判定，但由于需针对不同姿态分别建模，该方法通用性不强且预测准确度较低。专利CN110298218A、CN110170159A提取运动图像中人体关节点夹角，并与参考阈值范围进行比较，依据是否超出阈值进行运动姿态判定，由于阈值范围设置人为主观性较强，且不同姿态设计关节点位置与数量亦不同，因此该方法可靠性和稳定性较低。综上所述，现有技术方案均存在不足之处，无法完全实现低成本、高可靠的人体运动姿态自动检测。
技术实现思路
本专利技术的目的是，为克服现有技术的缺陷，提出一种基于卷积神经网络的人体运动姿态实时检测和评估方法。为实现上述目的，本专利技术采用如下技术方案：利用图像采集装置实时采集运动影像所述图像采集装置可以为CCD相机或CMOS相机。进一步的，对所采集影像进行帧处理，生成适用于视觉识别的帧序列。进一步的，对单帧图像进行背景分割，获得人体图像。进一步的，将人体图像传入神经网络模型进行关键点检测。所述关键点包括左眼、右眼、鼻子、左耳、右耳、胸口、左肩、右肩、左肘、右肘、左手腕、右手腕、左髋、右髋、左膝、右膝、左踝、右踝。根据检测结果标记关键点坐标为(xi，yi)，其中，检测失败关键点的坐标标记为(0，0)。若成功检测关键点数量不足，提取下一帧图像重复步骤[0012]至[0014]。进一步的，针对半身或全身躺卧姿态，通过计算鼻子和脚踝的坐标关系判断人体头部朝向。令(x1，y1)为鼻子，(x17，y17)为左踝，(x18，y18)为右踝，当x17/18-x1＞0时，头部朝左；当x17/18-x1＜0时，头部朝右。进一步的，针对半身或全身直立姿态，通过计算左肩和右肩的坐标关系判断人体是否面向摄像头。令(x6，y6)为左肩，(x7，y7)为右肩，当x6-x7＜0时，人体面向摄像头；x6-x7＞0时，人体背向摄像头。进一步的，计算关键点(xi，yi)指向关键点(xj，yj)的特征向量的模，令：进一步的，根据特征向量模计算特征向量夹角，令：其中，为首尾相连的目标向量，为由起点指向终点的辅助向量，θ为与之间夹角。进一步的，以不同关键点间特征向量夹角构成特征向量夹角序列。进一步的，以特征向量夹角序列作为输入参数建立卷积神经网络模型，并使用含有标准姿态和非标准姿态图像的样本集集对模型进行训练。所述卷积神经网络模型适用于不同运动姿态，包括四个卷积层和四个池化层，采用softmax分类器对姿态进行分类。进一步的，实时诊断运动姿态时，先将视频图像分割成帧序列，然后对单帧图像进行处理，最后以特征向量夹角序列作为输入参数传入神经网络模型进行预测分析。附图说明图1为本专利技术检测和判定运动姿态的流程图；图2为本专利技术检测人体关键点的示意图；图3为本专利技术建立的卷积神经网络模型结构图；图4为本专利技术提取标准俯卧撑姿态特征向量及其夹角的示意图；图5为本专利技术提取不标准俯卧撑姿态特征向量及其夹角的示意图；图6为本专利技术提取标准举哑铃姿态特征向量及其夹角的示意图；图7为本专利技术提取不标准举哑铃姿态特征向量及其夹角的示意图；具体实施方式下面结合具体运动姿态及附图，详述本项目的实现过程：以下运动姿态仅作为功能演示，并不代表本专利技术全部适用的运动姿态实施方法。如图1所示，本专利技术所述一种基于卷积神经网络的人体运动姿态自动检测方法，其流程包括：采集运动图像并进行预处理；分割人体图像与场景图像；提取人体关键点信息；基于关键点生成特征向量；计算特征向量夹角；调用神经网络诊断模型判定运动姿态。如图2所示，本专利技术所述卷积神经网络模型包括四个卷积层和四个池化层，采用softmax分类器对姿态进行分类。如图3所示，提取的人体关键点包括：鼻子(x1，y1)、胸口(x2，y2)、左眼(x3，y3)、右眼(x4，y4)、左耳(x5，y5)、右耳(x6，y6)、左肩(x7，y7)、右肩(x8，y8)、左肘(x9，y9)、右肘(x10，y10)、左手腕(x11，y11)、右手腕(x12，y12)、左髋(x13，y13)、右髋(x14，y14)、左膝(x15，y15)、右膝(x16，y16)、左踝(x17，y17)、右踝(x18，y18)。以下以“俯卧撑”和“举哑铃”两种运动姿态详述人体水平贴于地面和直立动作的检测及判断过程：“俯卧撑”检测及判断过程：利用图像采集装置实时采集运动影像。对每一帧图像进行背景分割，获得目标图像。对所采集影像进行帧处理，生成适用于视觉识别的帧序列。对单帧图像进行背景分割，获得人体图像。将人体图像传入神经网络模型进行关键点检测。俯卧撑所需的关键点为：鼻、肩膀、髋、膝盖以及脚踝。当左髋和右髋，左膝和右膝，左踝和右踝关键点都存在时，取一边坐标用以计算，令：鼻F1(x1，y1)、左肩F7(x7，y7)、左髋F13(x13，y13)、左膝F15(x15，y15)、左脚踝F17(x17，y17)。当x17/18-x1＞0时，头部朝左；当x17/18-x1＜0时，头部朝右。如图4所示，俯卧撑动作所需要构成的特征向量为：左肩和左髋构成指向左肩的向量左髋和左膝构成指向左髋的向量左膝和左踝构成指向左膝的向量由公式判断出与的夹角为θ1，与的夹角为θ2。将θ1、θ2组成的夹角序列作为输入参数建立卷积神经网络模型，并使用含有标准姿态和非标准姿态图像的样本集集对模型进行训练。实时诊断运动姿态时，先将视频图像分割成帧序列，然后对单帧图像进行处理，最后以特征向量夹角序列作为输入参数传入神经网络模型进行预测分析。如图4所示，若经[0053]判断为合格，则进入下一帧图像，若判断为不合格，网络输出不合格类型，系统根据网络输出给出纠正方法，如图5所示，网络输出臀部过低，系统将提示臀部需上抬。“举哑铃”检测及判断过本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的人体运动姿态自动检测方法，包括：采集运动图像并进行预处理；分割人体图像与场景图像；提取人体关键点信息；基于关键点生成特征向量；计算特征向量夹角；调用神经网络诊断模型判定运动姿态。/n

【技术特征摘要】
1.一种基于卷积神经网络的人体运动姿态自动检测方法，包括：采集运动图像并进行预处理；分割人体图像与场景图像；提取人体关键点信息；基于关键点生成特征向量；计算特征向量夹角；调用神经网络诊断模型判定运动姿态。


2.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法，其特征在于：所述图像预处理操作包括灰度化、滤波、形态学处理、二值化及像素调整。


3.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法，其特征在于：利用基于神经网络的语义分割技术将人体图像与场景图像进行切割。


4.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法，其特征在于：针对半身或全身躺卧姿态，通过计算鼻子和脚踝的坐标关系判断人体头部朝向。令(x1,y1)为鼻子，(x17,y17)为左踝，(x18,y18)为右踝，当x17/18-x1>0时，头部朝左；当x17/18-x1<0时，头部朝右。针对半身或全身直立姿态，通过计算左肩和右肩的坐标关系判断人体是否面向摄像头。令(...

【专利技术属性】
技术研发人员：张博，方祝平，邓安宁，邓黎，赵文昊，
申请(专利权)人：成都工业学院，
类型：发明
国别省市：四川;51