基于深度学习的健身房健身动作识别方法及装置制造方法及图纸

基于深度学习的健身房健身动作识别方法，以实时视频作为媒介，采用基于深度学习的方法对其进行动作规范性识别，包括如下步骤：(1)数据采集，将规范动作记录为规范动作图像；(2)数据标注，对规范动作图像进行规范动作分类；(3)数据训练，采用深度学习方法Caffe中基于卷积神经网络的物体检测识别框架，得到规范动作识别模型；(4)动作识别，对用户进行拍摄，识别出与规范动作识别模型中规范动作分类相符的用户动作；(5)动作评分，输出规范相似度评分以及修正方案。不需要用户穿戴、替换昂贵的设备，成本可控；以目前在智能终端中流行且方便使用的视频作为媒介，给用户生成精准运动数据，纠正错误动作，达到更好的健身效果。

【技术实现步骤摘要】
基于深度学习的健身房健身动作识别方法及装置
本专利技术涉及图像识别
，具体是基于深度学习的健身房健身动作识别方法及装置。
技术介绍
动作的规范性在健身活动中尤其重要，如何才能正确的锻炼就成了一个至关重要的问题。不规范的动作将导致健身活动事倍功半，使健身效果跟预期的不对称，另外不规范的动作存在运动损伤的风险，而聘请健身教练对于很多人来说也是一笔较大的开销。为了解决这一问题，较为高端的健身系统开始尝试动作识别，但大多是采用可穿戴设备进行辅助，例如运动手环、鞋子、衣服、臂环、眼镜、手机等，需要用户主动参与，比较繁琐。还有其他非视频传感器安装在健身设备上，耦合性强，成本极高。而目前主流的健身房大多都是传统设备，若要替换成上述设备，必然价格昂贵，远超普通用户的预算。与此同时，人体行为识别作为智能视频分析领域的一个研究热点。自2006年加拿大多伦多大学教授GeoffreyHinton对深度学习的提出以及模型训练方法的改进打破了BP神经网络发展的瓶颈开始，深度学习成为机器学习领域最热门的研究方向，智能语音识别、即时翻译、图像识别等领域不断有新突破。因此，申请人针对健身运动的动作规范，进行了基于深度学习的健身房健身动作识别技术的研究。
技术实现思路
基于上述目的，本专利技术提供了一种基于深度学习的健身房健身动作识别方法及装置，以目前在智能终端中流行且方便使用的视频作为媒介，采用基于深度学习的方法进行动作规范性识别。其中，本专利技术的基于深度学习的健身房健身动作识别方法采用了如下的技术方案。基于深度学习的健身房健身动作识别方法，以实时视频作为媒介，采用基于深度学习的方法对其进行动作规范性识别，包括如下步骤：(1)数据采集，对示范动作进行拍摄，将规范动作记录为规范动作图像；(2)数据标注，通过标注的方式对步骤(1)获得的规范动作图像进行规范动作分类；(3)数据训练，采用深度学习方法Caffe中基于卷积神经网络的物体检测识别框架，对步骤(2)进行规范动作分类后的规范动作图像进行识别训练，得到规范动作识别模型；(4)动作识别，对用户进行拍摄，并通过步骤(3)获得的规范动作识别模型，对实时视频中的用户图像进行搜索，识别出与规范动作识别模型中规范动作分类相符的用户动作；(5)动作评分，对于步骤(4)识别出的用户动作，通过规范动作识别模型将其与相应的规范动作分类中的规范动作图像比较运算，并输出规范相似度评分以及修正方案。其中，本专利技术的基于深度学习的健身房健身动作识别装置，用于实现所述的基于深度学习的健身房健身动作识别方法，包括：摄像头或光学传感器，用于所述的基于深度学习的健身房健身动作识别方法步骤(1)中对示范动作进行拍摄，及其步骤(4)中对用户进行拍摄；处理模块与处理中心，用于所述的基于深度学习的健身房健身动作识别方法步骤(3)中对规范动作图像进行识别训练得到规范动作识别模型，以及用于步骤(4)中识别用户动作，还用于步骤(5)中对用户动作进行比较运算并输出规范相似度评分；云平台，用于存储所述的基于深度学习的健身房健身动作识别方法步骤(5)中获得的规范相似度评分及修正方案；智能终端，用于从所述的云平台下载所述的规范相似度评分及修正方案。与现有技术相比，本专利技术的有益效果在于：不需要用户穿戴、替换昂贵的设备，成本可控；以目前在智能终端中流行且方便使用的视频作为媒介，采用基于深度学习的方法进行动作规范性识别，识别模型可编辑，并且能提供准确的健身动作识别结果，给用户生成精准运动数据，纠正错误动作，减少健身教练的繁琐工作，甚至替代健身教练，达到更好的健身效果。下面结合说明附图和具体实施方式对本专利技术做进一步的说明。附图说明图1是本专利技术的基于深度学习的健身房健身动作识别装置的结构示意图。具体实施方式本专利技术首先提出了一种基于深度学习的健身房健身动作识别方法，以实时视频作为媒介，采用基于深度学习的方法对其进行动作规范性识别，包括如下步骤：(1)数据采集，对示范动作进行拍摄，将规范动作记录为规范动作图像；在本步骤中，根据规范动作图像提取的人体姿势与动作特征来判断所属的运动项目，比如：跑步、哑铃等等，并按运动项目分别存储为不同的特征模板库文件；(2)数据标注，通过标注的方式对步骤(1)获得的规范动作图像进行规范动作分类；在本步骤中，系针对特征模板库文件进行操作；(3)数据训练，采用深度学习方法Caffe中基于卷积神经网络的物体检测识别框架，对步骤(2)进行规范动作分类后的规范动作图像进行识别训练，得到规范动作识别模型；(4)动作识别，对用户进行拍摄，并通过步骤(3)获得的规范动作识别模型，对实时视频中的用户图像进行搜索，识别出与规范动作识别模型中规范动作分类相符的用户动作；(5)动作评分，对于步骤(4)识别出的用户动作，通过规范动作识别模型将其与相应的规范动作分类中的规范动作图像比较运算，并输出规范相似度评分以及修正方案。进一步的，所述的步骤(1)，拍摄的方式为对包括但不限于身高、性别、体态等身体特征各不相同的多名专业健身教练进行多角度拍摄。进一步的，所述的步骤(2)，规范动作分类的标注参数包括但不限于对图像中头、脸、手掌、上臂、下臂、躯干、大腿、小腿、脚等身体部位进行颜色标记或者框选标记。进一步的，所述的步骤(3)，规范动作识别模型学习并记忆包括但不限于身体部位在图像中的相对位置、是否移动、移动幅度、移动速度、移动频率等规范运动值。进一步的，所述的步骤(4)根据规范动作识别模型对用户动作中包括但不限于身体部位在图像中的相对位置、是否移动、移动幅度、移动速度、移动频率等用户运动值进行识别。进一步的，所述的步骤(5)根据规范动作识别模型中的规范运动值设定不同数值偏离的门限值，通过用户运动值及门限值的比对结果作为输出规范相似度评分及修正方案的参考数据。进一步的，所述的步骤(2)，规范动作分类的标注参数包括但不限于身高、性别、体态等身体特征以及拍摄角度。进一步的，所述的步骤(3)，按规范动作分类的标注参数对规范动作图像进行分组训练，得到与之相应的规范动作识别模型分组。进一步的，所述的步骤(4)，采用与规范动作分类的标注参数相应的身体特征对用户进行用户参数定义，并采用与该用户参数最接近的规范动作识别模型分组对实时视频中的用户图像进行识别。对实时视频中的用户图像进行识别的一种具体过程是：首先进行背景识别，将人体与场景背景进行实现区分识别；然后根据身体部位对人体进行分割识别，然后采用规范动作识别模型对各身体部位进行动作参数统计和动作匹配。以摆臂为例，向训练好的规范动作识别模型直接输入用户图像，如果图像中有用户的人体图形，规范动作识别模型会直接识别出用户的身体部位在图像中的位置以及类别，还可以对人脸进行识别判断用户的性别、年龄，从而为其匹配规范动作识别模型分组；然后识别身体部位在图像中的位置变化情况，根据位置变化情况直接判定其是否在摆臂、摆臂幅度大小、速度多少、频率多少等数据，将其与规范动作识别模型中的规范运动值及门限值做比较，每个门限值都对应相应的不规范说明和分数，若小于某门限，则输出对应不规范纠正方法和说明的修正方案，并扣掉对应分数，最后满足门限的分数相加即是最终的规范相似度评分。具体识别过程由计算机进行运算，其中涉及主要算法如下：步骤一：算法处理模块(或G本文档来自技高网...

【技术保护点】
基于深度学习的健身房健身动作识别方法，其特征是，以实时视频作为媒介，采用基于深度学习的方法对其进行动作规范性识别，包括如下步骤：(1)数据采集，对示范动作进行拍摄，将规范动作记录为规范动作图像；(2)数据标注，通过标注的方式对步骤(1)获得的规范动作图像进行规范动作分类；(3)数据训练，采用深度学习方法Caffe中基于卷积神经网络的物体检测识别框架，对步骤(2)进行规范动作分类后的规范动作图像进行识别训练，得到规范动作识别模型；(4)动作识别，对用户进行拍摄，并通过步骤(3)获得的规范动作识别模型，对实时视频中的用户图像进行搜索，识别出与规范动作识别模型中规范动作分类相符的用户动作；(5)动作评分，对于步骤(4)识别出的用户动作，通过规范动作识别模型将其与相应的规范动作分类中的规范动作图像比较运算，并输出规范相似度评分以及修正方案。

【技术特征摘要】
1.基于深度学习的健身房健身动作识别方法，其特征是，以实时视频作为媒介，采用基于深度学习的方法对其进行动作规范性识别，包括如下步骤：(1)数据采集，对示范动作进行拍摄，将规范动作记录为规范动作图像；(2)数据标注，通过标注的方式对步骤(1)获得的规范动作图像进行规范动作分类；(3)数据训练，采用深度学习方法Caffe中基于卷积神经网络的物体检测识别框架，对步骤(2)进行规范动作分类后的规范动作图像进行识别训练，得到规范动作识别模型；(4)动作识别，对用户进行拍摄，并通过步骤(3)获得的规范动作识别模型，对实时视频中的用户图像进行搜索，识别出与规范动作识别模型中规范动作分类相符的用户动作；(5)动作评分，对于步骤(4)识别出的用户动作，通过规范动作识别模型将其与相应的规范动作分类中的规范动作图像比较运算，并输出规范相似度评分以及修正方案。2.根据权利要求1所述的基于深度学习的健身房健身动作识别方法，其特征是，所述的步骤(1)，拍摄的方式为对包括但不限于身高、性别、体态等身体特征各不相同的多名专业健身教练进行多角度拍摄。3.根据权利要求2所述的基于深度学习的健身房健身动作识别方法，其特征是，所述的步骤(2)，规范动作分类的标注参数包括但不限于对图像中头、脸、手掌、上臂、下臂、躯干、大腿、小腿、脚等身体部位进行颜色标记或者框选标记。4.根据权利要求3所述的基于深度学习的健身房健身动作识别方法，其特征是，所述的步骤(3)，规范动作识别模型学习并记忆包括但不限于身体部位在图像中的相对位置、是否移动、移动幅度、移动速度、移动频率等规范运动值。5.根据权利要求4所述的基于深度学习的健身房健身动作识别方法，其特征是，所述的步骤(4)根据规范动作识别模型对用户动作中包括但不限于身体部位在图像中的相对位置、是否移...

【专利技术属性】
技术研发人员：杨耿，王冠颖，向涛，
申请(专利权)人：前海健匠智能科技深圳有限公司，
类型：发明
国别省市：广东,44