基于体感技术的室内运动观测装置、方法及存储介质制造方法及图纸

基于体感技术的室内运动观测装置、方法及存储介质，所述装置包括：体感设备，用于获取并输出RGB图像以及深度信息；运动识别模块，用于根据深度信息，提取人体运动的特征向量，匹配并识别用户的运动类型，查询运动强度并计算得到用户的运动信息；运动库模块，包括保存有各种运动模型的动作数据库；运动强度模块，保存有各种不同运动类型的运动强度参数。本发明专利技术能够计算出用户的运动状态和类型，显示消耗的卡路里、耗氧量、运动时间等运动信息，方便用户查看，具有简洁方便，兼容性强和更具娱乐性的特点。

Indoor motion observation device, method and storage medium based on somatosensory Technology

Indoor movement observation device and method of somatosensory technology and storage medium based on the device comprises a body sensing device for obtaining and outputting RGB image and depth information; motion recognition module, according to the depth information, feature extraction, and recognition of human motion, motion type of the user, the query and calculation of motion intensity get the motion information of the user; the motion database module, including the preservation of the motion models of the motion database; exercise module, preservation of motion intensity parameters of different types of sports. The invention can calculate the movement state and the type of the user, display the sports information such as the consumed calories, the oxygen consumption, the movement time, and so on, which is convenient for the user to view, and has the characteristics of simplicity, convenience, compatibility and entertainment.

【技术实现步骤摘要】
基于体感技术的室内运动观测装置、方法及存储介质
本申请涉及图像识别及比较领域，具体的，涉及一种基于体感技术对室内运动进行观测的装置及方法。
技术介绍
近年来，随着工作和生活压力的增大，人们越来越热衷于运动，希望通过这种方式来改变自己的身心状态。运动分为室内和室外，但由于交通、天气以及空气质量原因，室内运动更受到大众的欢迎。室内运动时间长度可控，并且不会受到天气的限制，不管是炎热的夏季还是酷寒的冬季，此外在冬季空气质量不好是，室内一样可以达到较好的空气质量。如中国专利201520733691一种智能瑜伽垫，该方法提供了一种在室内做瑜伽的装置。这种只能监测瑜伽的运动消耗，功能单一，不能激起用户持续运动的热情。而且，一次只能观测一个人的运动状态，娱乐性不强，满足不了室内运动多样化的需求。而其它的一些运动监测设备往往需要在用户身上佩戴一些辅助部件，或者在专用的运动设备上进行，一方面给用户的使用感受度不好，另外一方面，上述专用的运动设备不仅耗资较大，而且在室内较为占用空间。因此，在室内运动的时候如何能够自由自在的运动，不佩戴任何辅助设备，且可以适用任何不同的运动形式，减少设备占地面积，提高运动娱乐性，成为现有技术亟需解决的技术问题。
技术实现思路
本专利技术的目的在于提出一种基于体感技术的室内运动观测装置及方法，能够计算出用户的运动状态和类型，显示消耗的卡路里、耗氧量、运动时间等运动信息，方便用户查看。为达此目的，本专利技术采用以下技术方案：一种基于体感技术的室内运动观测装置，包括：体感设备，用于拍摄用户，测量空间三维测量数据，并向运动识别模块输出RGB图像以及图像的深度信息；运动识别模块，用于根据每帧图像的深度信息，提取形成当前帧的人体运动的n维特征向量，并与动作数据库中的运动模型比较匹配，识别用户的运动类型，并查询运动强度模块，得到所述运动类型的运动强度，并根据运动强度以及用户的体重计算得到用户的运动信息：运动库模块，包括动作数据库，所述动作数据库中保存有各种运动类型的运动模型；运动强度模块，保存有各种不同运动类型的运动强度参数，以供运动识别模块查询并计算得到当前用户的运动类型的运动强度。可选的，在所述运动识别模块中，所述用于根据每帧图像的深度信息，提取形成人体运动的n维特征向量，并与动作数据库中的运动模型比较匹配，识别用户的运动类型具体为：根据每帧图像的深度信息，提取人体3D骨架，从人体3D骨架筛选出关键的关节点数据，并从关键的关节点数据中提取动作特征值，构造特征向量序列，将所述特征向量序列归一化，形成当前帧的人体动作的n维归一化特征向量，进行动作识别，计算当前的n维归一化特征向量与运动模型的特征向量的距离，如果距离小于对应的阈值，则认为动作匹配，连续匹配多个动作，判断判断出用户的运动类型。可选的，在所述运动识别模块中，在提取人体3D骨架还需要判断是否是儿童，如果是儿童，则对人体3D骨架的关节坐标进行归一化处理，所述归一化包括肢体尺寸归一、参考零点归一和方向归一；所述关键的关节点数据，包括脚、膝盖和臀的关节点数据；所述特征向量包括身体高度、运动速度、运动角度和运动轨迹；所述动作识别采用AP聚类算法，所述n维归一化特征向量与运动模型的特征向量的距离为欧式距离。可选的，所述动作数据库采用运动训练的方式，提前采集输入；所述用户的体重由体感设备获取用户的身高、三围计算得到或者自行输入。可选的，所述体感设备包括红外发射器，红外接收器，RGB摄像头和3D体感芯片。本专利技术还公开了一种基于体感技术的室内运动观测方法，包括如下步骤：步骤S110：拍摄用户，测量空间三维测量数据，并输出RGB图像以及图像的深度信息；步骤S120：根据每帧图像的深度信息，提取人体3D骨架，从人体3D骨架筛选出关键的关节点数据；步骤S130：从关键的关节点数据中提取动作特征值，构造特征向量序列，将所述特征向量序列归一化，形成当前帧的人体动作的n维归一化特征向量；步骤S140：利用所述n维归一化特征向量，进行动作识别，计算当前的n维归一化特征向量与动作数据库中运动模型的特征向量的距离，如果距离小于对应的阈值，则认为动作匹配，连续匹配多个动作，判断判断出用户的运动类型；步骤S150：根据所述用户的运动类型查询运动强度数据，得到所述运动类型的运动强度，并根据运动强度以及用户的体重计算得到用户的运动信息。可选的，在步骤S120中，在提取人体3D骨架还需要判断是否是儿童，如果是儿童，则对人体3D骨架的关节坐标进行归一化处理，归一化包括肢体尺寸归一、参考零点归一和方向归一；所述关键的关节点数据，主要包括脚、膝盖和臀的关节数据；在步骤S130中，所述特征向量包括身体高度、运动速度、运动角度和运动轨迹。可选的，在步骤S140中，在进行动作识别时采用AP聚类算法，所述n维归一化特征向量与运动模型的特征向量的距离为欧式距离；所述动作数据库采用运动训练的方式，提前采集输入。可选的，在步骤S150中，所述用户的体重由RGB图像中用户的身高、三围计算得到，或者自行设置。本专利技术进一步公开了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时执行上述的方法。本专利技术具有如下的优点：一是更加简洁方便，通过现有的体感摄像头和对应的应用软件实现，性价比高，方便携带，即插即用。二是兼容更多的运动类型，可以观测多种运动类型，例如瑜伽、跳舞、引体向上、俯卧撑、原地踏步等等，可以通过动作训练在动作数据库中输入更多的运动类型。三是更具娱乐性，采用体感摄像头，计算得到归一化的n维特征向量，因此可以同时观测多人，而且可以与游戏结合在一起，用户在运动时，不仅能够看到个人的运动信息，还能够进行游戏，既放松了身心，也达到了健身的目的，一举两得。附图说明图1是根据本专利技术具体实施例的室内运动观测装置的使用状态图；图2是根据本专利技术具体实施例的室内运动观测装置的模块图；图3是根据本专利技术具体实施例的体感设备的模块图；图4是根据本专利技术具体实施例的室内运动观测方法的流程图。图中的附图标记所分别指代的技术特征为：10、体感设备；20、运动识别模块；30、运动库模块；40、运动强度模块；11、红外发射器；12、红外接收器；13、RGB摄像头；14、3D体感芯片。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。相对于现有的运动监测设备往往需要在用户身上佩戴一些辅助部件，或者在专用的运动设备上进行。体感技术能够通过体感技术，实现对人物的精确检测和跟踪，并对动作、人物运动轨迹、运动状态进行检测及分析，并进而得到人体的运动信息。本专利技术使用体感设备，实时采集用户的深度信息和RGB图像信息，在体感摄像头面前，用户可以随意做想做的运动，例如瑜伽、引体向上、俯卧撑、原地踏步、跳舞等，在对人物精确的检测、跟踪，实现对动作姿态和人物运动轨迹的检测和分析，并与之前存储的动作数据库做比较，识别出用户的运动类型和状态，并相应的通过用户的体重，查询该运动类型对应的运动强度，计算出用户的消耗的卡路里、耗氧量、运动时间等运动信息，并相应的进行显示，以方便用户查看本文档来自技高网...

【技术保护点】
一种基于体感技术的室内运动观测装置，包括：体感设备，用于拍摄用户，测量空间三维测量数据，并向运动识别模块输出RGB图像以及图像的深度信息；运动识别模块，用于根据每帧图像的深度信息，提取形成当前帧的人体运动的n维特征向量，并与动作数据库中的运动模型比较匹配，识别用户的运动类型，并查询运动强度模块，得到所述运动类型的运动强度，并根据运动强度以及用户的体重计算得到用户的运动信息；运动库模块，包括动作数据库，所述动作数据库中保存有各种运动类型的运动模型；运动强度模块，保存有各种不同运动类型的运动强度参数，以供运动识别模块查询并计算得到当前用户的运动类型的运动强度。

【技术特征摘要】
1.一种基于体感技术的室内运动观测装置，包括：体感设备，用于拍摄用户，测量空间三维测量数据，并向运动识别模块输出RGB图像以及图像的深度信息；运动识别模块，用于根据每帧图像的深度信息，提取形成当前帧的人体运动的n维特征向量，并与动作数据库中的运动模型比较匹配，识别用户的运动类型，并查询运动强度模块，得到所述运动类型的运动强度，并根据运动强度以及用户的体重计算得到用户的运动信息；运动库模块，包括动作数据库，所述动作数据库中保存有各种运动类型的运动模型；运动强度模块，保存有各种不同运动类型的运动强度参数，以供运动识别模块查询并计算得到当前用户的运动类型的运动强度。2.根据权利要求1所述的室内运动观测装置，其特征在于：在所述运动识别模块中，所述用于根据每帧图像的深度信息，提取形成人体运动的n维特征向量，并与动作数据库中的运动模型比较匹配，识别用户的运动类型具体为：根据每帧图像的深度信息，提取人体3D骨架，从人体3D骨架筛选出关键的关节点数据，并从关键的关节点数据中提取动作特征值，构造特征向量序列，将所述特征向量序列归一化，形成当前帧的人体动作的n维归一化特征向量，进行动作识别，计算当前的n维归一化特征向量与运动模型的特征向量的距离，如果距离小于对应的阈值，则认为动作匹配，连续匹配多个动作，判断判断出用户的运动类型。3.根据权利要求2所述的室内运动观测装置，其特征在于：在所述运动识别模块中，在提取人体3D骨架还需要判断是否是儿童，如果是儿童，则对人体3D骨架的关节坐标进行归一化处理，所述归一化包括肢体尺寸归一、参考零点归一和方向归一；所述关键的关节点数据，包括脚、膝盖和臀的关节点数据；所述特征向量包括身体高度、运动速度、运动角度和运动轨迹；所述动作识别采用AP聚类算法，所述n维归一化特征向量与运动模型的特征向量的距离为欧式距离。4.根据权利要求1-3中任意一项所述的室内运动观测装置，其特征在于：所述动作数据库采用运动训练的方式，提前采集输入；所述用户的体重由体感设备获...

【专利技术属性】
技术研发人员：周晓军，李骊，杨高峰，李朔，王行，
申请(专利权)人：南京华捷艾米软件科技有限公司，
类型：发明
国别省市：江苏,32