一种视频中运动姿势相似度比对方法技术

本发明专利技术属于计算机视觉领域，为视频中运动姿势相似度比对方法，包括步骤：数据提取，并生成含有多个人体节点的骨架关键节点图；数据预处理，生成节点时序状态图；去除节点时序状态图中无变化部分，只保留节点在不同时间下的变化状态，生成节点时序变化特征图；根据节点时序变化特征图，通过差异算法计算得到差异值，综合每个节点在不同时间段的差异值组成全部节点的差异矩阵；根据差异矩阵通过相似度算法，计算出两个动作在动作姿势、动作幅度、动作速度三个维度的相似度。通过本发明专利技术所提供的相似度比对技术可高效快速准确的比对出运动姿势包括动作姿势、动作速度、动作幅度三个维度的相似度，可以应用在体育运动、健身纠错等领域。

A similarity comparison method of motion posture in video

The invention belongs to the field of computer vision, which is a method for comparing the similarity of motion postures in video, including the steps of: data extraction, and generating skeleton key node graph with multiple human body nodes; data preprocessing, and generating node timing state graph; removing the unchanged part of node timing state graph, only keeping the node's changing state at different times, and generating node timing change Feature map: according to the time sequence change feature map of nodes, the difference value is calculated by difference algorithm, and the difference matrix of all nodes is composed of the difference values of each node in different time periods; according to the difference matrix, the similarity of two actions in three dimensions of action posture, action amplitude and action speed is calculated by similarity algorithm. Through the similarity comparison technology provided by the invention, the similarity of three dimensions of motion posture, including motion posture, motion speed and motion amplitude, can be effectively, quickly and accurately compared, which can be applied in sports, fitness error correction and other fields.

【技术实现步骤摘要】
一种视频中运动姿势相似度比对方法
本专利技术属于计算机视觉领域，具体涉及一种视频中运动姿势相似度比对方法。
技术介绍
对视频中的运动姿势分析是计算机视觉研究与应用领域中的基本课题。随着人工智能技术的发展，这一课题也吸引着人们越来越多的兴趣。一方面是因为视频中的运动姿势在体育运动分析、动作纠错矫正等领域有着广泛的应用前景。另一方面，针对不同视频中的运动姿势比对分析技术包含着大量挑战，例如：运动视频提取角度的变化、光线的影响等等。于2018年11月2日公布的专利技术专利申请CN108734104A，公开了一种基于深度学习的图像识别运动动作纠错系统。其训练的人体关节识别模型是基于VGG神经网络生成的，利用简单的欧式距离计算相似性，从识别准确度和识别速度上来看对于纠错运动动作有很大的局限性，并且上述专利技术申请重点应用场景是结合音乐节奏的运动动作，通过音乐来控制运动的开始和结束，还无法扩展到不受音乐约束的场景中去。于2019年3月8日授权公告的专利技术专利CN103914677B，公开了一种动作识别方法及装置。其对动作的识别主要通过获取初始动作所对应的图像中人体轮廓的中心点为第一向量，和终止动作所对应的图像中人体局部轮廓的中心点为第二向量；计算所述第一向量和第二向量的差值；将所述差值与数据库中预置的数据列表进行比较，并根据比较结果将所述差值与相应的动作相关联。最终根据差分处理结果确定动作所对应的图像相似度。该专利只能针对一个视频处理，无法扩展到同时比对两个视频；同时，只能实现对动作姿势的比对，无法实现动作速度以及动作幅度的比对。于2018年7月10日授权公告的专利技术专利CN105046193B，公开了一种基于融合稀疏表示矩阵的人体动作识别方法。依靠人体身上佩戴的传感器来获取动作矩阵，在动作识别阶段通过计算待识别动作向量与融合稀疏表示矩阵中各列向量的线性加权差值，选择线性加权差值最小的列向量所对应的动作种类为最终的识别结果。该专利技术受限于传感器的佩戴，无法大规模应用于动作识别领域，同时在比对过程中没有考虑动作速度、幅度的差异，导致在运动姿势相似度比对中表现一般。因此，如何突破传统动作姿态比对技术方案的局限性，快速准确地实现视频中运动姿势相似度比对是目前此应用领域需要解决的问题。
技术实现思路
为了解决现有技术所存在的问题，本专利技术提供一种视频中运动姿势相似度比对方法，结合时序、空间距离等约束场景实现了将不同视频中人体运动的姿势进行提取对比分析。根据本专利技术的视频中运动姿势相似度比对方法，包括以下步骤：S1、数据提取，将视频图像以一定频率截取，将截取的视频图像生成含有多个人体节点的骨架关键节点图；S2、数据预处理，分别对骨架关键节点图中的每个节点在不同时间段的运动变化状态进行分析，生成节点时序状态图，对节点时序状态图进行阈值处理；S3、数据处理，去除节点时序状态图中无变化部分，只保留节点在不同时间下的变化状态，生成节点时序变化特征图；S4、生成差异矩阵，根据节点时序变化特征图，将不同图像中的相同节点的变化特征从多个维度进行加权计算，通过差异算法计算得到差异值，综合每个节点在不同时间段的差异值组成全部节点的差异矩阵；S5、差异化度量，根据差异矩阵通过相似度算法，计算出两个动作在动作姿势、动作幅度、动作速度三个维度的相似度。与现有技术相比，本专利技术取得了如下技术效果：1、本专利技术可实现将两个视频图像进行比对，应用场景更宽泛。2、在识别阶段，本专利技术通过简单的视频采集并采用识别算法就可以提取人体中25个关键节点；经试验测试，准确度完全符合做下一步相似度比对的条件。3、在运动姿势比对阶段，本专利技术考虑了时间差、动作幅度、动作速度等多个维度，实现了更全面的相似度比对分析。附图说明图1是本专利技术的相似度比对流程图；图2中，(a)是骨架节点坐标图，(b)是归一化节点坐标图；图3是节点时序状态图，其中(a)是某节点的原始序列图，(b)是对该节点采取高斯平滑过滤后的序列图。图4是节点时序变化特征图，其中(a)、(b)、(c)、(d)分别由不同的节点时序状态图通过波峰波谷剪切法所得的子序列。具体实施方式为使本专利技术的目的、技术方案更加清楚明白，以下结合附图及实施例对本专利技术进行详细说明，但本专利技术的实施方式不限于此。实施例视频中运动姿势对比在体育科学训练中有着重要的作用，本专利技术需要解决关键问题是如何针对两段视频中相似的运动姿势进行对比并得到其相似度。例如在健身过程中，我们可以利用摄像头将动作姿势拍摄保存，通过技术处理后将自身健身动作与专业健身动作进行对比分析，从而进行纠错完善。本专利技术首先使用基于OpenPose的人体动作识别算法对视频中的运动姿势进行识别检测，将识别的动作生成骨架关键节点图；随后针对每个骨架关键节点在不同时间段的运动变化，用阈值处理的方法生成节点时序状态图；利用剪切的手法对节点时序状态图进行修改得到节点变化特征图；最后运用差异算法得到不同视频之间的差异矩阵，从而计算出不同视频中运动姿势的相似度。本专利技术涉及的一些基本概念如下：(1)OpenPose：OpenPose人体姿势识别项目是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿势估计。适用于单人和多人，具有极好的鲁棒性。是世界上首个基于深度学习的实时多人二维姿势估计应用，基于它的实例如雨后春笋般涌现。人体姿势估计技术在运动、动作采集、3D试衣、舆情监测等领域具有广阔的应用前景。针对本专利技术所应用于动作识别的场景，OpenPose可以高效精确的提供技术支持。(2)归一化处理：数据的归一化处理是将数据按比例缩放，使之落入一个小的特定区间。由于信用指标体系的各个指标度量单位是不同的，为了能够将指标参与评价计算，需要对指标进行规范化处理，通过函数变换将其数值映射到某个数值区间。图像归一化是指对图像进行了一系列标准的处理变换，使之变换为一固定标准形式的过程，该标准图像称作归一化图像。(3)阈值处理算法：图像阈值处理是实现图像分割的一种方法，由于阈值处理直观、实现简单且计算速度快，因此图像阈值处理在图像分割中处于核心地位。以ReLU函数和高斯滤波算法为核心，对节点时序状态图进行阈值处理可以突出节点的变化特征。其中，高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。ReLU函数定义为：x＝max(x,0)本实施例的视频中运动姿势相似度比对方法，包括以下步骤：S1、数据提取，将视频图像以每秒5到10帧的频率截取，将截取的视频图像输入基于OpenPose的人体动作识别平台，生成含有25个人体节点的骨架关键节点图，如图2的(a)所示；对骨架关键节点归一化和平移操作，得到标准统一化的骨架关键节点图，如图2的(b)所示。归一化系数len为：其中，i、j为骨架关键节点图中本文档来自技高网...

【技术保护点】
1.一种视频中运动姿势相似度比对方法，其特征在于，包括以下步骤：/nS1、数据提取，将视频图像以一定频率截取，将截取的视频图像生成含有多个人体节点的骨架关键节点图；/nS2、数据预处理，分别对骨架关键节点图中的每个节点在不同时间段的运动变化状态进行分析，生成节点时序状态图，对节点时序状态图进行阈值处理；/nS3、数据处理，去除节点时序状态图中无变化部分，只保留节点在不同时间下的变化状态，生成节点时序变化特征图；/nS4、生成差异矩阵，根据节点时序变化特征图，将不同图像中的相同节点的变化特征从多个维度进行加权计算，通过差异算法计算得到差异值，综合每个节点在不同时间段的差异值组成全部节点的差异矩阵；/nS5、差异化度量，根据差异矩阵通过相似度算法，计算出两个动作在动作姿势、动作幅度、动作速度三个维度的相似度。/n

【技术特征摘要】
1.一种视频中运动姿势相似度比对方法，其特征在于，包括以下步骤：
S1、数据提取，将视频图像以一定频率截取，将截取的视频图像生成含有多个人体节点的骨架关键节点图；
S2、数据预处理，分别对骨架关键节点图中的每个节点在不同时间段的运动变化状态进行分析，生成节点时序状态图，对节点时序状态图进行阈值处理；
S3、数据处理，去除节点时序状态图中无变化部分，只保留节点在不同时间下的变化状态，生成节点时序变化特征图；
S4、生成差异矩阵，根据节点时序变化特征图，将不同图像中的相同节点的变化特征从多个维度进行加权计算，通过差异算法计算得到差异值，综合每个节点在不同时间段的差异值组成全部节点的差异矩阵；
S5、差异化度量，根据差异矩阵通过相似度算法，计算出两个动作在动作姿势、动作幅度、动作速度三个维度的相似度。


2.根据权利要求1所述的视频中运动姿势相似度比对方法，其特征在于，步骤S1还对骨架关键节点归一化和平移操作，得到标准统一化的骨架关键节点图。


3.根据权利要求2所述的视频中运动姿势相似度比对方法，其特征在于，归一化的系数len为：



其中，i、j为骨架关键节点图中相连的节点，x、y为骨架关键节点的横坐标与纵坐标。


4.根据权利要求1所述的视频中运动姿势相似度比对方法...

【专利技术属性】
技术研发人员：李进，姜冲，莫康华，王显珉，雷震光，
申请(专利权)人：广州大学，
类型：发明
国别省市：广东;44