一种无障碍跳绳的识别方法技术

本发明专利技术公开一种无障碍跳绳的识别方法，包括以下步骤：制作动作数据集；为动作定义实体标签；将动作数据集按一定比例划分成训练集、测试集，并对动作数据集进行数据清洗；在动作的前后额外添加开始标签S和结束标签E；建立模型，得到每个实体标签的分数；创建CRF层，所述CRF层用于增加实体标签的约束；将分数作为发射矩阵传入CRF层；计算CRF层的标签转移得分；训练模型；验证模型。本发明专利技术利用LSTM+CRF进行动作一致性检测，并对全部动作特征序列化统计，从而获得跳绳一圈的完整数据，不需要严格的拍摄角度，不需依赖网络，缩小延迟，遮挡的情况下也可使用，准确度高。准确度高。准确度高。

【技术实现步骤摘要】
一种无障碍跳绳的识别方法


[0001]本专利技术涉及跳绳识别
，更具体地，涉及一种无障碍跳绳的识别方法。

技术介绍

[0002]跳绳作为是一种比较受欢迎的消遣方式，同时在减肥和运动锻炼的这些人中也广受欢迎。跳绳所消耗的千卡路里以及其他出色的健康益处，使这项活动成为很多人减肥锻炼身体的一项选择。
[0003]现有的跳绳方式都以购买实体跳绳工具为主，这对跳绳的空间有一定要求，跳绳的过程中，绳索在进行误操作时会造成使用者或旁边人员的身体损伤，具有风险性；还有一种跳绳方式，使用者通过将带有摄像头的设备(比如智能手机)对准其环境通使用跳绳杆进行跳绳，通过对图像视频的提取特征，进行实时统计跳绳数，使用者即可进行模拟跳绳，这就要求提取特征的相机放在准确位置，确保图像里人体姿态和手势能正确捕捉，如果出现运动模糊、虚焦、遮挡等情况，容易降低时空一致性。因此，这种虚拟跳绳的方式，需要较为严格的拍摄角度，需依赖网络，高延迟，使用者在跳绳时，就不能有人出现在摄像头前，如果跳绳的速度过快也会影响准确度。

技术实现思路

[0004]本专利技术的目的在于提供一种无障碍跳绳的识别方法，该方法利用LSTM+CRF进行动作一致性检测，并对全部动作特征序列化统计，从而获得跳绳一圈的完整数据，不需要严格的拍摄角度，不需依赖网络，缩小延迟，遮挡的情况下也可使用，准确度高。
[0005]为达到上述目的，提供了一种无障碍跳绳的识别方法，包括以下步骤：
[0006]步骤S1.制作动作数据集；所述动作数据集包括若干个以空间直角坐标系轴的坐标顺序组成的动作；所述坐标经过数据处理；
[0007]步骤S2.为动作定义实体标签；所述实体标签包括下方向标签B、左方向标签L、上方向标签T、右方向标签R；
[0008]步骤S3.将动作数据集按一定比例划分成训练集、测试集，并对动作数据集进行数据清洗；
[0009]步骤S4.在动作的前后额外添加开始标签S和结束标签E；
[0010]步骤S5.建立模型，采用PyTorch深度学习架构搭配LSTM网络，设置LSTM网络的层数包括隐藏层和线性层，所述动作序列为若干个动作的序列；并按句长为180的长度，输入一个动作序列x＝(x1，x2，x3，...，x
n
)，其中x表示n个动作的数组；经过Embedding后输入到LSTM网络中，经过隐藏层作用后得到每个实体标签的分数；创建CRF层，所述CRF层用于增加实体标签的约束；
[0011]步骤S6.将步骤S5的分数作为发射矩阵传入CRF层；
[0012]步骤S7.计算CRF层的标签转移得分；包括以下子步骤：
[0013]步骤S71.假设CRF层里的上一个时刻的实体标签为y
i
，下一个时刻的实体标签为
y
i+1
，序列x有m个可能的实体标签时，会有m
n
个实体标签，即y＝(y1，y2，y3，...，y
n
)，假设每个标签得分为score(y)，通过softmax归一化求出某个标签结果的概率全部路径对应分数的指数和为Z＝∑
y
e
score(y)
，选择概率最大的动作序列作为标签结果，从而得出若干个实体序列：所述实体序列为实体标签序列；
[0014]步骤S72.计算出LSTM网络里每个动作x
i
对应的标签得分分布为e
i
，将发射矩阵的各个维度标签向量的得分加起来得到节点分数e
i
[y
i
]，对于CRF层来说，假设存在一个转移矩阵T，则T[i，j]代表标签i转移到标签j的转移概率，当计算y
i1
到y
i+1
的转移概率，最后把所有分数相加可得x对应的标签序列y的分数，即：
[0015][0016]步骤S8.训练模型；使用损失函数进行训练；
[0017]步骤S9.验证模型；将测试集的动作数据集输入到步骤S8训练好的模型进行识别，然后根据分数得出的方向序列是否符合约束来判断是否完成跳绳一圈。
[0018]特别的，所述步骤S1中，经过数据处理的坐标的具体方法为：保留坐标的3位整数和1位小数，不全则补零。
[0019]特别的，所述实体标签还包括其他标签0。
[0020]特别的，所述所述步骤S3中的数据清洗的具体方法为将动作数据集中坐标偏差小于1的数据进行清洗。
[0021]特别的，所述动作数据集按训练集、测试集的比例按8：2的比例划分。
[0022]特别的，所述隐藏层的维度为512，能够将海量动作序列编码成420维的向量。
[0023]特别的，所述步骤S8中，损失函数为负对数似然函数，即loss＝
‑
logp(y|x)；y为x对应的真实标签数据；而对数形式如下：
[0024]logp(y|x)＝S(x，y)
‑
log(∑y
‘
∈yx
score(x，y)
)。
[0025]特别的，所述步骤S9中，所述约束具体为：若动作序列里包含一个顺序为下方向标签B、左方向标签L、上方向标签T、右方向标签R的动作或动作序列里包含一个顺序为下方向标签B、、右方向标签R、上方向标签T、左方向标签L则判断为跳绳一圈，否则判断为当前跳绳一圈未完成。
[0026]本专利技术的技术原理和有益效果如下所示：
[0027]跳绳是单一方向(正向或反向)的连续动作的特性，其具有的序列特征，本专利技术采用LSTM进行序列标注，然后再利用标签转移矩阵对标签移动关系进行建模，最后根据得出方向序列是否符合约束，从而识别出跳绳一圈的完整性。
[0028]使用本专利技术不需要购买实体跳绳工具，导出训练过模型后可通过智能手机加载识别，满足更多场合，避免真实绳索在误操作时造成身体损伤。
[0029]本专利技术与视频图像采样的方法相比，不需要严格的拍摄角度，本地根据旋转角度学习和识别，无需依赖网络，低延迟。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1为本专利技术实施例的流程图。
具体实施方式
[0032]下面结合附图对本专利技术的优选实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。
[0033]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0034]需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无障碍跳绳的识别方法，其特征在于，包括以下步骤：步骤S1.制作动作数据集；所述动作数据集包括若干个以空间直角坐标系轴的坐标顺序组成的动作；所述坐标经过数据处理；步骤S2.为动作定义实体标签；所述实体标签包括下方向标签B、左方向标签L、上方向标签T、右方向标签R；步骤S3.将动作数据集按一定比例划分成训练集、测试集，并对动作数据集进行数据清洗；步骤S4.在动作的前后额外添加开始标签S和结束标签E；步骤S5.建立模型，采用PyTorch深度学习架构搭配LSTM网络，设置LSTM网络的层数包括隐藏层和线性层，所述动作序列为若干个动作的序列；并按句长为180的长度，输入一个动作序列x＝(x1，x2，x3，...，x
n
)，其中x表示n个动作的数组；经过Embedding后输入到LSTM网络中，经过隐藏层作用后得到每个实体标签的分数；创建CRF层，所述CRF层用于增加实体标签的约束；步骤S6.将步骤S5的分数作为发射矩阵传入CRF层；步骤S7.计算CRF层的标签转移得分；包括以下子步骤：步骤S71.假设CRF层里的上一个时刻的实体标签为y
i
，下一个时刻的实体标签为y
i+1
，序列x有m个可能的实体标签时，会有m
n
个实体标签，即y＝(y1，y2，y3，...，y
n
)，假设每个标签得分为score(y)，通过softmax归一化求出某个标签结果的概率全部路径对应分数的指数和为Z＝∑
y
e
score(y)
，选择概率最大的动作序列作为标签结果，从而得出若干个实体序列：所述实体序列为实体标签序列；步骤S72.计算出LSTM网络里每个动作x
i
对应的标签得分分布为e
i
，将发射矩阵的各个维度标签向量的得分加起来得到节点分数e
i
[y
i
]，对于C...

【专利技术属性】
技术研发人员：黄彬，韦光亮，蒙超毅，顾小宁，滕毅有，
申请(专利权)人：广西慧云信息技术有限公司，
类型：发明
国别省市：