基于对比学习的康复运动质量评估系统技术方案

本发明专利技术公开了一种基于对比学习的康复运动质量评估系统，其包括：三元组样本生成单元获取受试者的骨架序列集，并根据所述骨架序列集生成三元组样本；特征提取单元将所述三元组样本输入至特征提取网络中进行特征提取，以获得各个样本的特征；分数生成单元对提取到的各个样本的特征，使用高斯混合模型进行性能度量和分数映射，得到各个样本的分数；质量评估网络训练单元将生成的分数作为对应的样本的标签，将样本以及标签输入至质量评估网络中，对所述质量评估网络进行训练。质量评估单元基于训练得到的所述质量评估网络对采集的用户的骨架序列进行质量评估，获得预测分数。本发明专利技术解决了康复运动中缺乏专家评分标签导致的评估困难的问题。估困难的问题。估困难的问题。

【技术实现步骤摘要】
基于对比学习的康复运动质量评估系统


[0001]本专利技术涉及计算机
，尤其涉及一种基于对比学习的康复运动质量评估系统。

技术介绍

[0002]随着无监督学习的迅速发展，在计算机视觉问题中引入了对比学习方法。研究者尝试运用对比训练策略，获得有效的体育活动评价评分预测模型，以及技能训练的等级或等级评价模型。近年来，对比学习策略已被应用于其他计算机视觉任务中，通过使用对比学习可以更好的获得不同样本之间的细微差异，强化模型学习到更具有区分性的特征表示。
[0003]在康复医学领域，身体康复训练往往是各种肌肉骨骼疾病患者康复的必修课和关键。最初的康复训练通常由临床医生组织和监督，以指导患者进行康复计划。但是为每个病人配备一名专业的临床医生是昂贵的。因此，最重要的康复训练通常是由患者在家进行。但由于缺乏专业指导和持续反馈，只有少数患者能够坚持完成居家康复训练，导致治疗时间延长，医疗成本增加。
[0004]初步的研究已经把这个任务作为一个分类问题来处理。然而现有的研究目标是确定一个练习是正确的还是错误的，而不是评估练习的连续质量，患者在进行一段时间的训练后，无法给患者一个增量的反馈，而且需要特定领域的专家对运动质量进行标注，不能有效对患者的康复运动进行指导。此外，患者无法有针对性的对身体部位进行提升，现有方法无法提供可指导性的反馈意见。当患者和专家运动之间的差异较小时，采用现有的网络模型可能无法提取到显著的区分性的特征来对其进行区分，从而影响正确的判断。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于对比学习的康复运动质量评估系统，以解决上述问题。
[0006]本专利技术实施例提供了一种基于对比学习的康复运动质量评估系统，其包括：三元组样本生成单元，用于获取受试者的骨架序列集，并根据所述骨架序列集生成三元组样本；其中，所述三元组样本包括一个正样本、一个负样本以及一个anchor样本；特征提取单元，用于将所述三元组样本输入至特征提取网络中进行特征提取，以获得各个样本的特征；其中，所述特征提取网络采用多个输入使用权重共享的骨干网络；分数生成单元，用于对提取到的各个样本的特征，使用高斯混合模型进行性能度量和分数映射，得到各个样本的分数；质量评估网络训练单元，用于将生成的分数作为对应的样本的标签，重新采样生成用于质量评估的训练样本对，将训练样本对输入至质量评估网络中，对所述质量评估网络进行训练；其中，在质量评估网络的质量评价任务中，使用排列组合的方式在所述骨架序列集中构建训练样本对，然后通过特征提取网络来提取不同样本的特征，并且在该训练中将不同样本的关节注意力矩阵和特征的差距进行量化，使得分数差距较小的样本的关节注
意力矩阵和特征的差异较小，分数差距较大的样本的差距较大；质量评估单元，用于基于训练得到的所述质量评估网络对采集的用户的骨架序列进行质量评估，获得预测分数。
[0007]优选地，所述骨架序列集的所有正常的样本为正样本，所有不正常的样本为负样本；在所述正样本中选择每个受试者的随机一次重复作为anchor样本。
[0008]优选地，所述特征提取单元具体用于：设给定的三元组样本包括anchor样本、正样本以及负样本；将anchor样本、正样本以及负样本作为输入，经过权重共享的特征提取网络以提取对应的特征、、；其中，特征提取的目标用如下公示表示：=,,其中，函数F(
·
)表示将构建的三元组样本编码到一定的特征空间，参数设置为w；损失函数Loss(
·
)用于衡量正样本、负样本与anchor样本之间的距离；损失函数Loss(
·
)的定义如下：其中，表示正样本和负样本之间的界限。
[0009]优选地，所述分数生成单元具体用于：根据提取的所有正样本的特征初始化高斯混合模型的参数，以构造运动的统一标准；在带有个高斯分量的高斯混合模型下发生的概率表示如下：其中，N(
·
)为混合高斯函数，为高斯参数集合，={}，分别表示第个高斯分量的混合系数、均值和协方差；将提取的每个样本的特征，计算其在高斯混合模型下的负对数似然，以得到样本动作的量化分数，具体的公式如下所示：对于量化后得到的正样本分数集合P=()，和负样本分数集合N=()，采用如下的公式将量化分数映射至0～1区间，以获得各个正样本的最终分数和负样本的最终分数：
其中，是特定的参数。
[0010]优选地，所述质量评估网络训练单元具体用于：从所述骨架序列集中选择一对带分数标签的骨架序列生成训练样本对<,>；将所述训练样本对<,>分别输入到特征提取网络来提取特征对<,>和关节注意力矩阵<,>；根据所述特征对<,>和关节注意力矩阵<,>对所述质量评估网络进行训练。
[0011]优选地，所述特征提取网络包括十层相互叠加的时空卷积块，第层的时空卷积块表示为：其中，表示从全局角度学习的关节连接的拓扑结构，表示根据样本生成的相邻矩阵，、分别表示第层的输入和输出，表示该层可训练的权重，设为3，表示自环，向心，远心三个不同的图拓扑连接；从两个角度组合邻接矩阵，则定义关节关节注意力矩阵为:。
[0012]优选地，所述质量评估网络的总体损失函数表示如下：=++其中，==表示分数误差损失，用于测量从给定骨架序列预测的分数与真实值的误差；表示第个样本的真实分数值，表示第个样本的分数预测值，表示预测的误差阈值；值；表示特征相似度损失，为输入成对骨架序列<>的真实值，为
通过特征提取网络提取的输入样本的特征表示，表示余弦相似度；表示特征量化公式，被计算通过,其中表示训练数据中的最高分；表示训练数据中的最高分；表示关节注意力权重的损失，为输入成对骨架序列<>的真实值，表示输入成对样本<>对应的关节关节注意力矩阵。
[0013]综上所述，本实施例具有如下优点：1）针对康复训练中缺少连续分数标签的问题，利用对比学习的思想，使用来自同一练习的正样本、负样本以及anchor样本组成的三元组样本来训练特征提取网络，使特征提取网络能提取出样本更具代表性的特征，从而得到的分数可以更好的表示不同质量的运动，解决了康复运动中缺乏专家评分标签的问题；2）通过关节注意力矩阵区分不同关节对体育锻炼的重要性。此外，定义了不同样本骨骼间关节注意力矩阵的偏差损失，并将其与评分预测损失相结合，增强了网络对特征的学习能力。
附图说明
[0014]为了更清楚地说明本专利技术的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0015]图1为本专利技术第一实施例提供的基于对比本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的康复运动质量评估系统，其特征在于，包括：三元组样本生成单元，用于获取受试者的骨架序列集，并根据所述骨架序列集生成三元组样本；其中，所述三元组样本包括一个正样本、一个负样本以及一个anchor样本；特征提取单元，用于将所述三元组样本输入至特征提取网络中进行特征提取，以获得各个样本的特征；其中，所述特征提取网络采用多个输入使用权重共享的骨干网络；分数生成单元，用于对提取到的各个样本的特征，使用高斯混合模型进行性能度量和分数映射，得到各个样本的分数；质量评估网络训练单元，用于将生成的分数作为对应的样本的标签，重新采样生成用于质量评估的训练样本对，将训练样本对输入至质量评估网络中，对所述质量评估网络进行训练；其中，在质量评估网络的质量评价任务中，使用排列组合的方式在所述骨架序列集中构建训练样本对，然后通过特征提取网络提取不同样本的特征，并且在该训练中将不同样本的关节注意力矩阵和特征的差距进行量化，使得分数差距较小的样本的关节注意力矩阵和特征的差异较小，分数差距较大的样本的差距较大；质量评估单元，用于基于训练得到的所述质量评估网络对采集的用户的骨架序列进行质量评估，获得预测分数。2.根据权利要求1所述的基于对比学习的康复运动质量评估系统，其特征在于，所述骨架序列集的所有正常的样本为正样本，所有不正常的样本为负样本；在所述正样本中选择每个受试者的随机一次重复作为anchor样本。3.根据权利要求2所述的基于对比学习的康复运动质量评估系统，其特征在于，所述特征提取单元具体用于：设给定的三元组样本包括anchor样本、正样本以及负样本；将anchor样本、正样本以及负样本作为输入，经过权重共享的特征提取网络以提取对应的特征；其中，特征提取网络的特征提取目标用如下公示表示：=,,其中，函数F(
·
)表示将构建的三元组样本编码到一定的特征空间，参数设置为w；损失函数Loss(
·
)用于衡量正样本、负样本与anchor样本之间的距离；损失函数Loss(
·
)的定义如下：其中，表示正样本和负样本之间的界限。4.根据权利要求3所述的基于对比学习的康复运动质量评估系统，其特征在于，所述分数生成单元具体用于：根据提取的所有正样本的特征初始化高斯混合模型的参数，以构造运动的统一标准；在具有个高斯分量的高斯混合模型下发...

【专利技术属性】
技术研发人员：雷庆，姚龙，金城凯，张洪博，杜吉祥，
申请(专利权)人：华侨大学，
类型：发明
国别省市：