【技术实现步骤摘要】
本申请涉及动作质量评估，尤其涉及一种基于transformer的康复动作评估方法。
技术介绍
1、近年来，计算机视觉技术得到了大力发展。同时，临床迹象表明，计算机辅助康复训练技术可以为中风和脊髓损伤引起的运动功能障碍患者提供安全、可靠、有针对性和适应性的康复训练。为了确保患者得到充分的康复运动训练，家庭康复逐渐兴起，而且与住院治疗相比，家庭康复对任何结果的影响没有差异。此外，在家里的时间和空间限制较少。对于家庭康复评估，利用kinect和vicon等设备收集的节点位置和旋转信息来评估运动质量，已经成为当前运动评估研究的主流方法。通过智能评估系统对患者的运动进行评估，并以分数的形式形成反馈，这种互动技术可以激励患者的积极参与，提高训练效果。因此，研究和智能评估患者的动作是否达到康复锻炼的标准是非常重要的。然而，这种科学评估动作质量的系统是缺乏的。评估动作质量的困难在于：同种测试动作的不同得分之间的差异是比较细微的，精细化的动作识别是这项工作的难点，动作质量的评估主流方法有两种，一种是基于视频数据的评估，另一种方法是基于骨骼点数据的评估方法。
2、目前现有技术还存在如下问题：
3、1、计算资源要求较高。基于视频数据的评估，这类评估的缺点很明显，这类方法通常计算资源要求较高，无法实现预测效果和推理速度的双赢。主要有以下几点原因：(1)数据量大：视频数据通常文本数据要大的多，因为它们包含连续的帧。处理大规模视频数据集需要大量的存储空间和计算资源，例如gpu。这增加了训练和推理的复杂性和成本。(2)时间和空间关系建
4、2、评估准确率较低。现有的基于骨骼点数据的评估方法还存在着许多不足，比如在骨骼数据提取过程中使用数据自动编码器，使用自动编码器能帮助模型更快的学习特征，但是会导致模型对训练数据过度拟合，模型很难学习更普遍的低维表示。除了使用自动编码器之外，在数据预处理的方法上还存在许多不足，包括数据降维处理和窗口化处理，骨骼数据的低维映射将失去一些关键信息，无法提取更精细的运动特征信息。使用时间窗口来划分骨骼数据，并将其作为模型的输入。这样做的缺点是，窗口的大小会影响模型的性能，而且窗口的大小需要根据实验结果来调整，不具有可扩展性。他们使用窗口数据作为输入数据，而窗口内数据帧之间的时间特征很难被模型学习到，这将降低模型的准确性。
5、3、数据集规模较小也是导致准确率较低的一个十分重要的原因，现有的可以用来作为康复动作质量评估的数据集均为小规模数据集，模型在小数据集上的训练结果不具有泛化性。
技术实现思路
1、本申请通过提供一种基于transformer的康复动作评估方法，针对上述问题我们提出了基于transformer的康复动作质量评估方法，有效的解决了长特征序列之间时序关系学习困难的问题。对比基于视频数据评估的方法，我们使用骨骼点数据大大减少了计算资源的消耗。针对数据集规模较小的问题，我们提出了三种数据增强方法，有效的解决了数据集规模小所带来的不足。
2、本申请提供了一种基于transformer的康复动作评估方法，包括下列顺序的步骤：
3、s1、设计基于transformer的预测模型；
4、s2、使用kimore数据集训练模型；
5、s3、使用kinectv2深度相机采集骨骼点数据；
6、s4、将待评估康复动作骨骼点序列输入训练好的预测模型进行预测；
7、s5、输出预测结果。
8、进一步地，所述s1具体是指基于transformer的预测模型包括用于骨骼数据采样的数据层、用于提取骨骼数据帧序列时序特征的位置编码层、用于骨骼坐标信息提取的特征提取层，所述数据层包含一个卷积层主要用于实现骨骼数据的采样，所述位置编码层包括cos编码函数和sin编码函数，主要用于对特征向量在整个特征序列中出现的位置进行编码，所特征提取层包含transformer编码模块和多层感知机模块，其中transformer编码模块包含12个transformer编码层，多层感知机模块包含两个全连接层、两个批正则化层和一个elu激活函数。
9、进一步地，所述s2包括下列顺序的步骤：
10、s21、数据预处理；
11、s22、数据扩充；
12、s23、数据集划分。
13、进一步地，所述s21指在这项工作中我们的实验采用的是深度相机捕获的关节方向数据，通常以固定的帧速率捕捉数据，帧速率假定为t，每一帧获取的特征向量的维度是固定的，可以设定为d，如果捕捉的关节点的数量为j，那么特征向量d＝j×3，将一个动作表示为a，由于一个动作的速度会影响动作的完成时间，也就是说不是所有的动作都能在1秒内完成，所以完成一个动作所采集的帧数为k×t，其中l>0，所以已知我们对kimore数据集中的中的数据进行定长采样的到750帧数据，每一帧的特征向量维度为75，也就是25个关节点的三维坐标。
14、进一步地，所述s22指骨骼点数据的一帧代表了某一时刻骨骼节点在空间的特征信息，类似于代表物体空间特征的图像，图像研究领域的一些数据扩充的方法可用于骨骼点数据，同时由多帧组成的动作序列，实质上是动作视频的另一种表现形式，都是动作的特征序列，受图像处理领域研究方法的启发，通过三种数据增强方法包括特征遮蔽、帧遮蔽和添加特征噪声。
15、进一步地，所述特征遮蔽的方法是从特征向量中随机选取j个特征点，其中j可以取不同的值以获得更多的数据，并将选取的点的值设为0，这就好比在图像中加入纵向条状噪声，能更大程度地保留了活动节点的特征；所述帧遮蔽作为一种常见的数据扩充方法，帧遮蔽可以有效地扩充数据，类似于在图像处理任务中增加横向条噪声，随机选择m个帧，并将其全部设为0，这种操作的目的是为了模拟数据采集过程中帧抖动的情况，所述添加特征噪声与图像处理任务类似，在特征序列中随机选择m行帧，在每一帧中随机选择j个特征点并设为0，这样得到的运动特征就如同加入了随机噪声的图像。
16、进一步地，所述s23将每类动作的数据按照8：2的比例划分训练集和测试集，之后对训练集再按照8：2的比例划分为训练集和验证集。
17、进一步地，所述transformer的预测模型核心组成部分之一为transformer编码器层，用于处理输入序列的特征提取和编码，下面是一个简化的描述：
18、多头自注意力层(multi-head self-attention l本文档来自技高网...
【技术保护点】
1.一种基于Transformer的康复动作评估方法，其特征在于，包括下列顺序的步骤：
2.如权利要求1所述的一种基于Transformer的康复动作评估方法，其特征在于，所述S1具体是指基于Transformer的预测模型包括用于骨骼数据采样的数据层、用于提取骨骼数据帧序列时序特征的位置编码层、用于骨骼坐标信息提取的特征提取层，所述数据层包含一个卷积层主要用于实现骨骼数据的采样，所述位置编码层包括cos编码函数和sin编码函数，主要用于对特征向量在整个特征序列中出现的位置进行编码，所特征提取层包含Transformer编码模块和多层感知机模块，其中Transformer编码模块包含12个Transformer编码层，多层感知机模块包含两个全连接层、两个批正则化层和一个ELU激活函数。
3.如权利要求1所述的一种基于Transformer的康复动作评估方法，其特征在于，所述S2包括下列顺序的步骤：
4.如权利要求3所述的一种基于Transformer的康复动作评估方法，其特征在于，所述S21指在这项工作中我们的实验采用的是深度相机捕获的关节方向
5.如权利要求3所述的一种基于Transformer的康复动作评估方法，其特征在于，所述S22指骨骼点数据的一帧代表了某一时刻骨骼节点在空间的特征信息，类似于代表物体空间特征的图像，图像研究领域的一些数据扩充的方法可用于骨骼点数据，同时由多帧组成的动作序列，实质上是动作视频的另一种表现形式，都是动作的特征序列，受图像处理领域研究方法的启发，通过三种数据增强方法包括特征遮蔽、帧遮蔽和添加特征噪声。
6.如权利要求5所述的一种基于Transformer的康复动作评估方法，其特征在于，所述特征遮蔽的方法是从特征向量中随机选取J个特征点，其中J可以取不同的值以获得更多的数据，并将选取的点的值设为0，这就好比在图像中加入纵向条状噪声，能更大程度地保留了活动节点的特征；所述帧遮蔽作为一种常见的数据扩充方法，帧遮蔽可以有效地扩充数据，类似于在图像处理任务中增加横向条噪声，随机选择M个帧，并将其全部设为0，这种操作的目的是为了模拟数据采集过程中帧抖动的情况，所述添加特征噪声与图像处理任务类似，在特征序列中随机选择M行帧，在每一帧中随机选择J个特征点并设为0，这样得到的运动特征就如同加入了随机噪声的图像。
7.如权利要求3所述的一种基于Transformer的康复动作评估方法，其特征在于，所述S23将每类动作的数据按照8：2的比例划分训练集和测试集，之后对训练集再按照8：2的比例划分为训练集和验证集。
8.如权利要求1所述的一种基于Transformer的康复动作评估方法，其特征在于，所述Transformer的预测模型核心组成部分之一为Transformer编码器层，用于处理输入序列的特征提取和编码，下面是一个简化的描述：
...【技术特征摘要】
1.一种基于transformer的康复动作评估方法，其特征在于，包括下列顺序的步骤：
2.如权利要求1所述的一种基于transformer的康复动作评估方法，其特征在于，所述s1具体是指基于transformer的预测模型包括用于骨骼数据采样的数据层、用于提取骨骼数据帧序列时序特征的位置编码层、用于骨骼坐标信息提取的特征提取层，所述数据层包含一个卷积层主要用于实现骨骼数据的采样，所述位置编码层包括cos编码函数和sin编码函数，主要用于对特征向量在整个特征序列中出现的位置进行编码，所特征提取层包含transformer编码模块和多层感知机模块，其中transformer编码模块包含12个transformer编码层，多层感知机模块包含两个全连接层、两个批正则化层和一个elu激活函数。
3.如权利要求1所述的一种基于transformer的康复动作评估方法，其特征在于，所述s2包括下列顺序的步骤：
4.如权利要求3所述的一种基于transformer的康复动作评估方法，其特征在于，所述s21指在这项工作中我们的实验采用的是深度相机捕获的关节方向数据，通常以固定的帧速率捕捉数据，帧速率假定为t，每一帧获取的特征向量的维度是固定的，可以设定为d，如果捕捉的关节点的数量为j，那么特征向量d＝j×3，将一个动作表示为a，由于一个动作的速度会影响动作的完成时间，也就是说不是所有的动作都能在1秒内完成，所以完成一个动作所采集的帧数为k×t，其中k>0，所以已知我们对kimore数据集中的中的数据进行定长采样的到750帧数据，每一帧的特征向量维度为75，也就是25个关节点的三维坐标。
5.如权利...
【专利技术属性】
技术研发人员：陈鹏，孟维庆，章军，郑春厚，夏懿，王兵，
申请(专利权)人：安徽大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。