本发明专利技术公开了一种手部关节角度估计方法、估计装置、存储介质和设备。手部关节角度估计方法包括：获取待测对象的手部运动时产生的实时表面肌电信号；将表面肌电信号输入到预先训练完成的手部关节角度估计模型中，获得待测对象的手部运动时的预估关节角度，其中手部关节角度估计模型包括依次连接的多尺度卷积模块和多层多头注意力模块。通过多尺度卷积模块能够更好地从肌电信号时间序列中提取到与关节角度相关的特征，因此相比现有的高斯过程回归关节角度估计算法，能够实现更高的回归精度，另外通过多层多头注意力机制学习肌电序列的整体时序特征，避免了传统循环神经学习导致的长距离依赖问题，同时通过并行计算进一步提高了运行效率。了运行效率。了运行效率。
【技术实现步骤摘要】
手部关节角度估计方法、估计装置、存储介质和设备
[0001]本专利技术属于计算机视觉
，具体地讲，涉及一种手部关节角度估计方法、估计装置、计算机可读存储介质和计算机设备。
技术介绍
[0002]几十年来，机械手在搜索救援、工业以及人工假肢等领域得到了广泛的研究和应用。表面肌电信号具有超前于运动产生、便于采集的特性，是一种较为理想的可用来提取人体运动意图的生理信号，在康复医疗及人机交互等领域都存在众多应用，在世界范围内被广泛用于机械手的灵巧控制。过去很长一段时间内，肌电控制常采用离散动作识别的方式去实现机械手控制，然而手部作为人体最有特色的器官，具有高度的灵活性，多自由度实时连续控制的方法才是机械手未来的发展方向，因为这能提供更加自然的、符合人体直觉的控制。很多最新研究为了实现连续实时的控制策略，建立了算法实现肌电信号与手指关节角度之间的映射关系。另外，考虑到针对截肢者的应用以及手部肌电本身难以采集这两个问题，人们常用手臂肌电来建立回归算法，以此估计手部运动时的关节角度。由于人体手部在运动过程中手臂的肌肉会用时活动，因此通过手臂肌电信号估计手部关节角度是可行的。综合目前研究，通过肌电信号进行人体实时关节角度估计的途径主要分为两种：基于模型的方法和基于数据的方法。基于模型的方法，最为常见的是Hill模型、Huxley模型等生理学模型。基于模型的方法能解释人体运动的产生过程，模型中的参数能表达人体骨骼与肌肉系统的属性，如肌肉纤维长度及肌腱长度等。基于数据的方法目前最常用的是基于机器学习以及深度学习实现的有监督方法，这类方法直接建立由皮肤表面肌电信号到连续运动量之间的回归算法，简单可靠。目前，高斯过程回归、长短时记忆网络等回归算法已在实时估计运动过程手部关节角度这一任务上有广泛的应用。
[0003]基于模型的关节角度估计方法虽然有很强的可解释性，但模型中含有大量难以直接测量的参数，目前仅用于自由度较低的几个关节的运动估计，而人的手部活动需要配合的关节较多，这就要求估计方法支持较多的自由度。基于数据的方法往往可以实现估计相对较多自由度，现有专利技术中应用高斯过程的回归算法可以实现皮肤表面肌电信号到多自由度手指关节角度的映射，但是在运动过程中，当前时刻的关节角度可能与当前时刻之前的肌电信号存在关联，然而高斯过程的回归算法未将这些关联纳入考虑。长短时记忆网络可提取到肌电信号中的时序特征，现有的基于肌电估计手部关节角度的深度学习网络大多加入长短时记忆网络学习肌电序列的整体时序特征。长短时记忆网络属于循环神经网络结构，当序列很长时，由于循环神经网络的长程依赖问题，容易丢失部分输入序列的信息。
技术实现思路
[0004](一)本专利技术所要解决的技术问题
[0005]本专利技术解决的技术问题是：如何有效地从肌电信号中提取到与关节角度相关的特征以及整体时序特征，以提高回归精度和避免传统循环神经学习导致的长距离依赖问题。
[0006](二)本专利技术所采用的技术方案
[0007]一种手部关节角度估计方法，所述手部关节角度估计方法包括：
[0008]获取待测对象的手部运动时产生的实时表面肌电信号；
[0009]将所述表面肌电信号输入到预先训练完成的手部关节角度估计模型中，获得待测对象的手部运动时的预估关节角度，其中所述手部关节角度估计模型包括依次连接的多尺度卷积模块和多层多头注意力模块。
[0010]优选地，对所述手部关节角度估计模型进行预先训练的方法包括：
[0011]获取人体手部运动时的关节角度测量值及其对应的表面肌电信号数据；
[0012]将所述表面肌电信号数据作为训练样本输入到所述手部关节角度估计模型中，依次经过所述多尺度卷积模块和所述多层多头注意力模块的处理后，输出手部关节角度预测值；
[0013]根据所述手部关节角度预测值和所述关节角度测量值计算误差损失，并根据所述误差损失更新所述多尺度卷积模块和所述多层多头注意力模块的网络参数。
[0014]优选地，所述手部关节角度估计方法还包括：
[0015]对所述表面肌电信号数据进行特征提取，获得所述表面肌电信号数据对应的均方根特征向量，将所述均方根特征向量作为训练样本。
[0016]优选地，所述多尺度卷积模块包括两个多尺度卷积子网络和连接两个所述多尺度卷积子网络的池化层，两个所述多尺度卷积子网络的网络结构相同，其中所述多尺度卷积子网络包括三条并行的支路以及特征拼接层，每条所述支路包括两个卷积层，所述多尺度卷积模块对所述训练样本进行处理的方法包括：
[0017]将所述训练样本分别输入到第一个所述多尺度卷积子网络的三条所述支路进行卷积特征提取得到三个第一卷积特征，利用所述特征拼接层对三个所述第一卷积特征进行拼接，形成第一卷积融合特征；
[0018]利用所述池化层对所述第一卷积融合特征进行序列长度压缩之后分别输入到第二个所述多尺度卷积子网络的三条所述支路，进行卷积特征提取得到三个第二卷积特征，再利用第二个所述多尺度卷积子网络的特征拼接层对三个所述第二卷积特征进行拼接，形成第二卷积融合特征，其中所述第二卷积融合特征作为所述多层多头注意力模块的输入数据。
[0019]优选地，所述手部关节角度估计方法还包括：
[0020]对所述第二卷积融合特征进行位置编码后作为所述多层多头注意力模块的输入数据。
[0021]优选地，所述多层多头注意力模块包括若干层依次连接的多头注意力网络以及第一全连接层，每层所述多头注意力网络包括三个结构相同且平行排列的单头注意力网络、一个特征拼接层、第二全连接层，其中利用所述多层多头注意力模块对所述第二卷积融合特征进行处理的方法包括：
[0022]将进行位置编码后的所述第二卷积融合特征作为第一层多头注意力网络的输入数据，分别输入到三个所述单头注意力网络，进行第一次线性映射操作后得到三个单头注意力输出特征；
[0023]利用第一层所述多头注意力网络的特征拼接层对三个所述单头注意力输出特征
沿着特征通道的维度上进行拼接，得到注意力融合特征；
[0024]利用第二全连接层对所述注意力融合特征进行第二次线性映射操作，得到多头注意力输出特征，将所述多头注意力输出特征作为下一层所述多头注意力网络的输入数据，重复上述步骤直至最后一层所述多头注意力网络输出多头注意力输出特征；
[0025]将最后一层所述多头注意力网络输出的所述多头注意力输出特征输入到所述第一全连接层，得到手部关节角度预测值序列。
[0026]优选地，利用所述单头注意力网络对进行位置编码后的所述第二卷积融合特征进行第一次线性映射操作的方法包括：
[0027]根据如下公式分别计算得到查询特征向量序列键特征向量序列和值特征向量序列
[0028]Q＝CW
Q
，K＝CW
k
，V＝CW
v
[0029]其中，W
Q
、W
k
、W
v
为通过训练确定的线性映射操作，d<本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种手部关节角度估计方法，其特征在于，所述手部关节角度估计方法包括：获取待测对象的手部运动时产生的实时表面肌电信号；将所述表面肌电信号输入到预先训练完成的手部关节角度估计模型中，获得待测对象的手部运动时的预估关节角度，其中所述手部关节角度估计模型包括依次连接的多尺度卷积模块和多层多头注意力模块。2.根据权利要求1所述的手部关节角度估计方法，其特征在于，对所述手部关节角度估计模型进行预先训练的方法包括：获取人体手部运动时的关节角度测量值及其对应的表面肌电信号数据；将所述表面肌电信号数据作为训练样本输入到所述手部关节角度估计模型中，依次经过所述多尺度卷积模块和所述多层多头注意力模块的处理后，输出手部关节角度预测值；根据所述手部关节角度预测值和所述关节角度测量值计算误差损失，并根据所述误差损失更新所述多尺度卷积模块和所述多层多头注意力模块的网络参数。3.根据权利要求2所述的手部关节角度估计方法，其特征在于，所述手部关节角度估计方法还包括：对所述表面肌电信号数据进行特征提取，获得所述表面肌电信号数据对应的均方根特征向量，将所述均方根特征向量作为训练样本。4.根据权利要求3所述的手部关节角度估计方法，其特征在于，所述多尺度卷积模块包括两个多尺度卷积子网络和连接两个所述多尺度卷积子网络的池化层，两个所述多尺度卷积子网络的网络结构相同，其中所述多尺度卷积子网络包括三条并行的支路以及特征拼接层，每条所述支路包括两个卷积层，所述多尺度卷积模块对所述训练样本进行处理的方法包括：将所述训练样本分别输入到第一个所述多尺度卷积子网络的三条所述支路进行卷积特征提取得到三个第一卷积特征，利用所述特征拼接层对三个所述第一卷积特征进行拼接，形成第一卷积融合特征；利用所述池化层对所述第一卷积融合特征进行序列长度压缩之后分别输入到第二个所述多尺度卷积子网络的三条所述支路，进行卷积特征提取得到三个第二卷积特征，再利用第二个所述多尺度卷积子网络的特征拼接层对三个所述第二卷积特征进行拼接，形成第二卷积融合特征，其中所述第二卷积融合特征作为所述多层多头注意力模块的输入数据。5.根据权利要求4所述的手部关节角度估计方法，其特征在于，所述手部关节角度估计方法还包括：对所述第二卷积融合特征进行位置编码后作为所述多层多头注意力模块的输入数据。6.根据权利要求5所述的手部关节角度估计方法，其特征在于，所述多层多头注意力模块包括若干层依次连接的多头注意力网络以及第一全连接层，每层所述多头注意力网络包括三个结构相同且平行排列的单头注意力网络、一个特征拼接层、第二全连接层，其中利用所述多层多...
【专利技术属性】
技术研发人员：耿艳娟，于哲彬，崔晗，龙昱丞，陈子寅，李光林，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。