基于自注意力机制的肌电手势识别方法及装置制造方法及图纸

基于自注意力机制的肌电手势识别方法及装置，该方法根据预定的时间间隔，按照相同顺序重复展示预设次数的给定手势动态图像，根据开始展示时间以及展示时长，分别给对应手势动态图像标记时间戳，得到带有标签的肌电数据；搭建带有自注意力机制的复合模型，复合模型的架构包括循环架构、通道注意力架构、多头自注意力架构和输出架构；将训练集数据和对应的标签送入复合模型进行训练，采用训练好的复合模型对测试集数据进行预测，将循环架构和多头自注意力架构预测概率之和最大的分类作为预测的手势分类。本发明专利技术能够更好地关注到手势的关键区域，从而提高算法的准确率，减少了计算成本和时间耗费。本和时间耗费。本和时间耗费。

【技术实现步骤摘要】
基于自注意力机制的肌电手势识别方法及装置


[0001]本专利技术属于手势识别
，具体涉及一种基于自注意力机制的肌电手势识别方法及装置。

技术介绍

[0002]手势识别作为现代人机交互的一种重要方法，在元宇宙、智能驾驶、智能家居等多个领域存在广阔的应用场景，也受到了广泛的关注。
[0003]深度学习算法拥有良好的特征提取能力，能在各种复杂场景下取得一定的识别性能。现有技术中，手势识别任务中常用到的深度学习算法，主要是卷积神经网络和循环神经网络，然而这两种常用算法对于过长的序列往往无法很好地传输序列起点的信息，缺乏对肌电数据中存在的长距离依赖关系进行建模的能力，也缺少对手势发生的关键区域的获取与关注，即无法更多地关注到细节信息，难以进行并行计算，计算效率低，时间资源和计算成本消耗大。
[0004]如何解决现有手势识别中存在的时间资源和计算成本消耗大，缺少对手势发生关键区域的突出以及非关键区域的抑制等技术问题具有现实意义。

技术实现思路

[0005]为此，本专利技术提供一种基于自注意力机制的肌电手势识别方法及装置，以解决手势识别中存在的时间资源和计算成本消耗大，缺少对手势发生关键区域的突出以及非关键区域的抑制的问题。
[0006]为了实现上述目的，本专利技术提供如下技术方案：基于自注意力机制的肌电手势识别方法，包括：
[0007]根据预定的时间间隔，按照相同顺序重复展示预设次数的给定手势动态图像，根据开始展示时间以及展示时长，分别给对应手势动态图像标记时间戳，得到带有标签的肌电数据；
[0008]对得到的带有标签的肌电数据进行数据分窗，将窗内信号计算平方和与预设的判定阈值进行比较，若连续若干个窗的平方和大于判定阈值作为有效手势，直到连续若干个窗的平方和小于判定阈值转为无效手势；
[0009]将有效手势乱序后，取第一数量的数据作为训练集，第二数量的数据作为测试集；
[0010]搭建带有自注意力机制的复合模型，复合模型的架构包括循环架构、通道注意力架构、多头自注意力架构和输出架构；
[0011]将训练集数据和对应的标签送入复合模型进行训练，采用训练好的复合模型对测试集数据进行预测，将循环架构和多头自注意力架构预测概率之和最大的分类作为预测的手势分类。
[0012]作为基于自注意力机制的肌电手势识别方法优选方案，对有效手势数据采用弹性变换的方式进行数据增强，将得到的新数据补充到数据集，乱序后取90％数据作为训练集，
10％数据作为测试集。
[0013]作为基于自注意力机制的肌电手势识别方法优选方案，循环架构输入先经过一个1
×
1卷积核的卷积层，再通过split函数将卷积层输出分为20个，经过标准化层后输入到BILSTM层。
[0014]作为基于自注意力机制的肌电手势识别方法优选方案，利用通道注意力架构将输入分别进行全局池化和平均池化，所得到全局池化和平均池化的结果送入到三层感知机中MLP学习，将MLP输出结果进行“加”操作，并经过Sigmoid函数进行映射处理。
[0015]作为基于自注意力机制的肌电手势识别方法优选方案，多头自注意力架构第一个块中第一层为16个卷积核的卷积层，第二层是批归一化层，第三层是LRELU层，第四层是自注意力层，第五层是LRELU层；第六层是16个卷积核的卷积层，前六层定义为AttentionBlock；第七到十二层为AttentionBlock，其中卷积核个数为32；
[0016]第二个块是4层AttentionBlock，第二个块中第一层卷积核个数为64，第二个块中剩余三层卷积核个数为32；
[0017]第三个块是1层AttentionBlock，卷积核个数64。
[0018]作为基于自注意力机制的肌电手势识别方法优选方案，利用输出架构将三块数据通过concatenate函数进行拼接后传入批归一化层，输出架构的第二层是DROPOUT层，输出架构的第三层是全连接层，输出架构的第四层是全连接层。
[0019]本专利技术还提供一种基于自注意力机制的肌电手势识别装置，包括：
[0020]肌电数据预测模块，用于根据预定的时间间隔，按照相同顺序重复展示预设次数的给定手势动态图像，根据开始展示时间以及展示时长，分别给对应手势动态图像标记时间戳，得到带有标签的肌电数据；
[0021]分窗处理模块，用于对得到的带有标签的肌电数据进行数据分窗，将窗内信号计算平方和与预设的判定阈值进行比较，若连续若干个窗的平方和大于判定阈值作为有效手势，直到连续若干个窗的平方和小于判定阈值转为无效手势；
[0022]数据划分模块，用于将有效手势乱序后，取第一数量的数据作为训练集，第二数量的数据作为测试集；
[0023]模型搭建模块，用于搭建带有自注意力机制的复合模型，复合模型的架构包括循环架构、通道注意力架构、多头自注意力架构和输出架构；
[0024]数据预测模块，用于将训练集数据和对应的标签送入复合模型进行训练，采用训练好的复合模型对测试集数据进行预测，将循环架构和多头自注意力架构预测概率之和最大的分类作为预测的手势分类。
[0025]作为基于自注意力机制的肌电手势识别装置优选方案，所述数据划分模块中，对有效手势数据采用弹性变换的方式进行数据增强，将得到的新数据补充到数据集，乱序后取90％数据作为训练集，10％数据作为测试集。
[0026]作为基于自注意力机制的肌电手势识别装置优选方案，所述模型搭建模块包括：
[0027]循环子模块，用于通过循环架构输入先经过一个1
×
1卷积核的卷积层，再通过split函数将卷积层输出分为20个，经过标准化层后输入到BILSTM层；
[0028]通道注意力子模块，用于利用通道注意力架构将输入分别进行全局池化和平均池化，所得到全局池化和平均池化的结果送入到三层感知机中MLP学习，将MLP输出结果进行
“
加”操作，并经过Sigmoid函数进行映射处理；
[0029]多头自注意力子模块，多头自注意力子模块设有多头自注意力架构，多头自注意力架构第一个块中第一层为16个卷积核的卷积层，第二层是批归一化层，第三层是LRELU层，第四层是自注意力层，第五层是LRELU层；第六层是16个卷积核的卷积层，前六层定义为AttentionBlock；第七到十二层为AttentionBlock，其中卷积核个数为32；第二个块是4层AttentionBlock，第二个块中第一层卷积核个数为64，第二个块中剩余三层卷积核个数为32；第三个块是1层AttentionBlock，卷积核个数64。
[0030]作为基于自注意力机制的肌电手势识别装置优选方案，所述模型搭建模块还包括：
[0031]输出子模块，用于利用输出架构将三块数据通过concatenate函数进行拼接后传入批归一化层，输出架构的第二层是DROPOUT层，输出架构的第三层是全连接层，输出架构的第四层是全连接层。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自注意力机制的肌电手势识别方法，其特征在于，包括：根据预定的时间间隔，按照相同顺序重复展示预设次数的给定手势动态图像，根据开始展示时间以及展示时长，分别给对应手势动态图像标记时间戳，得到带有标签的肌电数据；对得到的带有标签的肌电数据进行数据分窗，将窗内信号计算平方和与预设的判定阈值进行比较，若连续若干个窗的平方和大于判定阈值作为有效手势，直到连续若干个窗的平方和小于判定阈值转为无效手势；将有效手势乱序后，取第一数量的数据作为训练集，第二数量的数据作为测试集；搭建带有自注意力机制的复合模型，复合模型的架构包括循环架构、通道注意力架构、多头自注意力架构和输出架构；将训练集数据和对应的标签送入复合模型进行训练，采用训练好的复合模型对测试集数据进行预测，将循环架构和多头自注意力架构预测概率之和最大的分类作为预测的手势分类。2.根据权利要求1所述的基于自注意力机制的肌电手势识别方法，其特征在于，对有效手势数据采用弹性变换的方式进行数据增强，将得到的新数据补充到数据集，乱序后取90％数据作为训练集，10％数据作为测试集。3.根据权利要求2所述的基于自注意力机制的肌电手势识别方法，其特征在于，循环架构输入先经过一个1
×
1卷积核的卷积层，再通过split函数将卷积层输出分为20个，经过标准化层后输入到BILSTM层。4.根据权利要求3所述的基于自注意力机制的肌电手势识别方法，其特征在于，利用通道注意力架构将输入分别进行全局池化和平均池化，所得到全局池化和平均池化的结果送入到三层感知机中MLP学习，将MLP输出结果进行“加”操作，并经过Sigmoid函数进行映射处理。5.根据权利要求4所述的基于自注意力机制的肌电手势识别方法，其特征在于，多头自注意力架构第一个块中第一层为16个卷积核的卷积层，第二层是批归一化层，第三层是LRELU层，第四层是自注意力层，第五层是LRELU层；第六层是16个卷积核的卷积层，前六层定义为AttentionBlock；第七到十二层为AttentionBlock，其中卷积核个数为32；第二个块是4层AttentionBlock，第二个块中第一层卷积核个数为64，第二个块中剩余三层卷积核个数为32；第三个块是1层AttentionBlock，卷积核个数64。6.根据权利要求5所述的基于自注意力机制的肌电手势识别方法，其特征在于，利用输出架构将三块数据通过concatenate函数进行拼接后传入批归一化层，输出架构的第二层是DROPOUT层，输出架构的第三层是全连接层，输出架构的第四层是全连接层。7.基于自注意力机制的肌电手势识别装置，其特征在于，包括：肌电数据预测模块，用于根...

【专利技术属性】
技术研发人员：王仕婧，刘冰，
申请(专利权)人：浙江柔灵科技有限公司，
类型：发明
国别省市：