一种基于注意力机制的时频信息动态融合解码方法及装置制造方法及图纸

本发明专利技术实施例提供一种基于注意力机制的时频信息动态融合解码方法及装置，所述方法包括：接收神经信号，获取神经信号中的锋电位信号对应的时域特征和场电位信号对应的频域特征；基于时域特征结合自注意力机制建模，得到动态增强时域特征；基于频域特征结合自注意力机制建模得到动态增强频域特征；并基于动态增强后的时域特征及频域特征，结合交叉注意力机制建模，得到时频特征；根据动态融合后的时频特征，结合分类变量计算解码结果。采用本方法能够动态调整两种信号的融合方式，降低信号的变化对解码性能的影响，提高了神经解码对时间变化和噪声的鲁棒性，实现了更准确且鲁棒的神经解码。经解码。经解码。

【技术实现步骤摘要】
一种基于注意力机制的时频信息动态融合解码方法及装置


[0001]本专利技术涉及运动神经信号解码
，尤其涉及一种基于注意力机制的时频信息动态融合解码方法及装置。

技术介绍

[0002]侵入式脑机接口可以通过神经活动与外部设备直接通信，这在运动功能恢复和神经假体等临床应用中显示出巨大潜力。在侵入式脑机接口的临床应用中，如何解决脑信号中存在的时间漂移和噪声严重问题，从而实现准确且鲁棒的解码结果至关重要。从侵入式脑机接口的数据来源角度来看，典型的神经信号包括动作电位（锋电位）和局部场电位（场电位）。这两种类型的信号对与运动相关的信息进行不同的编码。对于锋电位来说，运动信息由单个神经元放电活动的时间和频率编码，该信号包含更准确和高精度的运动信息，但容易受到噪声的影响，稳定性较差；对于场电位来说，该信号反映了大量神经元的集群活动，其频域信息包含了可用于运动解码的丰富信息，虽然在时间和空间上都表现出较低的分辨率，但是数据模式稳定。因此，双方的融合可以潜在地提高神经解码的准确性和鲁棒性。
[0003]近年来，已经有许多学者基于锋电位和场电位的融合解码得到了更加准确且鲁棒的性能。这些研究证明了锋电位和场电位融合的有效性和必要性，但它们大多直接连接两个信号而忽略了它们之间的相互作用。特别是，锋电位信号和场电位信号中的时谱连接在不同的任务和条件下显示出动态变化的特性，而现有方法使用锋电位和场电位之间的固定组合，导致性能欠佳。因此，如何根据样本的数据特点动态调整锋电位和场电位的连接，从而实现信号间的动态融合，实现稳定且鲁棒的解码性能，是当前运动神经解码领域仍待解决的重要问题。

技术实现思路

[0004]针对现有技术中存在的问题，本专利技术实施例提供一种基于注意力机制的时频信息动态融合解码方法及装置。
[0005]本专利技术实施例提供一种基于注意力机制的时频信息动态融合解码方法，包括：接收目标用户基于动作行为产生的神经信号，对所述神经信号进行预处理，获取所述神经信号中的锋电位信号和场电位信号，并基于所述锋电位信号提取不同时间步内的时域特征，基于所述场电位信号提取不同频段内的频域特征；基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征；基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征；
基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征；根据所述动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与所述时频特征对应的时域特征及频域特征，并通过所述时频特征对应的时域特征及频域特征计算解码结果。
[0006]在其中一个实施例中，所述表征因子，包括：查询表征、键表征和值表征。
[0007]在其中一个实施例中，所述方法还包括：基于不同时间步内的时域特征，结合所述查询表征、键表征和值表征对应的线性转换矩阵，结合对应的时间步，计算得到不同时间步对应的查询表征、键表征和值表征；通过每个时间步的查询表征计算与其余时间步的键表征之间的连接强度，并基于所述连接强度定义对应时间步的值表征加权的权重值，通过所述连接强度及权重值计算得到不同时间步对应的时域特征，并应用残差连接和带有层归一化的全连接前馈层进行所述时域特征的动态增强。
[0008]在其中一个实施例中，所述方法还包括：基于不同频段内的时域特征，结合所述查询表征、键表征和值表征对应的线性转换矩阵，结合对应的频段，计算得到不同频段对应的查询表征、键表征和值表征；通过每个频段的查询表征计算与其余频段的键表征之间的连接强度，并基于所述连接强度定义对应频段的值表征加权的权重值，通过所述连接强度及权重值计算得到不同频段对应的频域特征，并应用残差连接和带有层归一化的全连接前馈层进行所述频域特征的动态增强。
[0009]在其中一个实施例中，所述方法还包括：基于动态增强后的时域特征，学习得到对应的查询表征、键表征和值表征对应的线性转换矩阵，结合对应的时域特征，计算得到不同时间步对应的查询表征、键表征和值表征；基于动态增强后的频域特征，学习得到对应的查询表征、键表征和值表征对应的线性转换矩阵，结合对应的频域特征，计算得到不同频段对应的查询表征、键表征和值表征；通过每个时间步的查询表征计算与每个频段的键表征之间的连接强度，并基于所述连接强度定义对应频段的值表征加权的权重值，通过所述连接强度及权重值计算得到以时域特征为查询基的频域特征；通过每个频段的查询表征计算与每个时间步的键表征之间的连接强度，并基于所述连接强度定义对应时间步的值表征加权的权重值，通过所述连接强度及权重值计算得到以频域特征为查询基的时域特征；将所述以时域特征为查询基的频域特征、以频域特征为查询基的时域特征进行动态融合，得到对应的时频特征。
[0010]在其中一个实施例中，所述方法还包括：基于所述时频特征对应的时域特征及频域特征，结合所述动作行为的对应特征，
通过多层感知器计算所述解码结果的损失率。
[0011]在其中一个实施例中，所述方法还包括：将所述时域特征、频域特征的数据分为训练集数据、验证集数据和测试集数据；所述解码结果包括：训练集数据解码结果；所述通过所述时频特征对应的时域特征及频域特征计算解码结果之后，还包括：通过验证集数据对所述交叉注意力机制建模的对应模型拟合程度进行评估，选出评估结果中的最优模型，并结合所述测试集数据评估所述最优模型的模型性能。
[0012]本专利技术实施例提供一种基于注意力机制的时频信息动态融合解码装置，包括：接收模块，用于接收目标用户基于动作行为产生的神经信号，对所述神经信号进行预处理，获取所述神经信号中的锋电位信号和场电位信号，并基于所述锋电位信号提取不同时间步内的时域特征，基于所述场电位信号提取不同频段内的频域特征；第一建模模块，用于基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征；第二建模模块，用于基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征；交叉建模模块，用于基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征；计算模块，用于根据所述动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与所述时频特征对应的时域特征及频域特征，并通过所述时频特征对应的时域特征及频域特征计算解码结果。
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的时频信息动态融合解码方法，其特征在于，包括：接收目标用户基于动作行为产生的神经信号，对所述神经信号进行预处理，获取所述神经信号中的锋电位信号和场电位信号，并基于所述锋电位信号提取不同时间步内的时域特征，基于所述场电位信号提取不同频段内的频域特征；基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征；基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征；基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征；根据所述动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与所述时频特征对应的时域特征及频域特征，并通过所述时频特征对应的时域特征及频域特征计算解码结果。2.根据权利要求1所述的基于注意力机制的时频信息动态融合解码方法，其特征在于，所述表征因子，包括：查询表征、键表征和值表征。3.根据权利要求2所述的基于注意力机制的时频信息动态融合解码方法，其特征在于，所述基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征，包括：基于不同时间步内的时域特征，结合所述查询表征、键表征和值表征对应的线性转换矩阵，结合对应的时间步，计算得到不同时间步对应的查询表征、键表征和值表征；通过每个时间步的查询表征计算与其余时间步的键表征之间的连接强度，并基于所述连接强度定义对应时间步的值表征加权的权重值，通过所述连接强度及权重值计算得到不同时间步对应的时域特征，并应用残差连接和带有层归一化的全连接前馈层进行所述时域特征的动态增强。4.根据权利要求3所述的基于注意力机制的时频信息动态融合解码方法，其特征在于，所述基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征，包括：基于不同频段内的时域特征，结合所述查询表征、键表征和值表征对应的线性转换矩阵，结合对应的频段，计算得到不同频段对应的查询表征、键表征和值表征；通过每个频段的查询表征计算与其余频段的键表征之间的连接强度，并基于所述连接强度定义对应频段的值表征加权的权重值，通过所述连接强度及权重值计算得到不同频段对应的频域特征，并应用残差连接和带有层归一化的全连接前馈层进行所述频域特征的动态增强。
5.根据权利要求4所述的基于注意力机制的时频信息动态融合解码方法，其特征在于，所述基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征，包括：基于动态增强后的时域特征，学习得到对应的查询表征、键表征和值表征对应的线性转换矩阵，结合对应的时域特征，计算得到不同时间步对应的查询表征、键表征和值...

【专利技术属性】
技术研发人员：祁玉，王跃明，孙华琴，李响，
申请(专利权)人：浙江浙大西投脑机智能科技有限公司，
类型：发明
国别省市：