一种多模态信号的分析方法、装置及设备制造方法及图纸

本申请公开了一种多模态信号的分析方法、装置及设备，采集第一用户的目标部位运动时的视频数据，从中提取人体关键点位置，得到目标部位对应的随时间变化的第一肌肉力学曲线。同时采集第一用户的第一脑电信号，输入脑电分析模型，得到第一脑电信号对应的随时间变化的分类结果。将第一肌肉力学曲线与第一脑电信号对应的分类结果建立映射关系。采集第二用户想象目标部位运动时的第二脑电信号输入脑电分析模型，得到第二脑电信号对应的随时间变化的分类结果。根据映射关系以及第二脑电信号对应的随时间变化的分类结果，得到目标部位对应的随时间变化的第二肌肉力学曲线。通过运动想象产生肌力量化分析，对如何进行目标部位的运动训练提供理论支持。练提供理论支持。练提供理论支持。

【技术实现步骤摘要】
一种多模态信号的分析方法、装置及设备


[0001]本申请涉及数据处理
，具体涉及一种多模态信号的分析方法、装置及设备。

技术介绍

[0002]脑卒中，是一种急性脑血管疾病，是由于脑部血管突然破裂或因血管阻塞导致血液不能流入大脑而引起脑组织损伤的一组疾病，通常分为缺血性和出血性两大类。不同部位的脑卒中所导致的症状也不尽相同，一般脑卒中会导致中枢神经系统损伤。
[0003]对于脑卒中患者需要进行康复训练，以帮助中枢神经功能重建和再塑。但是，目前一般是由医生凭借经验指导患者进行康复训练，缺少科学指导康复训练的理论分析结果。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种多模态信号的分析方法、装置及设备，为康复训练提供理论支持。
[0005]为解决上述问题，本申请实施例提供的技术方案如下：
[0006]一种多模态信号的分析方法，所述方法包括：
[0007]采集第一用户的目标部位运动时的视频数据，从所述视频数据中提取人体关键点的位置，根据所述人体关键点的位置得到所述目标部位对应的随时间变化的第一肌肉力学曲线；
[0008]采集所述第一用户的目标部位运动时的第一脑电信号，将所述第一脑电信号输入脑电分析模型，得到所述第一脑电信号对应的随时间变化的分类结果；
[0009]将所述随时间变化的第一肌肉力学曲线与所述第一脑电信号对应的随时间变化的分类结果，建立映射关系；
[0010]采集第二用户想象目标部位运动时的第二脑电信号，将所述第二脑电信号输入所述脑电分析模型，得到所述第二脑电信号对应的随时间变化的分类结果；
[0011]根据所述映射关系以及所述第二脑电信号对应的随时间变化的分类结果，得到所述目标部位对应的随时间变化的第二肌肉力学曲线。
[0012]在一种可能的实现方式中，所述方法还包括：
[0013]根据所述第二肌肉力学曲线，得到所述目标部位的肌肉电刺激方案。
[0014]在一种可能的实现方式中，所述方法还包括：
[0015]根据所述第二脑电信号对应的随时间变化的分类结果，生成所述目标部位运动的模拟视频。
[0016]在一种可能的实现方式中，所述脑电分析模型包括数据转换模块以及分类模块，所述分类模块包括相连的第一卷积层、至少一个第一处理模块、第一数学运算模块、第一激活层以及全连接层，所述第一处理模块包括相连的DEG模块以及连接运算模块；
[0017]所述采集所述第一用户的目标部位运动时的第一脑电信号，将所述第一脑电信号
输入脑电分析模型，得到所述第一脑电信号对应的随时间变化的分类结果，包括：
[0018]采集所述第一用户的目标部位运动时的第一脑电信号，将所述第一脑电信号输入所述数据转换模块，将所述第一脑电信号转换为初始频域脑电信号，取所述初始频域脑电信号中非负频率段的幅值，得到频域脑电信号；
[0019]将所述频域脑电信号输入分类模块，利用所述第一卷积层对所述频域脑电信号进行卷积计算，利用所述DEG模块对输入所述DEG模块的信号逐秒分解后进行运算，利用所述连接运算模块将所述DEG模块的输出结果进行连接运算，利用所述第一数学运算模块将所述第一处理模块的输出结果进行目标数学运算，经过所述第一激活层以及所述全连接层输出所述第一脑电信号对应的随时间变化的分类结果。
[0020]在一种可能的实现方式中，所述脑电分析模型还包括连接于所述数据转换模块与所述分类模块之间的自监督学习模块，所述自监督学习模块包括编码器、长短期记忆人工神经网络LSTM模块以及解码器，所述自监督学习模块用于对所述频域脑电信号进行自监督学习，重新得到频域脑电信号。
[0021]在一种可能的实现方式中，所述编码器包括相连的第二卷积层以及至少一个所述第一处理模块，所述解码器包括至少一个第二处理模块以及第三卷积层，所述第二处理模块包括逆DEG模块以及连接运算模块。
[0022]在一种可能的实现方式中，所述脑电分析模型还包括连接于所述自监督学习模块与所述分类模块之间的脑电信号图结构建立模块；所述脑电信号图结构建立模块用于将频域脑电信号转换为图神经网络。
[0023]在一种可能的实现方式中，所述DEG模块包括相连的至少一个第三处理模块、第二数学运算模块，所述第三处理模块包括DMG模块以及第二激活层；所述第二数学运算模块用于将各个所述第三处理模块的输出结果进行带权重相乘。
[0024]在一种可能的实现方式中，所述方法还包括：
[0025]将所述第一脑电信号输入脑电分析模型，得到所述第一脑电信号对应的脑区激活位置图；
[0026]和/或，
[0027]将所述第二脑电信号输入所述脑电分析模型，得到所述第二脑电信号对应的脑区激活位置图。
[0028]一种多模态信号的分析装置，所述装置包括：
[0029]第一采集单元，用于采集第一用户的目标部位运动时的视频数据，从所述视频数据中提取人体关键点的位置，根据所述人体关键点的位置得到所述目标部位对应的随时间变化的第一肌肉力学曲线；
[0030]第二采集单元，用于采集所述第一用户的目标部位运动时的第一脑电信号，将所述第一脑电信号输入脑电分析模型，得到所述第一脑电信号对应的随时间变化的分类结果；
[0031]建立单元，用于将所述随时间变化的第一肌肉力学曲线与所述第一脑电信号对应的随时间变化的分类结果，建立映射关系；
[0032]第三采集单元，用于采集第二用户想象目标部位运动时的第二脑电信号，将所述第二脑电信号输入所述脑电分析模型，得到所述第二脑电信号对应的随时间变化的分类结
果；
[0033]第一获得单元，用于根据所述映射关系以及所述第二脑电信号对应的随时间变化的分类结果，得到所述目标部位对应的随时间变化的第二肌肉力学曲线。
[0034]一种多模态信号的分析设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述的多模态信号的分析方法。
[0035]一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上述的多模态信号的分析方法。
[0036]由此可见，本申请实施例具有如下有益效果：
[0037]本申请实施例采集第一用户的目标部位运动时的视频数据，从视频数据中可以提取人体关键点的位置，从而得到目标部位对应的随时间变化的第一肌肉力学曲线。在第一用户的目标部位运动的同时，采集第一用户的第一脑电信号，将第一脑电信号输入脑电分析模型，可以得到第一脑电信号对应的随时间变化的分类结果。将随时间变化的第一肌肉力学曲线与第一脑电信号对应的分类结果，建立映射关系。然后采集第二用户想象目标部位运动时的第二脑电信号，同样将第二脑电信号输入脑电分析模型，得到第二脑电信号对应的随时间变化的分类结果。根据已经建立的映射关系以及第二脑电信号对应的随时间变化的分类结果，可以得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态信号的分析方法，其特征在于，所述方法包括：采集第一用户的目标部位运动时的视频数据，从所述视频数据中提取人体关键点的位置，根据所述人体关键点的位置得到所述目标部位对应的随时间变化的第一肌肉力学曲线；采集所述第一用户的目标部位运动时的第一脑电信号，将所述第一脑电信号输入脑电分析模型，得到所述第一脑电信号对应的随时间变化的分类结果；将所述随时间变化的第一肌肉力学曲线与所述第一脑电信号对应的随时间变化的分类结果，建立映射关系；采集第二用户想象目标部位运动时的第二脑电信号，将所述第二脑电信号输入所述脑电分析模型，得到所述第二脑电信号对应的随时间变化的分类结果；根据所述映射关系以及所述第二脑电信号对应的随时间变化的分类结果，得到所述目标部位对应的随时间变化的第二肌肉力学曲线。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述第二肌肉力学曲线，得到所述目标部位的肌肉电刺激方案。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述第二脑电信号对应的随时间变化的分类结果，生成所述目标部位运动的模拟视频。4.根据权利要求1所述的方法，其特征在于，所述脑电分析模型包括数据转换模块以及分类模块，所述分类模块包括相连的第一卷积层、至少一个第一处理模块、第一数学运算模块、第一激活层以及全连接层，所述第一处理模块包括相连的DEG模块以及连接运算模块；所述采集所述第一用户的目标部位运动时的第一脑电信号，将所述第一脑电信号输入脑电分析模型，得到所述第一脑电信号对应的随时间变化的分类结果，包括：采集所述第一用户的目标部位运动时的第一脑电信号，将所述第一脑电信号输入所述数据转换模块，将所述第一脑电信号转换为初始频域脑电信号，取所述初始频域脑电信号中非负频率段的幅值，得到频域脑电信号；将所述频域脑电信号输入分类模块，利用所述第一卷积层对所述频域脑电信号进行卷积计算，利用所述DEG模块对输入所述DEG模块的信号逐秒分解后进行运算，利用所述连接运算模块将所述DEG模块的输出结果进行连接运算，利用所述第一数学运算模块将所述第一处理模块的输出结果进行目标数学运算，经过所述第一激活层以及所述全连接层输出所述第一脑电信号对应的随时间变化的分类结果。5.根据权利要求4所述的方法，其特征在于，所述脑电分析模型还包括连接于所述数据转换模块与所述分类模块之间的自监督学习模块，所述自监督学习模块包括编码器、长短期记忆人工神经网络LSTM模块以及解码器，所述自监督学习模块用于对所述频域脑电信号进行自监督学习，重新得到频域...

【专利技术属性】
技术研发人员：朱宝峰，程万军，张霞，刘积仁，
申请(专利权)人：东北大学，
类型：发明
国别省市：