【技术实现步骤摘要】
本专利技术涉及人工智能，具体涉及一种多模态人体生理数据的分类模型、训练与分类方法及设备。
技术介绍
1、在人工智能领域，人们经常希望根据人体的生理数据(如脑电图、心电图等)利用神经网络模型来对受试者当前的生理或心理状态进行分类，例如判断受试者当前处于愉悦状态还是愤怒状态。
2、由于传感器或电极接触不良或者受试者的运动、其他设备的干扰等会导致所采集的生理数据出现丢失，进而使得模型的分类结果出现偏差。
3、为了解决这一问题常用的解决方案有：(1)直接丢弃存在数据缺失的生理数据，这种方式简单粗暴，在样本采集成本较高的情况下不实用；(2)将缺失值替换为对应的最接近的有效值，这种方法只适用于数据丢失很少的情况；(3)建立高维模型以解决数据的缺失问题，这种方法对于单模态数据尚且有效，对于多模态的数据这种方式会使计算量爆炸式增长。
技术实现思路
1、为了解决现有技术中的上述问题，本专利技术提出了一种多模态人体生理数据的分类模型、训练与分类方法及设备，解决了多模态生理数据出现缺失情况下的分类问题。
2、本专利技术的第一方面，提出一种多模态人体生理数据的分类模型，所述分类模型包括：多头自注意力(multi-headed self-attention)模块、归一化模块、融合专家系统和决策模块；
3、所述融合专家系统包括：脑电专家子系统、心电专家子系统、皮电专家子系统以及多模态同步融合专家子系统；
4、所述多头自注意力模块，用于对输入的多模态同
5、所述归一化模块，用于根据提取的特征数据生成归一化特征数据，并输出到所述融合专家系统；
6、所述脑电专家子系统，用于根据所述受试者的脑电数据对应的所述归一化特征数据执行分类任务，得到第一分类结果；
7、所述心电专家子系统，用于根据所述受试者的心电数据对应的所述归一化特征数据执行分类任务，得到第二分类结果；
8、所述皮电专家子系统，用于根据所述受试者的皮电数据对应的所述归一化特征数据执行分类任务，得到第三分类结果；
9、所述多模态同步融合专家子系统，用于根据所述多模态同步数据对应的所述归一化特征数据执行分类任务，得到第四分类结果；
10、所述决策模块，用于根据所述第一分类结果、所述第二分类结果、所述第三分类结果和所述第四分类结果，以及每种分类结果对应的权重，计算得到最终分类结果。
11、优选地，“根据所述第一分类结果、所述第二分类结果、所述第三分类结果、所述第四分类结果以及每种分类结果对应的权重，计算得到最终分类结果”的步骤包括：
12、根据下式计算所述最终分类结果：
13、g＝w1*f1+w2*f2+w3*f3+w4*f4
14、其中，g表示所述最终分类结果，f1、f2、f3和f4分别表示所述第一分类结果、所述第二分类结果、所述第三分类结果和所述第四分类结果，w1、w2、w3和w4均表示权重。
15、本专利技术的第二方面，提出一种多模态人体生理数据分类模型的训练方法，适用于如上面所述的多模态人体生理数据的分类模型，所述训练方法包括：
16、利用脑电训练集对所述脑电专家子系统和所述多头自注意力模块进行训练，并冻结所述心电专家子系统、所述皮电专家子系统以及所述多模态同步融合专家子系统的权重；
17、利用心电训练集对所述心电专家子系统进行训练，并冻结所述多头自注意力模块、所述脑电专家子系统、所述皮电专家子系统以及所述多模态同步融合专家子系统的权重；
18、利用皮电训练集对所述皮电专家子系统进行训练，并冻结所述多头自注意力模块、所述脑电专家子系统、所述心电专家子系统以及所述多模态同步融合专家子系统的权重；
19、利用多模态随机打码训练集对所述分类模型进行训练，从而对所述多头自注意力模块、所述脑电专家子系统、所述心电专家子系统、所述皮电专家子系统以及所述多模态同步融合专家子系统的权重进行调整。
20、优选地，所述方法还包括：
21、根据每个志愿者的脑电信号以及对应的电极点位置，生成包含时域信息、频域信息和空间信息的脑电数据，进而得到所述脑电训练集；
22、对每个所述志愿者的心电信号进行去噪处理，并根据时间信息与该志愿者的所述脑电信号进行对齐，进而生成所述心电训练集；
23、对每个所述志愿者的皮电信号进行去噪处理，并根据时间信息与该志愿者的所述脑电信号进行对齐，进而生成所述皮电训练集；
24、对所述脑电训练集、所述心电训练集和所述皮电训练集进行随机掩码处理以模拟数据缺失的情况，生成所述多模态随机打码训练集。
25、优选地，“根据每个志愿者的脑电信号以及对应的电极点位置，生成包含时域信息、频域信息和空间信息的脑电数据，进而得到所述脑电训练集”的步骤包括：
26、对每个志愿者的脑电信号进行快速傅里叶变换，提取频域信息；
27、从所述频域信息中选取感兴趣频段的数据；
28、根据所述感兴趣频段的数据以及采集所述脑电信号时的电极点位置，获得基于不同导联的类多光谱图像；
29、对所述类多光谱图像进行分块处理，并根据分块数据生成该志愿者的脑电数据。
30、优选地，“根据所述感兴趣频段的数据以及采集所述脑电信号时的电极点位置，获得基于不同导联的类多光谱图像”的步骤包括：
31、将采集所述脑电信号时的电极点位置从三维空间投影到二维表面，得到每个所述电极点的二维位置信息；
32、根据所述二维位置信息计算每个所述电极点与周围其他所述电极点之间的距离；
33、针对所述感兴趣频段的数据中每个导联的数据，根据所述距离对其他导联数据设置相应的权重，进而获得基于不同导联的类多光谱图像。
34、优选地，“对所述类多光谱图像进行分块处理，并根据分块数据生成该志愿者的脑电数据”的步骤包括：
35、将所述类多光谱图像作为图片进行分块操作，分成n＝h*w/p2个大小相同的小块；其中，h、w、c、p分别表示图像的高度、宽度、通道数和所述小块的大小；
36、将每个所述小块中的图像展平为向量，通过线性投影获得patch embedding，并添加一个[i_cls]的token作为该小块的位置编码，从而得到每个所述小块对应的分块数据；
37、根据所述分块数据生成该志愿者的脑电数据。
38、优选地，“将采集所述脑电信号时的电极点位置从三维空间投影到二维表面，得到每个所述电极点的二维位置信息”的步骤包括：
39、采用本文档来自技高网...
【技术保护点】
1.一种多模态人体生理数据的分类模型，其特征在于，所述分类模型包括：多头自注意力模块、归一化模块、融合专家系统和决策模块；
2.根据权利要求1所述的多模态人体生理数据的分类模型，其特征在于，“根据所述第一分类结果、所述第二分类结果、所述第三分类结果、所述第四分类结果以及每种分类结果对应的权重，计算得到最终分类结果”的步骤包括：
3.一种多模态人体生理数据分类模型的训练方法，其特征在于，适用于如权利要求1-2中任一项所述的多模态人体生理数据的分类模型，所述训练方法包括：
4.根据权利要求3所述的多模态人体生理数据分类模型的训练方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的多模态人体生理数据分类模型的训练方法，其特征在于，“根据每个志愿者的脑电信号以及对应的电极点位置，生成包含时域信息、频域信息和空间信息的脑电数据，进而得到所述脑电训练集”的步骤包括：
6.根据权利要求5所述的多模态人体生理数据分类模型的训练方法，其特征在于，“根据所述感兴趣频段的数据以及采集所述脑电信号时的电极点位置，获得基于不同导联的类多光
7.根据权利要求5所述的多模态人体生理数据分类模型的训练方法，其特征在于，“对所述类多光谱图像进行分块处理，并根据分块数据生成该志愿者的脑电数据”的步骤包括：
8.根据权利要求6所述的多模态人体生理数据分类模型的训练方法，其特征在于，“将采集所述脑电信号时的电极点位置从三维空间投影到二维表面，得到每个所述电极点的二维位置信息”的步骤包括：
9.一种多模态人体生理数据的分类方法，其特征在于，所述方法利用如权利要求1-2中任一项所述的多模态人体生理数据的分类模型执行分类任务。
10.一种计算机可读存储设备，其特征在于，存储有能够被处理器加载并执行如权利要求3-9中任一项所述方法的计算机程序。
...【技术特征摘要】
1.一种多模态人体生理数据的分类模型，其特征在于，所述分类模型包括：多头自注意力模块、归一化模块、融合专家系统和决策模块；
2.根据权利要求1所述的多模态人体生理数据的分类模型，其特征在于，“根据所述第一分类结果、所述第二分类结果、所述第三分类结果、所述第四分类结果以及每种分类结果对应的权重，计算得到最终分类结果”的步骤包括：
3.一种多模态人体生理数据分类模型的训练方法，其特征在于，适用于如权利要求1-2中任一项所述的多模态人体生理数据的分类模型，所述训练方法包括：
4.根据权利要求3所述的多模态人体生理数据分类模型的训练方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的多模态人体生理数据分类模型的训练方法，其特征在于，“根据每个志愿者的脑电信号以及对应的电极点位置，生成包含时域信息、频域信息和空间信息的脑电数据，进而得到所述脑电训练集”的步骤包括：
<...【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：北京津发科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。