【技术实现步骤摘要】
本专利技术涉及深度学习，尤其涉及一种基于多目标优化和群卷积网络融合的认知负荷解析方法。
技术介绍
1、认知负荷理论最早由澳大利亚新南威尔士大学教授约翰·斯威勒(johnsweller)于1988年，在miller等人早期研究的基础上提出。它阐述了人类的认知结构且对认知负荷的概念进行了定义。自提出以后，随着研究的不断进展，认知负荷理论得到进一步的完善，并在教育心理学等研究中产生广泛的影响。随着自动化技术的不断发展，人机交互系统作业环境不断复杂化，对人机交互的协调能力要求越来越高。通过检测，对人的认知负荷进行评估，作为反馈信号合理的调节人机系统的任务需求，对提高系统的工作效率有着重要意义。
2、早期的认知负荷评估以主观评估方法为主，多使用问卷调查的方式。虽然操作简单，但得到的结果大多存在一定延时，且操作者主观意愿较强，评估准确率有待商榷。随着生物医学采集装置的不断改进，脑电(electroencephalogram，eeg)、心电、皮肤电等信号可以通过可穿戴设备进行检测与采集，具有实时、难以隐藏的优势，可以有效克服主观评估方法。其中，脑电信号具有时间分辨率较高、廉价等优点，且已有相关文献证明了脑电信号的变化与人类认知负荷的变化存在密切关联，因此，我们选择基于脑电信号对认知负荷进行评估。深度学习作为当今发展最为迅速的领域之一，解决了如何通过经验和数据自动搭建、改进计算机模型等问题。
3、现有基于生理信号与深度学习算法的认知负荷识别大多需要进行人工的相对复杂的特征提取，再将提取的特征输入至算法中进行识别，因为大多
4、综上，如何充分利用eeg信号的多维特征构建一个适用于不同个体的泛化能力较强的模型仍是一个具有挑战的问题。
技术实现思路
1、针对现有技术的不足，本专利技术提供一种基于多目标优化和群卷积网络融合的认知负荷解析方法，搭建实时可靠的认知负荷检测模型，通过学习脑电信号的判别性特征，充分学习脑电信号多维度信息，同时利用多目标贝叶斯优化算法解决模型超参数难以调节问题，提升算法的泛化能力，实现对认知负荷的准确评估，这对提高人机交互系统的工作效率具有重要意义。
2、本专利技术采用的技术方案为，一种基于多目标优化和群卷积网络融合的认知负荷解析方法，包括以下步骤：
3、步骤1：通过脑电采集电极采集脑电信号数据，并对脑电信号数据进行数据预处理和特征提取；
4、步骤1.1：将单试次脑电数据进行等间隔图窗划分，保留脑电信号随时间变化规律；
5、步骤1.2：分别对步骤1.1处理后的图窗内脑电信号进行快速傅里叶变换，提取信号的频率特征；
6、步骤1.3：将三维空间中脑电采集电极，按照等距方位投影，投影至投影面，计算各电极在投影面上的位置，保留不同导联之间的空间关系，得到脑电功率谱图；
7、所述投影面具体为，选取头顶端点作为投影中心，与头顶端点相切的二维平面；
8、步骤2：构造群等变卷积神经网络gcnn，进行特征域变换，实现数据增强并学习脑电信号的空间和频率的特征；
9、步骤2.1：构造群等变卷积神经网络gcnn；
10、所述群等变卷积神经网络gcnn在卷积神经网络的基础上，使用p4群作为复合变换群以设计具有旋转等变性的卷积神经网络，即以4个通道为一组定义一个群，每个通道进行普通卷积操作得到的结果为群卷积操作结果；
11、步骤2.2：输入脑电功率谱图至群等变卷积神经网络gcnn进行卷积变换，即代表二维平面空间，g代表群空间，如公式(1)所示：
12、
13、式中，脑电功率谱图f和滤波器ψ均为上的函数，y是空间的位置坐标，k为滤波器数量，k＝1,2,...,k，ψk为第k个滤波器，为提升计算速度，对滤波器使用p4群的g变换，获得4通道滤波器，分别与复制为相同数量的脑电功率谱图进行卷积运算，得到4张输出特征图，实现将f*ψ转换为g上的函数，将脑电功率谱图转化为p4群结构的输出特征图；
14、步骤2.3：步骤2.2得到的输出特征图是群函数的形式，再将输出特征图进行群空间到群空间的群卷积操作，该群卷积操作(g→g)定义如公式(2)所示：
15、
16、fk(h)为定义在p4群的输入特征图，即步骤2.2得到的输出特征图，h代表群空间中位置坐标，公式(2)中的滤波器ψ包含4个滤波器，该4个滤波器满足p4群操作，对滤波器进行群g-1h操作，得到可互换的4组滤波器，共展现出16种形态；分别将4组滤波器与输入特征图进行卷积运算，每一组进行求和，最终得到定义在p4群上的特征图。
17、步骤2.4：在不同卷积层之间加入最大池化操作实现特征下采样，池化核大小设置为2×2，步长为2，零填充，且输入至池化层的特征图边长大小为偶数，对步骤2.3得到的特征图进行最大池化操作，不改变定义在p4群的旋转等变性，当群等变卷积神经网络gcnn完成群卷积与池化操作后，需要将特征图映射的群域变换回来，即
18、将特征图群展开输入至全连接层，最终通过全连接层进一步学习特征。
19、步骤3：搭建gcnn-gru网络架构；
20、综合考虑输入数据在时间、空间、频率三个维度的特性，使用gcnn提取数据的空间与频率的特征，使用gru模型学习数据的时间表示特征，将两个特征进行特征融合，得到双路网络结构，即gcnn-gru网络架构以实现认知负荷的综合评估。
21、所述提取数据的空间与频率的特征具体为，保留数据的频域与空间信息，取各时间图窗的均值，输入至群等变卷积神经网络gcnn；在群等变卷积神经网络gcnn，群卷积层均采用3×3大小、步长为1、0填充的卷积核进行特征提取，再使用relu激活函数进行非线性变换。其中，第一、二层群卷积层通道数设置为16，第三、四层群卷积层通道数设置为32；每两个群卷积层进行连续卷积后，插入一个池化层，选择尺寸为2×2、步长为2的池化核进行最大池化操作，对数据特征进行下采样，最后经由全连接层进行特征映射，得到群等变卷积神经网络gcnn提取的空间与频率的特征；
22、所述学习数据的时间表示特征具体为，将脑电功率谱图按时间维度进行学习，输入至gru模型，对时间序列进行分析；所述gru模型即门控循环单元结构gated recurrentunit，gru模型的层数设置为1，隐藏层单元数为待优化参数，将gru模型输出的时间特征输入至第二全连接层，进行特征映射；
23、所述特征融合具体为，将空间与频率的特征与时间表示特征进行拼接，输入至第三全连接层，使用softmax激活函数，实现本文档来自技高网...
【技术保护点】
1.一种基于多目标优化和群卷积网络融合的认知负荷解析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多目标优化和群卷积网络融合的认知负荷解析方法，其特征在于，所述步骤1包括以下步骤：
3.根据权利要求1所述的一种基于多目标优化和群卷积网络融合的认知负荷解析方法，其特征在于，所述步骤2具体包括以下步骤：
4.根据权利要求1所述的一种基于多目标优化和群卷积网络融合的认知负荷解析方法，其特征在于，所述步骤3具体为，综合考虑输入数据在时间、空间、频率三个维度的特性，使用GCNN提取数据的空间与频率的特征，使用GRU模型学习数据的时间表示特征，将两个特征进行特征融合，得到双路网络结构，即GCNN-GRU网络架构以实现认知负荷的综合评估。
5.根据权利要求4所述的一种基于多目标优化和群卷积网络融合的认知负荷解析方法，其特征在于，所述提取数据的空间与频率的特征具体为，保留数据的频域与空间信息，取各时间图窗的均值，输入至群等变卷积神经网络GCNN；在群等变卷积神经网络GCNN，群卷积层均采用3×3大小、步长为1、0填充的卷积核进行
6.根据权利要求1所述的一种基于多目标优化和群卷积网络融合的认知负荷解析方法，其特征在于，所述步骤4具体为，选取GCNN-GRU网络架构三个参数，分别为随机梯度下降SGD的学习率lr、动量参数momentum和GRU模型中隐藏层单元数hGRU；对GCNN-GRU网络架构进行训练，通过前向传播得到网络预测值，使用损失函数计算模型的预测值与真实值间误差大小，再经由反向传播迭代更新各参数，设置多目标函数，以实现预测值与真实标签间误差最小化。
7.根据权利要求6所述的一种基于多目标优化和群卷积网络融合的认知负荷解析方法，其特征在于，所述损失函数采用交叉熵损失函数计算迭代损失：
...【技术特征摘要】
1.一种基于多目标优化和群卷积网络融合的认知负荷解析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多目标优化和群卷积网络融合的认知负荷解析方法，其特征在于，所述步骤1包括以下步骤：
3.根据权利要求1所述的一种基于多目标优化和群卷积网络融合的认知负荷解析方法，其特征在于，所述步骤2具体包括以下步骤：
4.根据权利要求1所述的一种基于多目标优化和群卷积网络融合的认知负荷解析方法，其特征在于，所述步骤3具体为，综合考虑输入数据在时间、空间、频率三个维度的特性，使用gcnn提取数据的空间与频率的特征，使用gru模型学习数据的时间表示特征，将两个特征进行特征融合，得到双路网络结构，即gcnn-gru网络架构以实现认知负荷的综合评估。
5.根据权利要求4所述的一种基于多目标优化和群卷积网络融合的认知负荷解析方法，其特征在于，所述提取数据的空间与频率的特征具体为，保留数据的频域与空间信息，取各时间图窗的均值，输入至群等变卷积神经网络gcnn；在群等变卷积神经网络gcnn，群卷积层均采用3×3大...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。