基于生成对抗学习的跨模态决策信心估计方法及系统技术方案

本发明专利技术实施例提供一种基于生成对抗学习的跨模态决策信心估计方法及系统。该方法包括：采集被试者在决策过程中的脑电信号以及眼动信号；从脑电信号以及眼动信号中提取出脑电特征以及眼动特征；通过脑电特征以及眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练；将获取的被试者的真实眼动信号输入至训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对真实眼动信号以及预测脑电信号进行决策信心估计。本发明专利技术实施例利用生成对抗学习，提高了基于眼动信号的决策信心估计能力，解决了脑电信号采集过程复杂成本高的问题，保证准确的决策信心估计。估计。估计。

【技术实现步骤摘要】
基于生成对抗学习的跨模态决策信心估计方法及系统


[0001]本专利技术涉及多模态脑机接口领域，尤其涉及一种基于生成对抗学习的跨模态决策信心估计方法及系统。

技术介绍

[0002]决策信心是指在进行判断或决策时,个体对其决策最优性或正确性的信心程度。决策信心是人们在日常生活中的一种常见的心理现象，是影响决策结果的重要因素之一。
[0003]现有技术中，可以使用眼动和脑电图等生理信号可以用来估计个人在决策过程中的信心水平。虽然上述利用眼动和脑电图的多模态方法相比于单模态方法更可靠，但是多模态方法意味着需要花费更大的成本采集多模态数据，尤其是生理信号的获取都需要使用接触式设备，很大程度上限制了其在真实场景上的应用，尤其采集脑电信号的过程是非常复杂的。
[0004]在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：
[0005]实验中需要被试正确佩戴脑电帽并且注射电导凝胶，以确保电极在对应的位置上，这是一个较为繁杂且耗时的任务。其次，脑电帽的佩戴会在一定程序上影响被试实验过程中的舒适度，且随着时间的推移，脑电凝胶会慢慢变干，影响采集的脑电信号质量。因此，脑电帽的使用在实际应用中受到比较多的限制，用于判断决策信心的脑电信号获取较为困难。

技术实现思路

[0006]为了至少解决现有技术中用于判断决策信心的脑电信号获取较为困难的问题。
[0007]第一方面，本专利技术实施例提供一种基于生成对抗学习的跨模态决策信心估计方法，包括：
[0008]采集被试者在决策过程中的脑电信号以及眼动信号；
[0009]从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征；
[0010]通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练，以使训练后的脑电生成模型能够从输入的眼动特征中生成对应的脑电特征；
[0011]将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对所述真实眼动信号以及所述预测脑电信号进行决策信心估计。
[0012]第二方面，本专利技术实施例提供一种基于生成对抗学习的跨模态决策信心估计系统，包括：
[0013]信号采集程序模块，用于采集被试者在决策过程中的脑电信号以及眼动信号；
[0014]特征提取程序模块，用于从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征；
[0015]生成模型训练程序模块，用于通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练，以使训练后的脑电生成模型能够从输入的眼动特征中生成对应的脑电特征；
[0016]估计程序模块，用于将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对所述真实眼动信号以及所述预测脑电信号进行决策信心估计。
[0017]第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例的基于生成对抗学习的跨模态决策信心估计方法的步骤。
[0018]第四方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本专利技术任一实施例的基于生成对抗学习的跨模态决策信心估计方法的步骤。
[0019]本专利技术实施例的有益效果在于：利用生成对抗学习，提高了基于眼动信号的决策信心估计能力，解决了脑电信号采集过程复杂成本高的问题，并可以使决策信心估计应用于日常场景之中，在仅需要眼动信号的情况下也可以保证准确的决策信心估计。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本专利技术一实施例提供的一种基于生成对抗学习的跨模态决策信心估计方法的流程图；
[0022]图2是本专利技术一实施例提供的一种基于生成对抗学习的跨模态决策信心估计方法的框架图；
[0023]图3是本专利技术一实施例提供的一种基于生成对抗学习的跨模态决策信心估计方法的测试数据图；
[0024]图4是本专利技术一实施例提供的一种基于生成对抗学习的跨模态决策信心估计方法的测试示意图；
[0025]图5是本专利技术一实施例提供的一种基于生成对抗学习的跨模态决策信心估计系统的结构示意图；
[0026]图6为本专利技术一实施例提供的一种基于生成对抗学习的跨模态决策信心估计的电子设备的实施例的结构示意图。
具体实施方式
[0027]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0028]如图1所示为本专利技术一实施例提供的一种基于生成对抗学习的跨模态决策信心估计方法的流程图，包括如下步骤：
[0029]S11：采集被试者在决策过程中的脑电信号以及眼动信号；
[0030]S12：从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征；
[0031]S13：通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练，以使训练后的脑电生成模型能够从输入的眼动特征中生成对应的脑电特征；
[0032]S14：将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对所述真实眼动信号以及所述预测脑电信号进行决策信心估计。
[0033]在本实施方式中，考虑到脑电信号难以收集，并且伴有场景的限制，而其他的生理信号，例如眼动信号相对而言则更容易收集，只需要佩戴眼动仪即可完成实时眼动信号的采集。因此，本方法的研究目标是建立一个可靠、鲁棒的模型，使模型在脑电这一模态缺失的情况下进行信心决策估计，也能达到较为令人满意的性能。
[0034]对于步骤S11，在本方法的初期，还是需要一定量的脑电信号和眼动信号，对需要决策信心估计的被试者进行测试，以实现脑电信号和眼动信号的获取。
[0035]作为一种实施方式，所述采集被试者在决策过程中的脑电信号以及眼动信号包括：
[0036]基于脑电采集设备以及眼动采集设备采集被试者在决策过程中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗学习的跨模态决策信心估计方法，包括：采集被试者在决策过程中的脑电信号以及眼动信号；从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征；通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练，以使训练后的脑电生成模型能够从输入的眼动特征中生成对应的脑电特征；将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对所述真实眼动信号以及所述预测脑电信号进行决策信心估计。2.根据权利要求1所述的方法，其中，所述通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练包括：在第一训练中，基于深度自动编码器确定所述脑电特征以及所述眼动特征的重构损失，通过所述重构损失生成用于表示决策信心的眼动高阶特征以及脑电高阶特征，将所述眼动高阶特征以及脑电高阶特征确定为决策信心特征；在第二训练中，将所述眼动高阶特征输入至所述脑电生成模型，得到预测脑电高阶特征，判别所述脑电高阶特征与所述预测脑电高阶特征的交叉熵损失，基于所述交叉熵损失对所述脑电生成模型进行生成对抗学习。3.根据权利要求1所述的方法，其中，所述采集被试者在决策过程中的脑电信号以及眼动信号包括：基于脑电采集设备以及眼动采集设备采集被试者在决策过程中的脑电信号以及眼动信号。4.根据权利要求1所述的方法，其中，在所述采集被试者在决策过程中的脑电信号以及眼动信号之后，所述方法还包括对所述脑电信号以及眼动信号进行预处理，包括：对所述脑电信号进行基线校正，并去除基线校正后脑电信号中50Hz的交流电源噪音，基于1
‑
75HZ带通滤波器去除所述脑电信号中的低频信号以及高频无效信号；基于主成分分析法去除所述眼动信号中受光照影响的信号。5.根据权利要求1所述的方法，其中，所述从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征包括：基于定长的汉宁窗口对所述脑电信号执行短时傅里叶变换，将执行短时傅里叶变换的脑电信号划分为多个频段，确定所述多个频段的脑电微分熵特征。6.根据权利要5所述...

【专利技术属性】
技术研发人员：吕宝粮，李芮，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：