基于生成对抗学习的跨模态决策信心估计方法及系统技术方案

本发明专利技术实施例提供一种基于生成对抗学习的跨模态决策信心估计方法及系统。该方法包括：采集被试者在决策过程中的脑电信号以及眼动信号；从脑电信号以及眼动信号中提取出脑电特征以及眼动特征；通过脑电特征以及眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练；将获取的被试者的真实眼动信号输入至训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对真实眼动信号以及预测脑电信号进行决策信心估计。本发明专利技术实施例利用生成对抗学习，提高了基于眼动信号的决策信心估计能力，解决了脑电信号采集过程复杂成本高的问题，保证准确的决策信心估计。估计。估计。

【技术实现步骤摘要】
基于生成对抗学习的跨模态决策信心估计方法及系统


[0001]本专利技术涉及多模态脑机接口领域，尤其涉及一种基于生成对抗学习的跨模态决策信心估计方法及系统。

技术介绍

[0002]决策信心是指在进行判断或决策时,个体对其决策最优性或正确性的信心程度。决策信心是人们在日常生活中的一种常见的心理现象，是影响决策结果的重要因素之一。
[0003]现有技术中，可以使用眼动和脑电图等生理信号可以用来估计个人在决策过程中的信心水平。虽然上述利用眼动和脑电图的多模态方法相比于单模态方法更可靠，但是多模态方法意味着需要花费更大的成本采集多模态数据，尤其是生理信号的获取都需要使用接触式设备，很大程度上限制了其在真实场景上的应用，尤其采集脑电信号的过程是非常复杂的。
[0004]在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：
[0005]实验中需要被试正确佩戴脑电帽并且注射电导凝胶，以确保电极在对应的位置上，这是一个较为繁杂且耗时的任务。其次，脑电帽的佩戴会在一定程序上影响被试实验过程中的舒适度，且随着时间的推移，脑电凝胶本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗学习的跨模态决策信心估计方法，包括：采集被试者在决策过程中的脑电信号以及眼动信号；从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征；通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练，以使训练后的脑电生成模型能够从输入的眼动特征中生成对应的脑电特征；将获取的所述被试者的真实眼动信号输入至所述训练后的脑电生成模型得到预测脑电信号，基于多模态分类器对所述真实眼动信号以及所述预测脑电信号进行决策信心估计。2.根据权利要求1所述的方法，其中，所述通过所述脑电特征以及所述眼动特征对脑电生成模型进行提取决策信心特征的第一训练，以及从所述决策信心特征中生成对抗学习确定眼动、脑电之间关系的第二训练包括：在第一训练中，基于深度自动编码器确定所述脑电特征以及所述眼动特征的重构损失，通过所述重构损失生成用于表示决策信心的眼动高阶特征以及脑电高阶特征，将所述眼动高阶特征以及脑电高阶特征确定为决策信心特征；在第二训练中，将所述眼动高阶特征输入至所述脑电生成模型，得到预测脑电高阶特征，判别所述脑电高阶特征与所述预测脑电高阶特征的交叉熵损失，基于所述交叉熵损失对所述脑电生成模型进行生成对抗学习。3.根据权利要求1所述的方法，其中，所述采集被试者在决策过程中的脑电信号以及眼动信号包括：基于脑电采集设备以及眼动采集设备采集被试者在决策过程中的脑电信号以及眼动信号。4.根据权利要求1所述的方法，其中，在所述采集被试者在决策过程中的脑电信号以及眼动信号之后，所述方法还包括对所述脑电信号以及眼动信号进行预处理，包括：对所述脑电信号进行基线校正，并去除基线校正后脑电信号中50Hz的交流电源噪音，基于1
‑
75HZ带通滤波器去除所述脑电信号中的低频信号以及高频无效信号；基于主成分分析法去除所述眼动信号中受光照影响的信号。5.根据权利要求1所述的方法，其中，所述从所述脑电信号以及所述眼动信号中提取出脑电特征以及眼动特征包括：基于定长的汉宁窗口对所述脑电信号执行短时傅里叶变换，将执行短时傅里叶变换的脑电信号划分为多个频段，确定所述多个频段的脑电微分熵特征。6.根据权利要5所述...

【专利技术属性】
技术研发人员：吕宝粮，李芮，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：