多感知通道交互的应激辅助决策实验装置及其实验方法制造方法及图纸

本发明专利技术提供了一种多感知通道交互的应激辅助决策实验装置及其实验方法，包括以下步骤：1）开启应激运行模式中的应激任务，采集被测人员在所述应激任务中的表情信号、语音信号和生理信号，并将所采集到的表情信号、语音信号和生理信号进行融合，得到目标信号；2）根据所述目标信号，获得所述目标信号在应激运行模型中所对应的应激状态类型；3）根据应激状态类型确定所述应激状态类型的多通道反应优先级顺序，调用知识方法库中所对应的应激辅助决策方法，并根据所述应激辅助决策方法，辅助被测人员在应激运行模式中进行应激决策。综合利用知识方法库、数据库和模型库来设计推理机，从而完成应激辅助决策系统的建立，实现人机交互。

【技术实现步骤摘要】
多感知通道交互的应激辅助决策实验装置及其实验方法
本专利技术属于人机工程学
，涉及一种多感知通道交互的应激辅助决策实验装置及其实验方法。
技术介绍
随着信息技术的高速发展，未来新型装备的显示与控制系统也必然对人机交互提出更高要求。显示与控制系统是操控者和装备间传递信息的重要人机交互界面，不但直接关系到操控者对信息感知的反应速度和质量，而且也直接影响着决策安全。特别是作战时，飞行员置身于“信息爆炸”的应激过程中，因此显示屏的大小、数量、显示符号、画面、告警信息类型、显示通道都将成为影响飞行员做出准确判断的重要影响因素，显控人机界面已经从单一的人机交互方式向着更高级的能辅助操作者决策的多通道人机交互方向发展，在一些军事装备或重要监测领域，显控界面人机工效已成为衡量高新技术系统装备的重要指标。目前，许多研究机构都对人体生理响应特性和多通道信息特性进行了研究。关于生理响应研究，目前最常用的是利用心率变异性来对应激进行评估。Dijksterhuis等提出的无意识思维理论提出在简单条件下,意识思维的决策效果更好,而在复杂条件下,直觉思维的决策效果更好。关于多感知通道的信息提取和融合方面，WagnerJ等使用音乐为诱发材料，对人体的愤怒、高兴、悲伤和愉悦4种情感产生的生理信号如肌电、心电、皮肤电导和呼吸信号等进行了分类识别。由于情感产生往往伴随着噪声及多情感耦合等因素，不但情感识别的准确率和置信度均有待提高，而且相应的单通道系统其鲁棒性和可靠性比较差，为此本专利融合表情、声音、动作以及生理等多个通道对情感状态识别与响应进行分析和研究。对于多通道信息融合，方志刚等把特定系统中的多通道生物特征融合问题归结为分类器的设计问题，提出一种基于多层线性分类器的分数层融合方法；也有综合利用模糊积分理论和贝叶斯理论的多通道信息融合算法，但缺乏对多通道融合算法的适应性分析和容错性考虑。多通道辅助决策交互显控系统在语音交互、触控技术、姿态识别方面进展迅速，其中卡内基梅隆大学的Sphinx系统、英国剑桥大学的HTK系统和日本京都大学的Julius系统都是世界领先的语音识别系统引擎；在触控领域，从电阻式触屏到红外式触屏、从iphone的手持触屏到大型人机交互触屏、从传统的单点触屏到现在的多点触屏，其技术也在行业需求下日新月异；纽约大学的JeffersonY.Han研发的受抑内全反射FTIR(FrustratedTotalInternalReflection)技术将更快速的处理大量2D、3D信息；在动作识别领域，欧洲的瑞士联邦科学院（EPFL）和法国的国家信息与自动化研究所（INRIA）都在人体动作捕捉和运动路径估计上取得了大量成果；而国内在多通道智能交互上中科院、清华大学、浙江大学等机构在语言识别和动作识别方面也取得了显著成效。如王强等人开发了基于Agent的多通道交互系统，但其实用性还有待提高，而且使用人员必须经过认真培训才能较好的操作；还有学者对视觉与听觉通道的HRV激活水平进行了研究，HRV是人体应激状态下的重要参考指标，发现视觉通道在HRV上的激活水平高于听觉通道HRV上的激活水平。尽管许多交互技术被用来进行辅助决策，但是语音交互、触控技术、表情识别和生理信号一直都被认为是交互显控系统中可靠的技术。研究人体多感知通道的功能分配、信息提取以及感知响应，如表情识别、手势识别、触控、语音识别及生理信号等，对挖掘人体感知潜能，研发出更具人性化的智能人机交互界面具有重要意义。
技术实现思路
为克服以上缺陷，本专利技术的目的在于提供一种多感知通道交互的应激辅助决策实验装置及其实验方法，能够实现不同应激任务下辅助人体进行决策。为达到以上目的，本专利技术的技术方案为：一种多感知通道交互的应激辅助决策实验方法，包括以下步骤：1）、开启应激运行模式中的应激任务，采集被测人员在所述应激任务中的表情信号、语音信号和生理信号，并将所采集到的表情信号、语音信号和生理信号进行融合，得到目标信号；2）、根据所述目标信号，获得所述目标信号在应激运行模型中所对应的应激状态类型；3）、根据应激状态类型确定所述应激状态类型的多通道反应优先级顺序，调用知识方法库中所对应的应激辅助决策方法，并根据所述应激辅助决策方法，辅助被测人员在应激运行模式中进行应激决策。所述应激运行模型建立过程具体包括：1-1、根据应激运行模式划分多种应激任务；1-2、在每种应激任务下，采集被测人员的情感信号、语音信号和生理信号，并采用基于D-S证据理论的反馈式信息融合服务器，将情感信号、语音信号和生理信号融合成每种应激任务下的统一目标信号；1-3、根据每种应激任务下的统一目标信号，建立应激运行模型。所述知识方法库建立包括：根据不同应激任务下的感知响应规律、多通道优先级、专家经验和操控者的习惯倾向，依据支持向量机和二叉决策树相结合的方法构建对应的知识方法库。所述步骤2）之后，步骤3）之前还包括：比较所述目标信号与预设的目标信极限阈值：当所述目标信号达到预设的目标信极限阈值时，启动系统自动报警并启动紧急应激方案；当目标信号未达到预设的目标信极限阈值时，交互系统进入应激响应模式。所述步骤3）具体步骤包括：2-1、推理机根据应激状态类型确定不同应激状态类型的多通道反应优先级顺序；2-2、由自适应系统完成通道交互方式和界面信息内容的自适应更选；2-3、通过多交互通道辅助被测人员在应激运行模式中经行应激决策。所述推理机基于动态贝叶斯网络，利用知识方法库、数据库和模型库来设计。一种多感知通道交互的应激辅助决策实验装置，包括模拟仓室系统、表情识别系统、语音识别系统、生理信号测量系统、以及PC主机控制系统；模拟仓室系统用于模拟应激运行模式中的应激任务；表情识别系统用于采集被测人员在所述应激任务中的表情，并将所采集到的表情转换为表情信号；语音识别系统用于采集被测人员在所述应激任务中的语音，并将所采集到的语音转换为语音信号；生理信号测量系统用于采集被测人员在所述应激任务中的生理参数，并将所采集到的生理参数转换为生理信号；PC主机控制系统用于将所采集到的情感信号、语音信号和生理信号进行融合，得到目标信号，并且根据所述目标信号，获得所述目标信号在应激运行模型中所对应的应激状态类型，最后根据应激状态类型确定所述应激状态类型的多通道反应优先级顺序，调用知识方法库中所对应的应激辅助决策方法，并根据所述应激辅助决策方法，辅助被测人员在应激运行模式中经行应激决策。所述模拟仓室系统包括：模拟仓室，所述模拟仓室中心底板上安装有可调节座椅，可调节座椅的正面依次安装有多通道设备支架和视景屏，多通道设备支架上安装有触摸屏；所述视景屏为外圆半径为1750mm，内圆半径为1700mm的大视角弧形幕。所述表情识别系统表情采集装置为摄像头；语音识别系统中的语音采集装置为麦克风；生理信号测量系统中的生理参数采集装置为心率与脉搏测量传感器；其中，所述摄像头以及麦克风安装于多通道设备支架上。所述PC主机控制系统的主板芯片组为IntelH61，采用G530处理器。与现有技术相比较，本专利技术的技术有益效果为：本专利技术提供了一种多感知通道交互的应激辅助决策实验装置及其实验方法，通过采集被测人员在所述应激任务中的表情信号、语音信号和生理信号，本文档来自技高网...

【技术保护点】
一种多感知通道交互的应激辅助决策实验方法，其特征在于，包括以下步骤：1）、开启应激运行模式中的应激任务，采集被测人员在所述应激任务中的表情信号、语音信号和生理信号，并将所采集到的表情信号、语音信号和生理信号进行融合，得到目标信号；2）、根据所述目标信号，获得所述目标信号在应激运行模型中所对应的应激状态类型；3）、根据应激状态类型确定所述应激状态类型的多通道反应优先级顺序，调用知识方法库中所对应的应激辅助决策方法，并根据所述应激辅助决策方法，辅助被测人员在应激运行模式中进行应激决策。

【技术特征摘要】
1.一种多感知通道交互的应激辅助决策实验方法，其特征在于，包括以下步骤：1)、开启应激运行模式中的应激任务，采集被测人员在所述应激任务中的表情信号、语音信号和生理信号，并将所采集到的表情信号、语音信号和生理信号进行融合，得到目标信号；2)、根据所述目标信号，获得所述目标信号在应激运行模型中所对应的应激状态类型；3)、根据应激状态类型确定所述应激状态类型的多通道反应优先级顺序，调用知识方法库中所对应的应激辅助决策方法，并根据所述应激辅助决策方法，辅助被测人员在应激运行模式中进行应激决策；所述应激运行模型建立过程具体包括：1-1、根据应激运行模式划分多种应激任务；1-2、在每种应激任务下，采集被测人员的情感信号、语音信号和生理信号，并采用基于D-S证据理论的反馈式信息融合服务器，将情感信号、语音信号和生理信号融合成每种应激任务下的统一目标信号；1-3、根据每种应激任务下的统一目标信号，建立应激运行模型。2.根据权利要求1所述的多感知通道交互的应激辅助决策实验方法，其特征在于，所述知识方法库建立包括：根据不同应激任务下的感知响应规律、多通道优先级、专家经验和操控者的习惯倾向，依据支持向量机和二叉决策树相结合的方法构建对应的知识方法库。3.根据权利要求1所述的多感知通道交互的应激辅助决策实验方法，其特征在于，所述步骤2)之后，步骤3)之前还包括：比较所述目标信号与预设的目标信极限阈值：当所述目标信号达到预设的目标信极限阈值时，启动系统自动报警并启动紧急应激方案；当目标信号未达到预设的目标信极限阈值时，交互系统进入应激响应模式。4.根据权利要求1所述的多感知通道交互的应激辅助决策实验方法，其特征在于，所述步骤3)具体步骤包括：2-1、推理机根据应激状态类型确定不同应激状态类型的多通道反应优先级顺序；2-2、由自适应系统完成通道交互方式和界面信息内容的自适应更选；2-3、通过多交互通道辅助被测人员在应激运行模式中进行应激决策。5....

【专利技术属性】
技术研发人员：李晓玲，姚磊，董渊哲，王崴，瞿珏，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：