【技术实现步骤摘要】
一种基于多模态生理信号的用户状态评估及信息交互系统
[0001]本专利技术涉及智能系统领域，尤其涉及一种基于多模态生理信号的用户状态评估及信息交互系统。
技术介绍
[0002]用户在专注于一项工作时，面临着疲劳和分心带来情景意识缺失的问题。近年来，为用户补充情景意识的信息交互方式主要分为两种：
[0003]1、通过具体的语音、文字告知用户各类信息；
[0004]2、在车内复现车外环境信息，让用户自行感知。
[0005]传统的信息交互虽然一定程度上弥补了由分心带来的情景意识缺失，但信息较局限，忽视了人体生理状态的影响。生理信号作为客观且用户被动输入的数据，其在表征用户心理状态、情绪、疲劳度等方面有着显著优势。
[0006]专利文献CN113778113A公开了一种基于多模态生理信息的机动决策建模方法，该方法包括：多模态生理信号识别系统获取飞行员的生理数据以及环境感知信息，并获取理性动作决策建议，将理性动作决策发送至人机协同任务分配决策系统；人机协同任务分配决策系统根据获取到的理性动作决策建议，确...
【技术保护点】
【技术特征摘要】
1.一种基于多模态生理信号的用户状态评估及信息交互系统，包括传感器、处理系统和交互终端，其特征在于，所述处理系统包括多模态数据收集单元、数据分析处理单元、物理
‑
认知
‑
情感评估单元、信息处理单元和信息交互反馈单元；所述多模态数据收集单元，用于获取用户的生理数据以及交通环境信息，所述生理数据包括皮肤电信号，传感器数据以及人体面部识别数据；所述数据分析处理单元，用于根据所述多模态数据收集单元获得的皮肤电信号、传感器数据、人体面部识别数据进行生理状态分析，获得用户的情绪唤醒度、驾驶姿态、疲劳程度和注意力分配情况，以及根据交通环境信息建模当前驾驶风险，评估驾驶事件风险等级；所述物理
‑
认知
‑
情感评估单元，根据所述数据分析处理单元输出的疲劳程度、情绪唤醒度和注意力分配情况，评估用户是否出现分心或/和危险操作的可能性；所述信息处理单元，根据所述物理
‑
认知
‑
情感评估单元的评估结果和所述数据分析处理单元的驾驶事件风险等级进行综合状态评估，并将综合状态评估结果传输到信息交互反馈单元；所述信息交互反馈单元，包括环绕声装置和气流触觉交互装置，基于输入的综合状态评估结果，对环绕声装置和气流触觉交互装置进行调节。2.根据权利要求1所述的基于多模态生理信号的用户状态评估及信息交互系统，其特征在于，所述物理
‑
认知
‑
情感评估单元包括用户物理状态评估模块、用户认知状态评估模块和用户情感状态评估模块以及综合状态评估模块；所述物理状态评估模块，利用用户单位时间内驾驶姿态p
n
和疲劳度数据f
n
分析用户物理层面的驾驶状态，得到物理状态P指标：P＝(∑(p
n
/p
n
‑1)+∑f
n
)/n；所述用户认知状态评估模块，利用用户注意力分配情况a分析用户认知层面的驾驶状态，得到认知状态C指标：C＝(∑a
n
)/n；所述情感状态评估模块，利用用户情绪唤醒度e分析用户情绪层面的驾驶状态，得到情绪状态E指标；E＝(∑e
n
)/n；其中，n为单位时间内测量各项生理数据的次数；所述综合状态评估模块，结合物理状态P、认知状态C和情绪状态E三层面的用户状态，得到用户综合状态评级S：S＝(αP+βC+γE)/10；其中，α+β+γ＝10，取值范围为3≤α≤4，3≤β≤4，2≤γ＜4；根据S的值分为不合格、合格、良好、优秀四个等级：当S＜0.6，为不合格；当0.6≤S＜0.8，为合格；当0.8≤S＜0.9，为良好；当0.9≤S＜1，为优秀。3.根据权利要求1所述的基于多模态生理信号的用户状态评估及信息交互系统，其特征在于，所述多模态数据收集单元包括用户生理数据收集模块和交通环境信息感知模块；所述用户生理数据收集模块包括部署在腕部可穿戴设备上的皮肤电传感器、在驾驶座椅上的运动处理传感器、位于方向盘上的人体面部识别摄像头和眼动仪；
所述交通环境信息感知模块，用于获取环境感知信息和车辆行为信息。4.根据权利要求3所述的基于多模态生理信号的用户状态评估及信息交互系统，其特征在于，所述用户生理数据收集模块的分析过程，具体包括：利用运动处理传感器反馈的倾斜角，计算用户驾驶姿态的变形程度p：p＝(x
‑
x0)+(y
‑
y0)+(z
‑
z0)；其中，x、y、z分别代表当前俯仰角Pitch、翻滚角Roll、偏航角Yaw，x0、y0、z0分别代表标准俯仰角Pitch、翻滚角Roll、偏航角Y...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。