【技术实现步骤摘要】
本专利技术属于状态评估，具体涉及一种基于多维感知与融合的情绪智力分类方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、情绪智力，简称情商，它是指个体监控自己及他人的情绪和情感，并识别、利用这些信息的能力。情绪智力的评估建立在获取多种信号后，进行量化评估后，能够具象化为个体的显式特征，在人力资源管理、多类人群心理智力评估、人岗匹配等多种实际应用中，具有广泛的应用前景。对情绪智力进行有效的评估，具有重要意义和广泛的应用场景，如诊断儿童是否存在情绪障碍从而导致多动症、孤独症等病症；辅助企业进行员工的招聘、晋升等。
3、但是，情绪智力的评估上一般是采用测试题、获取生理数据等方式，存在较为繁琐、浪费大量时间的缺点；而且测试过程容易出现被测试人意思表达不清楚、不真实等情况，造成最终的测试结果不客观、不准确等问题。
技术实现思路
1、本专利技术为了解决上述问题，提出了一种基于多维感知与融合的情绪智力分类方法及系统，本专利技术利用多维感知与融合方法对被试的多模态数据进行了高效融合，对被试者的情绪智力进行分类，提高了情绪智力分类的准确性和客观性。
2、根据一些实施例，本专利技术采用如下技术方案：
3、一种基于多维感知与融合的情绪智力分类方法，包括以下步骤：
4、获取用户测试时的生理参数和视频数据；
5、将生理参数依时间序列按照行列顺序拓展为二维信号，将视频数据按行列顺序
6、提取多模态数据的统计域、时域和频域特征；
7、进行统计域、时域和频域特征的融合；
8、提取融合后的特征的深层特征，基于所述深层特征，利用引入多头自注意力机制的分类模型对深层特征进行分类。
9、作为可选择的实施方式，生理参数包括眼动数据、心率、呼吸和体温数据，视频数据包括可见光视频数据、红外热成像视频数据。
10、作为可选择的实施方式，所述统计域特征提取包括均值、中位数、方差和标准差，时域特征提取包括自相关函数、过零率、峰值和谷值，频域特征提取包括傅里叶变换、小波变换、功率谱密度、能量谱密度和频率峰值。
11、作为可选择的实施方式，进行统计域、时域和频域特征的融合的具体过程包括利用去噪算法进行特征选择，利用聚类算法对选择的特征进行融合。
12、作为可选择的实施方式，所述分类基于vit进行情绪智力分类，分类根据情绪智力和设定的阈值，分为多个档。
13、作为可选择的实施方式，提取融合后的特征的深层特征的过程包括，采用多层堆叠的长短时记忆网络模型进行深层特征提取，每个长短时记忆网络层至少包含一个记忆单元，记忆单元通过遗忘门、输入门和输出门进行控制。
14、作为可选择的实施方式，所述分类模型包括依次连接的特征块的嵌入模块、位置编码模块、transformer编码器、全局平均池化层和分类头，其中，transformer编码器包括多头自注意力机制和前馈网络。
15、一种基于多维感知与融合的情绪智力分类系统，包括：
16、数据获取模块，用于获取用户测试时的生理参数和视频数据；
17、数据转换模块，用于将生理参数依时间序列按照行列顺序拓展为二维信号，将视频数据按行列顺序展开为一维数据，形成多模态数据；
18、浅层特征提取模块，用于提取多模态数据的统计域、时域和频域特征；
19、特征融合模块，用于进行统计域、时域和频域特征的融合；
20、深层特征提取模块，用于提取融合后的特征的深层特征，基于所述深层特征，利用引入多头自注意力机制的分类模型对深层特征进行分类。
21、作为可选择的实施方式，所述数据获取模块包括摄像设备和可穿戴手环，所述摄像设备用于感知用户答题时的眼动数据、可见光视频数据和红外热成像视频数据，可穿戴手环用于感知用户答题时的心率、呼吸和体温数据。
22、作为可选择的实施方式，还包括情绪智力范式诱发模块，该模块用于诱发被试的情绪智力反应，包括情绪智力量表、情绪图片和情绪视频。
23、一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法中的步骤。
24、与现有技术相比，本专利技术的有益效果为：
25、本专利技术利用多维感知与融合方法对被试的多模态数据进行了高效融合，量化感知被试的情绪智力水平，提高了情绪智力评估的准确性和客观性。
26、为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
本文档来自技高网...【技术保护点】
1.一种基于多维感知与融合的情绪智力分类方法，其特征是，包括以下步骤：
2.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，生理参数包括眼动数据、心率、呼吸和体温数据，视频数据包括可见光视频数据、红外热成像视频数据。
3.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，所述统计域特征提取包括均值、中位数、方差和标准差，时域特征提取包括自相关函数、过零率、峰值和谷值，频域特征提取包括傅里叶变换、小波变换、功率谱密度、能量谱密度和频率峰值。
4.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，进行统计域、时域和频域特征的融合的具体过程包括利用去噪算法进行特征选择，利用聚类算法对选择的特征进行融合。
5.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，所述分类基于VIT进行情绪智力分类，分类根据情绪智力和设定的阈值，分为多个档。
6.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，提取融合后的特征的深层特征的过程包括，
7.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，所述分类模型包括依次连接的特征块的嵌入模块、位置编码模块、Transformer编码器、全局平均池化层和分类头，其中，Transformer编码器包括多头自注意力机制和前馈网络。
8.一种基于多维感知与融合的情绪智力分类系统，其特征是，包括：
9.如权利要求8所述的一种基于多维感知与融合的情绪智力分类系统，其特征是，所述数据获取模块包括摄像设备和可穿戴手环，所述摄像设备用于感知用户答题时的眼动数据、可见光视频数据和红外热成像视频数据，可穿戴手环用于感知用户答题时的心率、呼吸和体温数据。
10.如权利要求8或9所述的一种基于多维感知与融合的情绪智力分类系统，其特征是，还包括情绪智力范式诱发模块，该模块用于诱发被试的情绪智力反应，包括情绪智力量表、情绪图片和情绪视频。
...【技术特征摘要】
1.一种基于多维感知与融合的情绪智力分类方法，其特征是，包括以下步骤：
2.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，生理参数包括眼动数据、心率、呼吸和体温数据，视频数据包括可见光视频数据、红外热成像视频数据。
3.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，所述统计域特征提取包括均值、中位数、方差和标准差，时域特征提取包括自相关函数、过零率、峰值和谷值，频域特征提取包括傅里叶变换、小波变换、功率谱密度、能量谱密度和频率峰值。
4.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，进行统计域、时域和频域特征的融合的具体过程包括利用去噪算法进行特征选择，利用聚类算法对选择的特征进行融合。
5.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，所述分类基于vit进行情绪智力分类，分类根据情绪智力和设定的阈值，分为多个档。
6.如权利要求1所述的一种基于多维感知与融合的情绪智力分类方法，其特征是，提取融合...
【专利技术属性】
技术研发人员：赵显，刘治，刘得成，任朝霞，陶可猛，
申请(专利权)人：山东大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。