心理状态识别方法、模型训练方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例公开的心理状态识别方法、模型训练方法、装置、设备及介质，属于生物电信号处理技术领域。主要包括：实时采集获取运行中设备的控制人员的脑电信号以及制动时所涉的肌电信号；将脑电信号和肌电信号输入训练好的包括第一特征提取网络、第二特征提取网络和心理状态分类器的心理状态识别模型；利用第一特征提取网络对脑电信号进行特征提取得到待识别脑电特征；利用第二特征提取网络对肌电信号进行特征提取得到待识别肌电特征；根据待识别脑电特征以及待识别肌电特征建立脑肌电复数特征；及利用心理状态分类器根据脑肌电复数特征对控制人员的心理状态是否为惊恐状态进行识别。本发明专利技术能够提高对心理状态识别的准确性。性。性。

【技术实现步骤摘要】
心理状态识别方法、模型训练方法、装置、设备及介质


[0001]本专利技术涉及生物电信号处理
，尤其涉及一种心理状态识别方法、模型训练方法、装置、设备及介质。

技术介绍

[0002]当设备控制人员在面临紧急危险事件，例如驾驶员在面临交通事故时，常常会出现“现实脱离感”。所谓“现实脱离感”指的是出现心跳加快、大脑一片空白的生理现象。主要是因为面临紧急危险事件，当事人会产生恐惧心理，使其知觉和思维发生障碍，失去对当前情景的分析判断和行动能力。从而会导致较为严重的后果，例如最终导致交通事故的发生或导致所发生的交通事故更为严重。
[0003]现有技术在对控制人员，心理状态进行识别时，对脑电信号、心率信号以及肌电信号等多种模态的信号利用模型进行了分析，但是脑电信号与肌电信号之间具有一定的耦合特性，现有技术只是将各种模态的信号作为独立的特征进行了分析，缺少对控制人员的脑电和肌电的协同分析以实现对驾驶员状态更加准确的识别。

技术实现思路

[0004]本专利技术实施例提供一种心理状态识别方法、模型训练方法、装置、设备及介质，能够及时识别获得设备控制人在面临紧急危险情况时的可能出现的惊恐状态，进而利于及时介入处理上述危险情况，尽量避免危险事故，减少损失。
[0005]第一方面，本专利技术实施例提供一种心理状态识别方法，包括：实时采集获取运行中设备的控制人员的脑电信号以及所述控制人员对所述设备进行制动时所涉及肌肉的肌电信号；将所述脑电信号和所述肌电信号输入训练好的心理状态识别模型，所述心理状态识别模型包括第一特征提取网络、第二特征提取网络和心理状态分类器；利用所述第一特征提取网络对所述脑电信号进行特征提取得到待识别脑电特征；利用所述第二特征提取网络对所述肌电信号进行特征提取得到待识别肌电特征；根据所述待识别脑电特征以及所述待识别肌电特征建立脑肌电复数特征；以及，利用所述心理状态分类器根据所述脑肌电复数特征对所述控制人员的心理状态是否为惊恐状态进行识别。
[0006]第二方面，本专利技术实施例提供一种心理状态识别模型训练方法，包括：采集获取设备的试验控制人员面对多个需要紧急制动的场景时的样本脑电信号，以及所述试验控制人员对所述设备做出制动操作所涉及肌肉的样本肌电信号；对所述试验控制人员面对每个所述需要紧急制动的场景时的心理状态是否为惊恐状态进行采集；将所述样本脑电信号以及所述样本肌电信号输入待训练的心理状态识别模型；所述理状态识别模型包括第一特征提取网络、第二特征提取网络和心理状态分类器；利用所述第一特征提取网络对所述样本脑电信号进行特征提取得到样本脑电特征；利用所述第二特征提取网络对所述样本肌电信号进行特征提取得到样本肌电信号；根据所述样本脑电特征以及对应的所述样本肌电信号建立样本脑肌电复数特征；利用所述心理状态分类器根据所述样本脑肌电复数特征对所述试
验控制人员的心理状态进行识别得到训练识别结果；以及根据所述训练识别结果以及对应的所述心理状态确定训练损失函数的函数值，并根据所述训练损失函数的函数值对所述心理状态识别模型进行参数优化。
[0007]第三方面，本专利技术实施例提供一种心理状态识别装置，包括：采集模块，用于实时采集获取运行中设备的控制人员的脑电信号以及所述控制人员对所述设备进行制动时所涉及肌肉的肌电信号；输入模块，用于将所述脑电信号和所述肌电信号输入训练好的心理状态识别模型，所述心理状态识别模型包括第一特征提取网络、第二特征提取网络和心理状态分类器；第一特征提取模块，用于利用所述第一特征提取网络对所述脑电信号进行特征提取得到待识别脑电特征；第二特征提取模块，用于利用所述第二特征提取网络对所述肌电信号进行特征提取得到待识别肌电特征；复数特征建立模块，用于根据所述待识别脑电特征以及所述待识别肌电特征建立脑肌电复数特征；以及，识别模块，用于利用所述心理状态分类器根据所述脑肌电复数特征对所述控制人员的心理状态是否为惊恐状态进行识别。
[0008]第四方面，本专利技术实施例提供一种心理状态识别模型训练装置，包括：样本信号采集模块，用于采集获取试验控制人员面对多个需要紧急制动的场景时的样本脑电信号，以及所述试验控制人员做出制动操作所涉及肌肉的样本肌电信号；样本心理状态采集模块，用于对所述试验控制人员面对每个所述需要紧急制动的场景时的心理状态是否为惊恐状态进行采集；样本信号输入模块，用于将所述样本脑电信号以及所述样本肌电信号输入待训练的心理状态识别模型；所述理状态识别模型包括第一特征提取网络、第二特征提取网络和心理状态分类器；第一样本特征提取模块，用于利用所述第一特征提取网络对所述样本脑电信号进行特征提取得到样本脑电特征；第二样本特征提取模块，用于利用所述第二特征提取网络对所述样本肌电信号进行特征提取得到样本肌电信号；样本复数特征建立模块，用于根据所述样本脑电特征以及对应的所述样本肌电信号建立样本脑肌电复数特征；训练识别结果获取模块，用于利用所述心理状态分类器根据所述样本脑肌电复数特征对所述试验控制人员的心理状态进行识别得到训练识别结果；以及，参数调整模块，用于根据所述训练识别结果以及对应的所述心理状态确定训练损失函数的函数值，并根据所述训练损失函数的函数值对所述心理状态识别模型进行参数优化。
[0009]第五方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例中任一所述的心理状态识别方法或者心理状态识别模型训练方法。
[0010]第六方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的心理状态识别方法或者心理状态识别模型训练方法。
[0011]本专利技术实施例提供的心理状态识别方法、模型训练方法、装置、设备及介质，针对实际中脑电信号与肌电信号存在耦合性的情况，通过训练心理状态识别模型并利用训练好的心理状态识别模型提取设备控制人的脑电信号和制动涉及的肌电信号的特征，并据以建立脑肌电复数特征，进而基于脑肌电复数特征对设备控制人的心理状态进行识别，能够对控制人的脑电和肌电进行协同分析，从而提高对控制人心理状态识别的准确性，及时识别获得设备控制人在面临紧急危险情况时的可能出现的惊恐状态，进而利于及时介入处理上
述危险情况，尽量避免危险事故，减少损失。
附图说明
[0012]图1是本专利技术实施例提供的心理状态识别方法的一个流程示意图；
[0013]图2是本专利技术实施例提供的心理状态识别方法的另一个流程示意图；
[0014]图3是本专利技术实施例提供的心理状态识别模型训练方法的一个流程示意图；
[0015]图4是本专利技术实施例提供的心理状态识别装置的一个结构示意图；
[0016]图5是本专利技术实施例提供的心理状态识别模型训练装置的一个结构示意图；
[0017]图6是本专利技术实施例提供的电子设备的一个结构示意图。
具体实施方式
[0018]下面结合附图和实施例对本专利技术作进一步的详细说明。可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种心理状态识别方法，其特征在于，包括：实时采集获取运行中设备的控制人员的脑电信号以及所述控制人员对所述设备进行制动时所涉及肌肉的肌电信号；将所述脑电信号和所述肌电信号输入训练好的心理状态识别模型，所述心理状态识别模型包括第一特征提取网络、第二特征提取网络和心理状态分类器；利用所述第一特征提取网络对所述脑电信号进行特征提取得到待识别脑电特征；利用所述第二特征提取网络对所述肌电信号进行特征提取得到待识别肌电特征；根据所述待识别脑电特征以及所述待识别肌电特征建立脑肌电复数特征；以及利用所述心理状态分类器根据所述脑肌电复数特征对所述控制人员的心理状态是否为惊恐状态进行识别。2.根据权利要求1所述的心理状态识别方法，其特征在于，所述利用所述第一特征提取网络对所述脑电信号进行特征提取得到待识别脑电特征的过程包括：利用第一滑动切分窗对所述脑电信号进行切分得到多个脑电信号切片，并利用所述第一特征提取网络对所述多个脑电信号切片进行特征提取得到所述待识别脑电特征；所述利用所述第二特征提取网络对所述肌电信号进行特征提取得到待识别肌电特征的过程包括：利用第二滑动切分窗对所述肌电信号进行切分得到多个肌电信号切片，并利用所述第二特征提取网络对所述多个肌电信号切片进行特征提取得到所述待识别肌电特征。3.根据权利要求2所述的心理状态识别方法，其特征在于，所述第一特征提取网络包括：第一卷积层、第一展平层、第一全连接层以及加权模块；所述利用所述第一特征提取网络对所述多个脑电信号切片进行特征提取得到所述待识别脑电特征的过程包括：对每个所述脑电信号切片进行变分模态分解得到多个固有模态函数；对所述多个固有模态函数进行拼接得到所述第一特征提取网络的输入脑电特征；利用所述第一卷积层对所述输入脑电特征进行二维卷积操作得到卷积脑电特征；利用所述第一展平层对所述卷积脑电特征进行一维展平得到展平脑电特征；利用所述第一全连接层对所述展平脑电特征进行全连接处理得到全连接脑电特征；以及利用所述加权模块对所述全连接脑电特征进行加权处理得到所述待识别脑电特征。4.根据权利要求3所述的心理状态识别方法，其特征在于，所述利用所述加权模块对所述全连接脑电特征进行加权处理得到所述待识别脑电特征的过程包括：对所述全连接脑电特征利用加权函数进行运算得到加权系数；对所述全连接脑电特征进行一维卷积操作得到变换全连接脑电特征；以及利用所述加权系数对所述变换全连接脑电特征进行加权处理得到所述待识别脑电特征。5.根据权利要求2所述的心理状态识别方法，其特征在于，所述第二特征提取网络包括：第二卷积层、第二展平层以及第二全连接层；所述利用所述第二特征提取网络对所述多个肌电信号切片进行特征提取得到所述待
识别肌电特征的过程包括：对每个所述肌电信号切片进行拼接得到所述第二特征提取网络的输入肌电特征；利用所述第二卷积层对所述输入肌电特征进行一维卷积操作得到卷积肌电特征；利用所述第二展平层对所述卷积肌电特征进行一维展平得到展平肌电特征；以及利用所述第二全连接层对所述展平肌电特征进行全连接处理得到所述待识别肌电特征。6.根据权利要求5所述的心理状态识别方法，其特征在于，所述肌电信号包括多个通道的肌电信号，所述输入肌电特征为所述多个肌电信号切片按照对应的通道顺序以及对应的采样时间顺序排布的肌电特征矩阵；所述利用所述第二卷积层对所述输入肌电特征进行一维卷积操作得到卷积肌电特征的过程包括：对肌电特征矩阵沿着所述通道顺序进行所述一维卷积操作得到通道卷积肌电特征；以及对所述通道卷积肌电特征沿着采样时间顺序进行所述一维卷积操作得到所述卷积肌电特征。7.根据权利要求1所述的心理状态识别方法，其特征在于，所述根据所述待识别脑电特征以及所述待识别肌电特征建立脑肌电复数特征的过程包括：把将所述待识别脑电特征或者所述待识别肌电特征作为实部或者虚部得到的复数，确定为所述脑肌电复数特征；和/或把将对所述待识别脑电特征和所述待识别肌电特征进行运算得到的运算结果作为实部或者虚部得到的复数，确定为所述脑肌电复数特征。8.根据权利要求1所述的心理状态识别方法，其特征在于，所述脑肌电复数特征包括多个脑肌电复数特征；所述利用所述心理状态分类器根据所述脑肌电复数特征对所述控制人员的心理状态是否为惊恐状态进行识别的过程包括：利用与每个所述脑肌电复...

【专利技术属性】
技术研发人员：王祎男，刘汉旭，魏源伯，王迪，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：