基于一对多支持向量机的VR用户触觉体验的情绪识别方法技术

本发明专利技术涉及基于一对多支持向量机的VR用户触觉体验的情绪识别方法，包括：场景计算机通过显示终端向用户展示虚拟场景，用户佩戴触觉模拟和反馈装置与场景计算机进行交互；场景计算机捕捉用户在虚拟场景中的触摸行为；根据用户的触摸对象，场景计算机控制触觉模拟和反馈装置，对皮肤触觉模拟模块接触的用户皮肤部位产生不同的压力、剪切力，使用户产生触觉体验；触觉模拟和反馈装置的生理信号模块采集用户的生理信号；根据实时采集的用户的生理信号，判断用户的情绪。本发明专利技术实时分析用户虚拟场景中的触摸行为产生的情绪，得到用户对体验对象的反馈信息，准确性好，可广泛用于各种新生事物的虚拟体验的用户情绪识别，体验度高，省时省力，节约成本。节约成本。节约成本。

Emotion recognition method of VR user tactile experience based on one to many support vector machine

【技术实现步骤摘要】
基于一对多支持向量机的VR用户触觉体验的情绪识别方法


[0001]本专利技术属于模式识别领域，具体涉及一种基于一对多支持向量机的VR用户触觉体验的情绪识别方法。

技术介绍

[0002]当前虚拟现实技术已经广泛运用在产品体验行业，一个典型的应用场景就是虚拟现实下的汽车驾驶体验：使用者戴上VR头显，配合力反馈手套、汽车座椅等外部设备，就可以在虚拟现实场景中感受到接近真实的驾驶体验。然而，上述外部设备所提供的感观有一定的局限性。例如，用户感受到的触觉由直接触摸上述方向盘、座椅产生，而当用户在虚拟现实场景中用手部触摸到其他表面时，则无法产生触觉，这在一定程度上降低了用户体验。
[0003]目前，现有的触觉模拟装置存在的问题大多为结构复杂，模拟的真实程度较低。例如，当利用电磁力或微型振动马达来提供力反馈时，由于这些构件本身的尺寸较大，使得整个装置较为笨重，当使用者手部佩戴该类装置时，易产生压迫感和疲劳感，在一定程度上令使用者的体验感下降。另外，使用电磁力、振动马达或类似手段来模拟触觉反馈时，仅可在垂直方向上对皮肤施加力，而在真实世界中皮肤对力的感知绝非仅限于一个平面内，故此类装置无法完整地模拟不同维度上的力反馈，使得拟真程度下降。
[0004]此外，用户与虚拟现实场景进行交互时，其情感、生理信号也在不断变化。例如，当用户在虚拟现实场景中触摸外表尖锐的物体时，内心将产生抵触情绪，在生理层面上将表现为心跳加快、肌肉收缩等等。将这些生理信号进行收集、分析，就能得出用户在虚拟场景中与不同对象交互意识情感的变化。当前，生理信号采集在可穿戴设备如智能手表领域应用广泛，而在虚拟现实领域的使用还比较少。基于生理信号的情感分析还难以整合到现有的虚拟现实体感设备系统中。
[0005]然而，情感分析在虚拟现实中的应用，一方面，需要一种轻便且精确的感官模拟装置，来保证用户与虚拟场景交互时有尽可能接近现实的体验；另一方面，由于此类交互的拟真程度高，其产生的生理信号足以反映用户在现实世界中进行同种交互所产生的情感，因此需要一套能实时收集、分析用户生理信号的系统。

技术实现思路

[0006]本专利技术的目的是针对上述问题，提供基于一对多支持向量机的VR用户触觉体验的情绪识别方法，用户在虚拟场景中有触摸行为时，对用户手部提供垂直方向的压力和水平方向的剪切力，模拟出更逼真的触觉体验；同时，采集用户的脑电、肌电、血压信号，分析得出用户的情绪，得到用户对触摸对象的喜好程度，收集用户对体验对象的反馈信息，可用于现实生活中各种新生事物的虚拟体验。
[0007]本专利技术的虚拟现实系统VR包括场景计算机以及与其通讯连接的触觉模拟和反馈装置，所述触觉模拟和反馈装置佩戴在用户肢体上，它包括微处理器以及分别与其连接的皮肤触觉模拟模块、生理信号模块；皮肤触觉模拟模块根据场景和用户的肢体位置，对皮肤
触觉模拟模块接触的皮肤产生不同的压力、剪切力，模拟出用户触摸场景中物体的触感；生理信号模块包括分别与微处理器连接的血压传感器、肌电传感器和脑电传感器。
[0008]本专利技术的技术方案是基于一对多支持向量机的VR用户触觉体验的情绪识别方法，包括以下步骤：
[0009]步骤1：场景计算机通过显示终端向用户展示虚拟场景，用户佩戴触觉模拟和反馈装置与场景计算机进行交互；
[0010]步骤2：场景计算机捕捉用户在虚拟场景中的触摸行为；
[0011]步骤3：根据用户的触摸对象，场景计算机控制触觉模拟和反馈装置，对皮肤触觉模拟模块接触的用户皮肤部位产生不同的压力、剪切力，使用户产生触觉体验；
[0012]步骤4：触觉模拟和反馈装置的生理信号模块采集用户的生理信号；
[0013]步骤5：根据实时采集的用户的生理信号，判断用户的情绪；
[0014]步骤5.1：采集不同用户不同情绪下的脑电、肌电、血压信号，提取生理信号特征的脑电特征向量、肌电特征向量、血压特征向量，得到用户的生理信号特征向量组，并人工标记每个试次的生理信号特征向量的情绪标签；
·
[0015]步骤5.2：初始化融合系数矩阵，对每个试次的脑电特征向量、肌电特征向量、血压特征向量进行融合，得到融合特征向量矩阵，将融合系数矩阵的特征值作为粒子群的粒子，利用粒子群优化算法对融合系数矩阵进行优化，使得经融合系数矩阵计算的生理信号特征向量组的融合数值与其标记的情绪标签相适应，得到初次优化的融合系数矩阵；
[0016]步骤5.3：利用融合系数矩阵，对步骤5.1采集的用户生理信号特征进行融合，得到每个试次的融合特征向量矩阵，并结合人工对其标记的情绪标签，构建训练数据集；
[0017]步骤5.4：对训练数据集采用一对多支持向量机进行训练，计算适应度，更新融合系数，达到预定适应度后停止训练，得到多个带情绪标签的训练网络模型；
[0018]步骤5.5：从实时采集的用户的生理信号中提取特征向量组，利用融合系数矩阵得到融合特征矩阵，利用训练网络模型对融合特征矩阵进行训练后使用一对多支持向量机进行分类，分类结果与情绪标签进行匹配，将匹配程度最好的情绪标签作为用户的情绪判断结果。
[0019]步骤5.1采用共空间模式算法从用户的脑电信号中提取脑电特征向量，去除脑电信号中的不相关成分，提高抗噪效果。共空间模式算法的本原理为协方差矩阵对角化，将用户的脑电信号进行二分类特征提取，其具体步骤如下：
[0020]设E为预处理后的一个Trial试次脑电信号矩阵，维数为N
×
T，式中N表示脑电数据通道数目，T表示通道的采样率。则脑电数据的协方差矩阵为：
[0021][0022]式中E
T
是E的转置矩阵，trace(X)为矩阵X的迹。
[0023]计算两类脑电信号所有Trial试次的平均协方差计算两类脑电信号所有Trial试次的平均协方差表示第一类脑电信号的平均协方差矩阵，表示第二类脑电信号的平均协方差矩阵；
[0024]并求其平均协方差矩阵之和，即混合空间协方差为：
[0025][0026]对进行特征值分解，得：
[0027][0028]式中U为特征向量矩阵；λ为特征值构成的对角阵。将特征值进行降序排列，则白化矩阵为：
[0029][0030]对进行白化，得：
[0031][0032]式中I为单位矩阵，对进行变换，得：
[0033][0034]式中S1和S2有相同的特征向量，因经过降序排列，故S1和S2的特征值大小顺序相反，S1的最大特征值对应S2的最小特征值。
[0035]若
[0036]S1＝Bλ1B
T
[0037]则：
[0038][0039]B表示S1、S2的特征矩阵；
[0040]求得空间滤波器W为：
[0041]W＝B
T
P
[0042]将脑电信号E通过空间滤波器投影后得到新信号：
[0043]Z
N
×
T
＝W
N<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于一对多支持向量机的VR用户触觉体验的情绪识别方法，其特征在于，虚拟现实系统VR包括场景计算机以及与其通讯连接的触觉模拟和反馈装置，所述触觉模拟和反馈装置佩戴在用户肢体上，它包括微处理器以及分别与其连接的皮肤触觉模拟模块、生理信号模块；皮肤触觉模拟模块根据场景和用户的肢体位置，对皮肤触觉模拟模块接触的皮肤产生不同的压力、剪切力，模拟出用户触摸场景中物体的触感；生理信号模块包括分别与微处理器连接的血压传感器、肌电传感器和脑电传感器；所述方法包括以下步骤：步骤1：场景计算机通过显示终端向用户展示虚拟场景，用户佩戴触觉模拟和反馈装置与场景计算机进行交互；步骤2：场景计算机捕捉用户在虚拟场景中的触摸行为；步骤3：根据用户的触摸对象，场景计算机控制触觉模拟和反馈装置，对皮肤触觉模拟模块接触的用户皮肤部位产生不同的压力、剪切力，使用户产生触觉体验；步骤4：触觉模拟和反馈装置的生理信号模块采集用户的生理信号；步骤5：根据实时采集的用户的生理信号，判断用户的情绪；步骤5.1：采集不同用户不同情绪下的脑电、肌电、血压信号，提取生理信号特征的脑电特征向量、肌电特征向量、血压特征向量，得到用户的生理信号特征向量组，并人工标记每个试次的生理信号特征向量的情绪标签；步骤5.2：初始化融合系数矩阵，对每个试次的脑电特征向量、肌电特征向量、血压特征向量进行融合，得到融合特征向量矩阵，将融合系数矩阵的特征值作为粒子群的粒子，利用粒子群优化算法对融合系数矩阵进行优化，使得经融合系数矩阵计算的生理信号特征向量组的融合数值与其标记的情绪标签相适应，得到初次优化的融合系数矩阵；步骤5.3：利用融合系数矩阵，对步骤5.1采集的用户生理信号特征进行融合，得到每个试次的融合特征向量矩阵，并结合人工对其标记的情绪标签，构建训练数据集；步骤5.4：对训练数据集采用一对多支持向量机进行训练，计算适应度，更新融合系数，达到预定适应度后停止训练，得到多个带情绪标签的训练网络模型；步骤5.5：从实时采集的用户的生理信号中提取特征向量组，利用融合系数矩阵得到融合特征矩阵，利用训练网络模型对融合特征矩阵进行训练后使用一对多支持向量机进行分类，分类结果与情绪标签进行匹配，将匹配程度最好的情绪标签作为用户的情绪判断结果。2.根据权利要求1所述的VR用户触觉体验的情绪识别方法，其特征在于，步骤5.1采用共空间模式算法从用户的脑电信号中提取脑电特征向量，共空间模式算法将脑电信号的协方差矩阵对角化，提取用户的脑电信号的二分类特征；其具体过程如下：设E为预处理后的某个试次的脑电信号矩阵，维数为N
×
T，N表示脑电数据通道的数目，T表示通道的采样率；则脑电信号矩阵E的协方差矩阵R为：
式中E
T
是E的转置矩阵；trace(EE
T
)为矩阵EE
T
的迹；利用式(1)计算得到所有试次的第一类脑电信号的平均协方差同理，计算得到所有试次的第二类脑电信号的平均协方差求取平均协方差矩阵之和，得到混合空间协方差之和，得到混合空间协方差对进行特征值分解，式中U为特征向量矩阵，λ为特征值构成的对角阵；将特征值进行降序排列，白化矩阵P如下：对混合空间协方差进行白化，式中I为单位矩阵；分别对第一类、第二类脑电信号的平均协方差进行白化变换，式中S1、S2分别表示白化后的第一类、第二类脑电信号的协方差矩阵；S1和S2有相同的特征向量，经过降序排列，S1和S2的特征值大小顺序相反，S1的最大特征值对应S2的最小特征值；若满足S1＝Bλ1B
T
ꢀꢀꢀꢀꢀꢀ
(6)则：B...

【专利技术属性】
技术研发人员：董元发，梁成，刘文戎，蒋磊，曾涛，严华兵，
申请(专利权)人：三峡大学，
类型：发明
国别省市：