一种基于非接触式情绪识别的人机交互方法技术

本发明专利技术公开了一种基于非接触式情绪识别的人机交互方法，包括：步骤1，利用非接触式检测装置获取用户的生理信号特征和非生理信号特征，并依据生理信号特征和非生理信号特征识别用户的情绪状态；步骤2，在单个虚拟场景进行时，虚拟环境构建系统依据用户的情绪状态调整力反馈器的反馈力大小；在单个虚拟场景完成时，依据肢体实时运动轨迹与参考运动轨迹的差异，调整下一次交互时该虚拟场景的参考运动轨迹。本发明专利技术以用户的情绪状态作为单个虚拟场景中力反馈大小调整的依据，促进虚拟场景构建系统进行学习以适应用户的需求，单个虚拟场景完成后，依据实时运动参考轨迹和参考运动轨迹的差异，定量评价康复训练的效果。

A human-computer interaction method based on non contact emotion recognition

The invention discloses a method of human-computer interaction, non-contact emotion recognition based on physiological characteristics include: Step 1, get the user signal by using the non-contact detection device and non physiological signal characteristics, and based on the characteristics of physiological signals and non physiological signal feature recognition of the emotional state of the user; step 2, in a single virtual scene when building the virtual environment system based on the user's emotional state to adjust the force feedback device feedback force; in a single virtual scene is completed, according to the different body of real-time trajectory and reference trajectory, the reference trajectory of the virtual scene to adjust next time during the interaction. The present invention according to the user's emotional state as a single virtual force feedback to adjust the size of the virtual scene construction system, to promote learning to adapt to the needs of users, a single virtual scene is completed, according to the difference of real-time motion reference trajectory and the reference trajectory, a quantitative evaluation of the effect of rehabilitation training.

【技术实现步骤摘要】
一种基于非接触式情绪识别的人机交互方法
本专利技术涉及虚拟现实应用
，具体涉及一种基于非接触式情绪识别的人机交互方法。
技术介绍
脑卒中(stroke)，又称中风或脑血管意外(cerebrovascularaccident，CVA)，属于脑血管类疾病，是指由于脑部供血受阻而迅速发展的脑功能缺失。在美国和欧洲是导致成人残疾的首因，在世界范围内脑卒中是造成死亡的第二大原因。随着世界人口逐步老龄化，在未来的20年，脑卒中疾病造成的社会负担将会极大地增加，这种情况在发展中国家将会变得尤其严重。针对脑卒中患者的运动障碍，目前的主要治疗方法包括：由医生护士进行临床医学处理、由物理治疗师指导恢复肢体运动功能的康复训练等，其中康复训练是运动障碍后遗症的主要治疗方法。虚拟现实是利用计算机仿真系统创建的虚拟环境，虚拟环境将多源信息融合，产生可与用户交互的三维动态视景，使用户沉浸在虚拟环境中。近年来国际上出现了一系列将虚拟现实(virtualreality，VR)技术引入康复研究领域的尝试，将虚拟现实技术应用于脑卒中、脑外伤、帕金森等病人的上下肢运动功能恢复，及空间和认知能力的训练。例如，Adamo本文档来自技高网...

【技术保护点】
一种基于非接触式情绪识别的人机交互方法，其特征在于，所述人机交互方法实施在用户与虚拟环境构建系统之间，所述虚拟环境构建系统配置有力反馈器、非接触式检测装置以及运动检测装置，所述虚拟环境构建系统中预设有若干虚拟场景，针对各虚拟场景，预设对应的参考运动轨迹，用户接触力反馈器，并在各虚拟场景中依据参考运动轨迹进行肢体运动，所述人机交互方法包括：步骤1，利用非接触式检测装置获取用户的生理信号特征和非生理信号特征，并依据生理信号特征和非生理信号特征识别用户的情绪状态；步骤2，在单个虚拟场景进行时，虚拟环境构建系统依据用户的情绪状态调整力反馈器的反馈力大小；在单个虚拟场景完成时，依据肢体实时运动轨迹与参考...

【技术特征摘要】
1.一种基于非接触式情绪识别的人机交互方法，其特征在于，所述人机交互方法实施在用户与虚拟环境构建系统之间，所述虚拟环境构建系统配置有力反馈器、非接触式检测装置以及运动检测装置，所述虚拟环境构建系统中预设有若干虚拟场景，针对各虚拟场景，预设对应的参考运动轨迹，用户接触力反馈器，并在各虚拟场景中依据参考运动轨迹进行肢体运动，所述人机交互方法包括：步骤1，利用非接触式检测装置获取用户的生理信号特征和非生理信号特征，并依据生理信号特征和非生理信号特征识别用户的情绪状态；步骤2，在单个虚拟场景进行时，虚拟环境构建系统依据用户的情绪状态调整力反馈器的反馈力大小；在单个虚拟场景完成时，依据肢体实时运动轨迹与参考运动轨迹的差异，调整下一次交互时该虚拟场景的参考运动轨迹。2.如权利要求1所述的基于非接触式情绪识别的人机交互方法，所述生理信号特征包括心率特征和呼吸特征，所述非生理信号特征包括表情特征。3.如权利要求1所述的基于非接触式情绪识别的人机交互方法，其特征在于，所述非接触式检测装置包括视频采集装置和雷达。4.如权利要求2所述的基于非接触式情绪识别的人机交互方法，其特征在于，所述心率特征和表情特征从视频信号中提取，所述呼吸特征从雷达信号中提取。5.如权利要求4所述的基于非接触式情绪识别的人机交互方法，其特征在于，利用欧拉影像放大算法从视频信息中提取心率特征。6.如权利要求1所述的基于非接触式情绪识别的人机交互方法，其特征在于，依据生理信号特征和非生理信号特征识别用户的情绪状态，具体包括以下步骤：a、基于生理信号特征建立第一情绪模型，基于非生理信号特征建立第二情绪模型；b、识别的生理信号特征依据第一情绪模型生成第一情绪状态概率分布，识别的非生理信号特征依据第二...

【专利技术属性】
技术研发人员：王清波，陈丽娜，虞成，徐月花，
申请(专利权)人：杭州市第一人民医院，
类型：发明
国别省市：浙江,33