The invention provides a natural interaction method, virtual learning environment based on multi modal emotion recognition includes: obtaining the characterization of students' learning state expression, posture and voice information, constructing multi-modal feeling color image, depth information, speech signal and information based on the characteristics of skeletal sense; face detection, preprocessing and feature extraction of the color and depth images of facial expression classification using support vector machine SVM and AdaBoost mixed method; extraction followed by pretreatment and emotional characteristics of speech emotion information, make the speech emotion recognition using hidden Markov model; rule processing posture vector of skeletal information, pose sentiment classification by multi class support vector machine SVM; identification of three kinds of emotional results construct quadrature rules fusion algorithm in decision layer, root According to the fusion result, the emotional expression such as facial expression, voice and gesture of the virtual agent is generated.
【技术实现步骤摘要】
一种基于多模态情感识别的虚拟学习环境自然交互方法
本专利技术涉及情感识别、多模态、人机交互技术、虚拟现实、教育等领域,具体涉及一种基于多模态情感识别的虚拟学习环境自然交互方法。
技术介绍
虚拟学习环境是虚拟现实技术与课堂教学的有机结合,通过在虚拟环境中构建课堂教学场景、授课策略、教学内容等,可以打破时间、空间、教学资源的限制,让学生“身临其境”地体验各种教学实验实践过程,加强对各种原理、概念、方法的理解,提升学生的学习兴趣和效果。虚拟学习环境的建立是一项集成性的、综合性技术,涉及到虚拟现实、机器学习、情感设计、人机交互等多方面的内容,通过计算机生成一个完全逼真的,集视、听、触、情等多种感知的虚拟课堂环境,使学习者有效融人学习场景,给予学习者自然、真实感受的同时,更能从数字化虚拟空间自由获得丰富、准确的信息与知识。这种学习环境非常重视学习者的情感体验,强调为学习者提供符合其特点与需求的实时、互动课程,并重视学习效果以及学习方法的建议与反馈。情感信息对人们的行为决策具有重大影响,这使得情感计算在虚拟学习环境及人机交互中占有极其重要的作用,直接影响学习环境的沉浸感,决定着虚拟学习环境的实用性和学习效果。人的情感表达一般有语音、面部表情、姿势、文本等多种模态。人脸表情包含了的一定的情感信息,它是人类情感表达的主要方式。语音除了传达了语言信息,同时也可能包含情感信息,如说话声音的快慢与高低。姿势也是情感表达的重要方式,一般情况下,人们会用点头、摇头、挥手等肢体动作来传递情感。随着计算机技术的发展,人脸表情识别、语音交互、姿势识别等单模人机交互方式已经取得了不错的成果 ...
【技术保护点】
一种基于多模态情感识别的虚拟学习环境自然交互方法,其特征在于,包括以下步骤:101、获取表征学生表情、语音信息和姿态的彩色图像、深度图像、语音信号和骨骼信息的多模态情感特征;102、首先对彩色图像和深度图像进行分类人脸检测、预处理和特征提取,用支持向量机SVM和AdaBoost方法混合进行人脸表情识别;其次对语音情感信息进行预处理和情感特征的提取,利用隐马尔可夫模型对语音情感进行识别;然后对骨骼信息进行规则化处理得到人体姿势表示向量,用多类支持向量机SVM进行姿势情感分类识别;103、对步骤102的人脸表情识别结果、语音情感识别结果、姿势感情识别结果采用求积规则融合算法在决策层进行融合,根据融合结果来驱动虚拟学习环境中虚拟教师决策模块,选择相应教学策略和行为动作,生成虚拟智能体的表情、语音和姿势在内的情感表现。
【技术特征摘要】
1.一种基于多模态情感识别的虚拟学习环境自然交互方法,其特征在于,包括以下步骤:101、获取表征学生表情、语音信息和姿态的彩色图像、深度图像、语音信号和骨骼信息的多模态情感特征;102、首先对彩色图像和深度图像进行分类人脸检测、预处理和特征提取,用支持向量机SVM和AdaBoost方法混合进行人脸表情识别;其次对语音情感信息进行预处理和情感特征的提取,利用隐马尔可夫模型对语音情感进行识别;然后对骨骼信息进行规则化处理得到人体姿势表示向量,用多类支持向量机SVM进行姿势情感分类识别;103、对步骤102的人脸表情识别结果、语音情感识别结果、姿势感情识别结果采用求积规则融合算法在决策层进行融合,根据融合结果来驱动虚拟学习环境中虚拟教师决策模块,选择相应教学策略和行为动作,生成虚拟智能体的表情、语音和姿势在内的情感表现。2.根据权利要求1所述的基于多模态情感识别的虚拟学习环境自然交互方法,其特征在于,所述步骤102对彩色图像和深度图像进行人脸检测包括:将所获取的彩色和深度信息通过Kinect中的基于Harr特征的boosted级联分类器去区分图像区域中的人脸部分和非人脸部分以进行人脸检测。3.根据权利要求2所述的基于多模态情感识别的虚拟学习环境自然交互方法,其特征在于,所述对分类人脸检测后的图像进行预处理和特征提取,包括步骤:对图像进行预处理包括归一化、灰度图转化和直方图均衡化,对预处理后图像分别用Gabor小波特征提取方法对彩色图像进行特征提取和用基于深度值统计分布的方法对深度图像进行特征提取;从彩色图中提取出的特征和从对应深度图中提取出的特征拼接在一起,则形成该表情图像的人脸表情特征,还采用PCA方法对其进行特征降维。4.根据权利要求3所述的基于多模态情感识别的虚拟学习环境自然交互方法,其特征在于,所述得到人脸表情特征后用支持向量机SVM和AdaBoost方法混合进行人脸表情训练、分类和识别,核函数选择径向基函数RBF:K(x,y)=exp(-γ||x-y||2),γ表示核参数,x表示样本,y表示样本标签值;然后用一对一方法进行构造多类分类器,对n个类别构建n(n-1)/2个分类器,通过投票的方法进行分类判断,再对脸部表情进行训练和识别;利用AdaBoost训练方法加强SVM分类器的分类...
【专利技术属性】
技术研发人员:蔡林沁,陈双双,徐宏博,虞继敏,杨洋,
申请(专利权)人:重庆邮电大学,
类型:发明
国别省市:重庆,50
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。