Continuous emotional tracking method based on deep learning of the present invention relates to a robust, which comprises the following steps: 1) to construct training samples and normalized training model and the continuous emotional tracking model; 2) to obtain expression image and pretreatment, will be sent to the normalization model trained expression image preprocessing finishes, get the standard light standard and head pose face images; 3) the standard normalized image as a continuous emotional tracking model input, continuous tracking automatic extraction model of emotional expression of related characteristics and input according to the timing information tracking results when the previous frame; repeat step 2) 3) until the continuous tracking process to complete the mood. Emotion recognition model to realize continuous emotional tracking and prediction method based on deep learning is constructed by the invention, can be robust to illumination and pose variation, temporal information and make full use of expression, historical and emotional characteristics of more stable tracking current users based on emotions.
【技术实现步骤摘要】
一种鲁棒的基于深度学习的连续情绪跟踪方法
本专利技术涉及人机交互、图像处理、人工智能领域,具体涉及一种鲁棒的基于深度学习的连续情绪跟踪方法。
技术介绍
情感意图理解的目的是通过赋予计算机识别、理解、认知人的情感的能力,从而使计算机具有更高的类人智能,提供更加自然的人机交互体验。随着计算机设备、网络摄像头等设备的普及,使得基于视觉通道的情绪识别成为分析用户情绪最有效的手段。目前大多数情绪识别方法将情绪分为几个基本类别,如高兴、愤怒、悲伤、惊讶等,这样就将情绪识别问题转化为分类问题,然后通过精心设计的人工特征提取方法,从二维表情图片上提取出包含基于纹理或者几何的情绪特征用于情绪分类。二维表情特征提取实现简单,可以从表情图片上直接提取,因此被广泛应用于情绪识别算法中。基于分类的情绪识别由于情绪类别的急剧变化会导致计算机对用户的反馈产生突变,大大降低用户体验。考虑到人自然情绪表达的连续性,采用基于维度空间的连续情感模型PAD来描述人的情绪能更细致反应情绪变化以及趋势。此外,基于图片的二维表情特征在处理头部姿态变化、面外翻转时准确率会急剧下降,变得不稳定,为了克服这些问题,一些基于三维特征的情绪跟踪算法被提出,这些算法利用三维几何特征或者深度特征来对用户的三维头部信息进行恢复,从恢复后的三维头部信息来估计用户情感及其变化,但存在算法复杂及获取深度信息设备限制的问题。区别于传统的基于视觉的情绪识别方法,采用深度学习的方法模拟人脑的分层模型,通过把原始图像数据通过一些非线性变换转变成为更高层次的、更加抽象的表达,可以自动提取比大多手工特征更具有区分性的特征。专利“一种基 ...
【技术保护点】
一种鲁棒的基于深度学习的连续情绪跟踪方法,其特征在于,包括以下步骤:1)构建训练样本并训练归一化模型和连续情绪跟踪模型;2)获取表情图像,通过归一化模型将其转换为标准图像;3)通过连续情绪跟踪模型并利用时序信息产生当前帧的标准图像的情绪跟踪结果;4)重复步骤2)‑3),直至完成全部情绪跟踪任务。
【技术特征摘要】
1.一种鲁棒的基于深度学习的连续情绪跟踪方法,其特征在于,包括以下步骤:1)构建训练样本并训练归一化模型和连续情绪跟踪模型;2)获取表情图像,通过归一化模型将其转换为标准图像;3)通过连续情绪跟踪模型并利用时序信息产生当前帧的标准图像的情绪跟踪结果;4)重复步骤2)-3),直至完成全部情绪跟踪任务。2.如权利要求1所述的方法,其特征在于,步骤1)所述归一化模型和所述连续情绪跟踪模型采用深度神经网络实现。3.如权利要求2所述的方法,其特征在于,所述归一化模型用于处理二维图像中包括光照归一和姿态矫正在内的问题,用以提升识别过程中的鲁棒性。4.如权利要求3所述的方法,其特征在于,所述归一化模型采用基于Encoder和Decoder框架的深度学习模型,包括基于CNN或者RBM构建的Encoder-Decoder模型;Decoder的网络结构与Encoder相对称;模型训练时采用包含矫正图像任务和重建输入任务的多任务学习的损失函数。5.如权利要求2所述的方法,其特征在于,所述连续情绪跟踪模型采用利用时序信息的深度学习模...
【专利技术属性】
技术研发人员:郭清沛,陈辉,姚乃明,王宏安,
申请(专利权)人:中国科学院软件研究所,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。