当前位置: 首页 > 专利查询>渤海大学专利>正文

面向语音与面部表情信号的情感可视化方法技术

技术编号:13228591 阅读:20 留言:0更新日期:2016-05-13 11:45
本发明专利技术涉及一种面向语音与面部表情信号的多模式情感可视化方法,其主要包括:情感信号获取、情感信号预处理、情感特征参数提取、神经网络设计及图像生成。本发明专利技术首先对获取的情感信号进行特征提取,然后将获取的情感特征作为神经网络的输入,神经网络的输出即为相应的图案信息,然后通过图像生成模块生成可视化图像,实现对中性、高兴、愤怒、惊奇、悲伤和恐惧六种人类基本情感的可视化。该方法通过组合不同模式的情感特征进入一幅图像中,为人们创造了情感的可读模式,显示直观且具有高鲁棒性。

【技术实现步骤摘要】

本专利技术涉及一种多模式情感可视化方法,特别涉及一种面向语音与面部表情信号 的情感可视化方法。
技术介绍
近年来,情感信息的研究工作在人机交互领域中已经成为一个热点问题。随着社 会信息化的推进和网络应用的日益广泛,信息源越来越庞大。对海量信息之间的复杂关系 的努力探索,促使了信息可视化这一崭新科学技术的出现。情感信息可视化的研究任务是 将大规模复杂数据信息转换为直观图形或图像,充分发挥人们对可视模式的形象思维优 势,达到观察、浏览、研究、探索、发现隐藏在大规模数据内部的特征和规律的目的。目前情 感可视化的研究主要停留在单模式情感可视化的水平,即只从单一信息通道中获得当前对 象的情感状态,如从语音信号、面部表情信号或生理信号(血压、体温、脉搏、心电、脑电、皮 肤电阻等)等。虽然单一地依靠语音信号、面部表情信号或生理参数来进行可视化取得了一 定的成果,但却存在着很多局限性,因为人类是通过多模式的方式表达情感信息的,它具有 表达的复杂性和文化的相对性。比如,在噪声环境下,当某一个通道的特征受到干扰或缺失 时,多模式方法能在某种程度上产生互补的效应,弥补了单模式的不足。所以研究多模式情 感可视化的方法十分必要。由于生理信号的测量必须与身体接触,因此对于此通道的信号 获取有一定的困难,所以语音和面部表情作为两种最为主要的表征情感的方式,在情感识 别方面得到了广泛的研究,但是其只能通过文字来表达识别结果,显示不直观。
技术实现思路
针对上述现有技术存在的不足,本专利技术所要解决的技术问题是提供一种显示直观 且具有高鲁棒性的。 本专利技术的技术解决方案是: -种,包括以下步骤: 步骤1:情感信号获取; 首先诱发情感,再同步获取相应情感状态下的语音信号和面部表情信号,并将二 者绑定存储; 步骤2、情感信号预处理; 步骤2-1、语音信号预处理; 对获取的语音信号进行预处理,包括预加重、分帧加窗和端点检测; 步骤2-2、面部表情信号预处理; 对获取的面部表情信号,首先进行脸部定位,然后进行图像几何特性归一化处理 和图像光学特性归一化处理; 步骤3、情感特征参数提取; 步骤3-1、语音情感特征参数提取;包括韵律特征和音质特征;步骤3-2、面部表情特征参数提取; 对预处理后的面部表情信号,采用Gabor小波变换来提取面部表情特征参数,具体 过程如下: 1)将预处理后的面部表情图像网格化; 2)用Gabor小波和网格化后的图像进行卷积; 3)取卷积结果的模的均值和方差作为面部表情特征参数; 4)用主成分分析法PCA对上述面部表情特征参数进行降维处理,获得最终的面部 表情特征参数; 步骤4、神经网络设计;所述的神经网络为三层BP神经网络,其中输入层有46个神经元,输出层有3个神经 元;步骤5、图像生成;步骤5-1、图像主颜色编码; 通过给屏幕相应位置的RGB赋值,即通过设定图像红色饱和度R、绿色饱和度G和蓝 色饱和度B的值,来获得图像的主颜色信息; 步骤5-2、图案信息编码; 神经网络的输出即为相应的图案信息,神经网络的输出层有3个神经元,均采用二 进制编码,共有8个不同的码,其中利用前6个码,依次对应着中性、高兴、愤怒、惊奇、悲伤和 恐惧6种人类基本情感;步骤5-3、图像合成;图像合成时,把图像主颜色信息与图案信息融合在一幅图像中在显示屏上显示。 所述步骤5-3中图像合成时,先获得图像主颜色信息,然后用图案信息置换相应位 置的主颜色信息,获得相应的情感可视化图像。 所述步骤3-1语音情感特征参数提取时,提取16个语音情感特征,其中前9个语音 情感特征为韵律特征,后7个语音情感特征为音质特征;所述前9个语音情感特征分别为:语 句发音持续时间与相应的平静语句持续时间的比值、基因频率平均值、基因频率最大值、基 因频率平均值与相应平静语句的基因频率平均值的差值、基因频率最大值与相应平静语句 的基因频率最大值的差值、振幅平均能量、振幅能量的动态范围、振幅平均能量与相应平静 语句的振幅平均能量的差值、振幅能量动态范围与相应平静语句的振幅能量动态范围的差 值。所述步骤3-1中后7个语音情感特征分别为:第一共振峰频率的平均值、第二共振 峰频率的平均值、第三共振峰频率的平均值、谐波噪声比的均值、谐波噪声比的最大值、谐 波噪声比的最小值、谐波噪声比的方差。 所述步骤2-2中面部表情信号预处理时,其中利用肤色模型进行脸部定位;图像几 何特性归一化以两眼位置为依据,而图像光学特性的归一化处理包括先用直方图均衡化方 法对图像灰度做拉伸,以改善图像的对比度,然后对图像像素灰度值进行归一化处理,使标 准人脸图像的像素灰度值为〇,方差为1,如此部分消除光照对识别结果的影响。 所述步骤3-2中用Gabor小波和网格化后的图像进行卷积,公式如下: r(x,y)=JJl(e ,n)g(x-e ,y-n)dedn (1) 其中,r(x,y)为Gabor小波变换后的结果;Ι(ε ,η)为对应像素坐标(ε ,η)的像素值;为复数算子,〇是与小波频率带宽有关的常数,ν的取值决定了 Gabor滤波的波长,u的取值表 示Gabor核函数的方向,c表示总的方向数;ε,ri为积分变量。 所述步骤2-1中语音信号预处理时,其中预加重是通过一阶数字预加重滤波器实 现,预加重滤波器的系数取值为0.93~0.97;分帧是以帧长256点的标准进行,并对分帧后 的数据加汉明窗处理;端点检测是利用短时能零积法进行。所述步骤1中情感信号获取时,是利用麦克风输入语音数据后,再通过采样量化获 得相应的语音信号,而面部表情信号则是由摄像机拍摄获得。 所述步骤1中采样量化的采样频率为11.025kHz、量化精度为16b i t;所述的由摄像 机拍摄获得的每幅面部表情信号图像大小为256 X 256像素。 本专利技术的有益效果如下: (1)本专利技术通过组合语音信号和面部表情信号两种不同模式的情感特征进入一幅 图像中,为人们创造了情感的可读模式,可以直观地展示情感的分类结果。与现有技术相 比,具有良好的鲁棒性和易懂性。 (2)本专利技术同时提取了语音信号的音质特征和韵律特征,能够更全面地提取蕴含 在语音信号中的情感信息,使可视化的结果更加准确。 (3)本专利技术采用Gabor小波变换来提取面部表情特征参数,它能够同时检测多尺 度、多方向的纹理变化,而且对亮度和人脸姿态的变化不敏感,使得提取的面部表情特征参 数鲁棒性更好。 (4)本专利技术通过神经网络来对图案信息进行编码,有效地提高了情感的识别率,缩 短了识别时间,实现了效率与时间的双赢。 (5)本专利技术的可视化技术可以应用到情感识别结果的表达上,实现了情感信息的 生动描述和高效表达。【附图说明】图1为本专利技术的系统结构框图;图2是图1中神经网络的结构示意图;图3为图案彳目息编码不意图;图4为中性情感的可视化效果示例图;图5为高兴情感的可视化效果示例图; 图6为愤怒情感的可视化效果示例图; 图7为惊奇情感的可视化效果示例图; 图8为悲伤情感的可视化效果示例图; 图9为恐惧情感的可视化效果示例图;【具体实施方式】 下面结合附图和实施例,对本专利技术所述的技术方案作详细说明: 如图1所示,该方法包括情感信号获取、情感信号预处理、情感特征参数提取、神经 网络设计及图像生成,本文档来自技高网...

【技术保护点】
一种面向语音与面部表情信号的情感可视化方法,其特征是包括以下步骤:步骤1、情感信号获取;首先诱发情感,再同步获取相应情感状态下的语音信号和面部表情信号,并将二者绑定存储;步骤2、情感信号预处理;步骤2‑1、语音信号预处理;对获取的语音信号进行预处理,包括预加重、分帧加窗和端点检测;步骤2‑2、面部表情信号预处理;对获取的面部表情信号,首先进行脸部定位,然后进行图像几何特性归一化处理和图像光学特性归一化处理;步骤3、情感特征参数提取;步骤3‑1、语音情感特征参数提取;包括韵律特征和音质特征;步骤3‑2、面部表情特征参数提取;对预处理后的面部表情信号,采用Gabor小波变换来提取面部表情特征参数,具体过程如下:1)将预处理后的面部表情图像网格化;2)用Gabor小波和网格化后的图像进行卷积;3)取卷积结果的模的均值和方差作为面部表情特征参数;4)用主成分分析法PCA对上述面部表情特征参数进行降维处理,获得最终的面部表情特征参数;步骤4、神经网络设计;所述的神经网络为三层BP神经网络,其中输入层有46个神经元,输出层有3个神经元;步骤5、图像生成;步骤5‑1、图像主颜色编码;通过给屏幕相应位置的RGB赋值,即通过设定图像红色饱和度R、绿色饱和度G和蓝色饱和度B的值,来获得图像的主颜色信息;步骤5‑2、图案信息编码;神经网络的输出即为相应的图案信息,神经网络的输出层有3个神经元,均采用二进制编码,共有8个不同的码,其中利用前6个码,依次对应着中性、高兴、愤怒、惊奇、悲伤和恐惧6种人类基本情感;步骤5‑3、图像合成;图像合成时,把图像主颜色信息与图案信息融合在一幅图像中在显示屏上显示。...

【技术特征摘要】

【专利技术属性】
技术研发人员:韩志艳王健王东尹作友魏洪峰郭兆正
申请(专利权)人:渤海大学
类型:发明
国别省市:辽宁;21

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1