语音情感和面部表情双模态识别系统技术方案

本发明专利技术公开了一种语音情感和面部表情双模态识别系统，包括情感数据的输入及其预处理模块、情感特征提取模块以及特征融合情感识别模块；情感数据的输入及其预处理模块，用于选择和建立所使用的情感数据库，根据不同数据库的数据特征以及不同模态数据的特性选择预处理方法；情感特征提取模块，用于表情特征提取和语音特征提取，表情特征包括LBP特征；本发明专利技术在保留整体信息完整性情况下，考虑了不同模态特征，不同特征种类间的差异性，增强了特征层融合的性能，在建立大数据和神经网络模型等基础上，通过数据采集和标注建立训练数据库，能快速分析和筛查精神病患者病情。

Speech emotion and facial expression bimodal recognition system

【技术实现步骤摘要】
语音情感和面部表情双模态识别系统
本专利技术涉及心理分析
，更为具体地，涉及一种语音情感和面部表情双模态识别系统。
技术介绍
目前精神病属于常见的一种困扰我们人类心理情感体验的疾病，尤其是在我国经济发展速度快，人们生活节奏快的时代，工作一族忙于日常的业务，在个人婚姻问题、小孩抚养与教育问题、老人赡养问题上，不同的环境都有不同的社会问题导致不同精神疾病危害。由于当前人们生活压力大，这就导致了不同年龄阶段的人群，都有不同的实际问题，滋养了精神类疾病的发生。比如，小孩有自闭症、上班因为社会环境不同有抑郁症、精神分裂症(1癫痫所致精神障碍、2精神分裂症、3偏执型精神分裂症、4紧张性精神分裂症、5青春型精神分裂症、6未分化型精神分裂症、7精神分裂症后抑郁)等，老年人有滞呆症，通过我们精神病专家的医学研究表明，不同类精神疾病在常见表情的损益上的表现是不同的。目前技术不足表现在：1根据简明精神病评定量表确定对应的心理健康水平，该量表统计分析存在被试者在答题选择时受个人的主观意愿影响，不积极配合调查表做统计分析；>2智能控制终端通过本文档来自技高网...

【技术保护点】
1.一种语音情感和面部表情双模态识别系统，其特征在于，包括：/n情感数据的输入及其预处理模块、情感特征提取模块以及特征融合情感识别模块；/n所述情感数据的输入及其预处理模块，用于选择和建立所使用的情感数据库，根据不同数据库的数据特征以及不同模态数据的特性选择预处理方法；/n所述情感特征提取模块，用于表情特征提取和语音特征提取，所述表情特征包括LBP特征；所述语音特征包括基频特征、短时能量特征、梅尔频率倒谱系数、短时抖动参数、过零率中的一种或多种；/n所述特征融合情感识别模块，用于根据特征种类不同进行分类映射，双模态情感特征分为表情特征、语音特征以及表情和语音特征串联而得的串行特征，对每部分特征...

【技术特征摘要】
1.一种语音情感和面部表情双模态识别系统，其特征在于，包括：
情感数据的输入及其预处理模块、情感特征提取模块以及特征融合情感识别模块；
所述情感数据的输入及其预处理模块，用于选择和建立所使用的情感数据库，根据不同数据库的数据特征以及不同模态数据的特性选择预处理方法；
所述情感特征提取模块，用于表情特征提取和语音特征提取，所述表情特征包括LBP特征；所述语音特征包括基频特征、短时能量特征、梅尔频率倒谱系数、短时抖动参数、过零率中的一种或多种；
所述特征融合情感识别模块，用于根据特征种类不同进行分类映射，双模态情感特征分为表情特征、语音特征以及表情和语音特征串联而得的串行特征，对每部分特征种类采用不同的核函数进行映射，再通过学习求得每特征种类对应不同的各个核函数前的权重系数；核函数前的权重系数在学习过程中获得，实现多模态情感特征的识别。


2.根据权利要求1所述的语音情感和面部表情...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：湖南检信智能科技有限公司，
类型：发明
国别省市：湖南;43