【技术实现步骤摘要】
本专利技术涉及人机情感交互领域,具体地说是一种基于机器学习的双模态人人对话情感分析系统及其方法。
技术介绍
随着社会的发展和网络技术的进步,人们之间的沟通交流越来越频繁,交流方式也越来越多样,准确识别人人对话中的情感对于呼叫中心等电话服务行业具有非常重要的意义。然而人们在对话时的情感表达是十分复杂的。在对话中表达情感的情感词可以分为直接情感词和负面情感词两大类。有的时候一些人在对话的过程中,其实已经有了负面情绪,但是由于礼貌和风度不会使用直接情感词让自己的内心情绪完全表达出来,或者采用与直接情感词情绪不对应的语气使用直接情感词。潜在情感词和潜在情绪的识别是很困难的,并且单一识别某一种特征对情感的分析也是不全面的,同时传统特征提取方法一般为卡方检验、信息增益等,这样提取得到的特征是比较表层的,无法使用上下文信息进行分析;最后当前存在的识别方法主要有:单独对文本识别的方法,大多使用了词频-逆文档频率等模型对文本进行情感识别,大多需要对文本进行预处理,同时在多语种和多分类识别中正确率较低。
技术实现思路
本专利技术克服了现有技术的不足之处,提供一种基于机器学习的双模态人人对话情感分析方法,以期能综合文本和音频两个模态对会话情感进行识别,并充分利用词向量、句向量的特点,从而提高识别的准确性。本专利技术为达到上述专利技术目的,采用如下技术方案:本专利技术一种基于机器学习的双模态人人对话情感分析系统的特点包括:语音识别模块、文本深层特征提取模块、语音切分模块、声学特征提取模块、特征融合模块、情感分析模块;所述语音识别模块获取人人对话的语音内容,并对所述语音内容进行识别, ...
【技术保护点】
一种基于机器学习的双模态人人对话情感分析系统,其特征包括:语音识别模块、文本深层特征提取模块、语音切分模块、声学特征提取模块、特征融合模块、情感分析模块;所述语音识别模块获取人人对话的语音内容,并对所述语音内容进行识别,得到文本内容和每句对话起始端点的时间标签;所述语音识别模块将所述文本内容传递给所述文本深层特征提取模块,将所述时间标签传递给所述语音切分模块;所述文本深层特征提取模块读取所述文本内容,并对文本内容进行特征提取,得到深层词级特征和深层句级特征作为文本深层特征,并传递给所述特征融合模块;所述语音切分模块读取所述语音内容,并根据所述时间标签从所述语音内容中将每句对话语音切分出来并分别传递给所述声学特征提取模块;所述声学特征提取模块根据所接收到的每句对话语音,分别提取相应的音强、响度、基频和浊音度所构成的声学特征,并将得到的声学特征传递给特征融合模块;所述特征融合模块将所述文本深层特征和声学特征进行融合,得到融合特征并传递给情感分析模块;所述情感分析模块将所述融合特征利用情感分析模型进行情感分析识别,得到所述语音内容的情感极性,所述情感极性包括:正向、中性和负向。
【技术特征摘要】
1.一种基于机器学习的双模态人人对话情感分析系统,其特征包括:语音识别模块、文本深层特征提取模块、语音切分模块、声学特征提取模块、特征融合模块、情感分析模块;所述语音识别模块获取人人对话的语音内容,并对所述语音内容进行识别,得到文本内容和每句对话起始端点的时间标签;所述语音识别模块将所述文本内容传递给所述文本深层特征提取模块,将所述时间标签传递给所述语音切分模块;所述文本深层特征提取模块读取所述文本内容,并对文本内容进行特征提取,得到深层词级特征和深层句级特征作为文本深层特征,并传递给所述特征融合模块;所述语音切分模块读取所述语音内容,并根据所述时间标签从所述语音内容中将每句对话语音切分出来并分别传递给所述声学特征提取模块;所述声学特征提取模块根据所接收到的每句对话语音,分别提取相应的音强、响度、基频和浊音度所构成的声学特征,并将得到的声学特征传递给特征融合模块;所述特征融合模块将所述文本深层特征和声学特征进行融合,得到融合特征并传递给情感分析模块;所述情感分析模块将所述融合特征利用情感分析模型进行情感分析识别,得到所述语音内容的情感极性,所述情感极性包括:正向、中性和负向。2.一种基于机器学习的双模态人人对话情感分析方法,其特征是按如下步骤进行:步骤1:利用录音装置获取若干段的人人对话的语音内容作为样本语料,再获取一段待识别的人人对话的语音内容作为待识别语料;步骤2:利用语音识别工具识别出所述样本语料和待识别语料中每一段语音内容的文本内容以及每一段语音内容中每句对话起始端点的时间标签;步骤3:利用词中心点向量计算法得到所述样本语料和带识别语料中每一段语音内容的文本内容的深层词级特征;步骤4:将所述样本语料和待识别语料中每一段语音内容的文本内容利用句向量工具训练,得到每一段语音内容的文本内容中每句对话的句向量,将每一段语音内容的文本内容中的所有对话的句向量组成一个矩阵,得到所述样本语料和待识别语料中每一段语音内容的文本内容的深层句级特征;将所述深层词级特征和深层句级特征作为文本深层特征;步骤5:根据所述时间标签将所述样本语料和待识别语料中的每句对话语音切分出来;...
【专利技术属性】
技术研发人员:孙晓,彭晓琪,吕曼,
申请(专利权)人:合肥工业大学,
类型:发明
国别省市:安徽;34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。