一种基于机器学习的双模态人人对话情感分析方法技术

本发明专利技术公开了一种基于机器学习的双模态人人对话情感分析系统及其方法，其特征包括：语音识别模块、文本深层特征提取模块、语音切分模块、声学特征提取模块、特征融合模块、情感分析模块；语音识别模块用于识别语音内容和时间标签，文本深层特征提取模块用于完成文本深层词级特征和文本深层句级特征的提取，语音切分模块用于将单句语音从整段语音中切分出来，声学特征提取模块用于完成语音的声学特征的提取，特征融合模块将所得到的文本深层特征和声学特征进行融合，情感分析模块用于得到所需要情感分析语音的情感极性。本发明专利技术能综合文本和音频两个模态对会话情感进行识别，并充分利用词向量、句向量所具有的特点，从而提高识别的准确性。

【技术实现步骤摘要】

本专利技术涉及人机情感交互领域，具体地说是一种基于机器学习的双模态人人对话情感分析系统及其方法。
技术介绍
随着社会的发展和网络技术的进步，人们之间的沟通交流越来越频繁，交流方式也越来越多样，准确识别人人对话中的情感对于呼叫中心等电话服务行业具有非常重要的意义。然而人们在对话时的情感表达是十分复杂的。在对话中表达情感的情感词可以分为直接情感词和负面情感词两大类。有的时候一些人在对话的过程中，其实已经有了负面情绪，但是由于礼貌和风度不会使用直接情感词让自己的内心情绪完全表达出来，或者采用与直接情感词情绪不对应的语气使用直接情感词。潜在情感词和潜在情绪的识别是很困难的，并且单一识别某一种特征对情感的分析也是不全面的，同时传统特征提取方法一般为卡方检验、信息增益等，这样提取得到的特征是比较表层的，无法使用上下文信息进行分析；最后当前存在的识别方法主要有：单独对文本识别的方法，大多使用了词频-逆文档频率等模型对文本进行情感识别，大多需要对文本进行预处理，同时在多语种和多分类识别中正确率较低。
技术实现思路
本专利技术克服了现有技术的不足之处，提供一种基于机器学习的双模态人人对话情感分析方法，以期能综合文本和音频两个模态对会话情感进行识别，并充分利用词向量、句向量的特点，从而提高识别的准确性。本专利技术为达到上述专利技术目的，采用如下技术方案：本专利技术一种基于机器学习的双模态人人对话情感分析系统的特点包括：语音识别模块、文本深层特征提取模块、语音切分模块、声学特征提取模块、特征融合模块、情感分析模块；所述语音识别模块获取人人对话的语音内容，并对所述语音内容进行识别，得到文本内容和每句对话起始端点的时间标签；所述语音识别模块将所述文本内容传递给所述文本深层特征提取模块，将所述时间标签传递给所述语音切分模块；所述文本深层特征提取模块读取所述文本内容，并对文本内容进行特征提取，得到深层词级特征和深层句级特征作为文本深层特征，并传递给所述特征融合模块；所述语音切分模块读取所述语音内容，并根据所述时间标签从所述语音内容中将每句对话语音切分出来并分别传递给所述声学特征提取模块；所述声学特征提取模块根据所接收到的每句对话语音，分别提取相应的音强、响度、基频和浊音度所构成的声学特征，并将得到的声学特征传递给特征融合模块；所述特征融合模块将所述文本深层特征和声学特征进行融合，得到融合特征并传递给情感分析模块；所述情感分析模块将所述融合特征利用情感分析模型进行情感分析识别，得到所述语音内容的情感极性，所述情感极性包括：正向、中性和负向。本专利技术一种基于机器学习的双模态人人对话情感分析方法的特点是按如下步骤进行：步骤1：利用录音装置获取若干段的人人对话的语音内容作为样本语料，再获取一段待识别的人人对话的语音内容作为待识别语料；步骤2：利用语音识别工具识别出所述样本语料和待识别语料中每一段语音内容的文本内容以及每一段语音内容中每句对话起始端点的时间标签；步骤3：利用词中心点向量计算法得到所述样本语料和带识别语料中每一段语音内容的文本内容的深层词级特征；步骤4：将所述样本语料和待识别语料中每一段语音内容的文本内容利用句向量工具训练，得到每一段语音内容的文本内容中每句对话的句向量，将每一段语音内容的文本内容中的所有对话的句向量组成一个矩阵，得到所述样本语料和待识别语料中每一段语音内容的文本内容的深层句级特征；将所述深层词级特征和深层句级特征作为文本深层特征；步骤5：根据所述时间标签将所述样本语料和待识别语料中的每句对话语音切分出来；步骤6：利用声学特征提取工具对切分后的每句对话语音的每一帧，分别进行维度均为N的音强、响度、基频和浊音度的声学特征提取，得到4N维声学特征；步骤7：将所述4N维声学特征进行声学二次变换，得到8N维声学特征；步骤8：将所述8N维声学特征中的每一维声学特征分别提取M种统计量，得到8N×M维声学特征；步骤9：假设每句对话语音共有X帧，则得到的8N×M×X维声学特征即为每句对话语音的声学特征，然后将每一段语音内容的每句对话语音的声学特征组合成一个矩阵，得到所述样本语料和待识别语料中每一段语音内容的声学特征；步骤10：将所述文本深层特征和声学特征进行线性拼接和归一化处理，获得每段对话语音的融合特征；步骤11：将所述样本语料中的每一段对话语音内容的融合特征，与相对应的情感极性分别作为线性回归模型、逻辑回归模型和支持向量机模型的输入，并对所述线性回归模型、逻辑回归模型和支持向量机模型进行训练，得到三种情感分析模型；步骤12：将所述待识别语料中的融合特征分别输入三种情感分析模型中，得到三种识别结果，通过大多数分类投票法从三种识别结果中最终决策出所述待识别语料的情感极性；所述情感极性包括：正向、中性和负向。本专利技术所述的基于机器学习的双模态人人对话情感分析方法的特点也在于：所述步骤3是按如下步骤进行：步骤3.1：将所述样本语料和待识别语料中的每一段语音内容的文本内容利用分词工具进行分词处理；步骤3.2：将所述样本语料中经分词处理后得到的所有词语利用词向量工具进行训练，得到文本内容中每个词语的词向量；步骤3.3：利用查找工具查找所述带识别语料中的词语是否在所述样本语料中出现，如果出现，则将相应词语的词向量使用所述样本语料中对应词语的词向量，如果没有出现，则将相应词语的词向量进行每一维浮点数随机处理；步骤3.4：根据所述样本语料中每一段语音内容的文本内容所具有的情感极性，将所述文本内容分为正向文本、中性文本和负向文本；步骤3.5：对分类后的文本内容中的所有词向量分别进行聚类，得到聚类结果，包括：正向文本中的所有词向量被聚类为M类，用P＝{P1,P2,…,Pm,…,PM本文档来自技高网...

【技术保护点】
一种基于机器学习的双模态人人对话情感分析系统，其特征包括：语音识别模块、文本深层特征提取模块、语音切分模块、声学特征提取模块、特征融合模块、情感分析模块；所述语音识别模块获取人人对话的语音内容，并对所述语音内容进行识别，得到文本内容和每句对话起始端点的时间标签；所述语音识别模块将所述文本内容传递给所述文本深层特征提取模块，将所述时间标签传递给所述语音切分模块；所述文本深层特征提取模块读取所述文本内容，并对文本内容进行特征提取，得到深层词级特征和深层句级特征作为文本深层特征，并传递给所述特征融合模块；所述语音切分模块读取所述语音内容，并根据所述时间标签从所述语音内容中将每句对话语音切分出来并分别传递给所述声学特征提取模块；所述声学特征提取模块根据所接收到的每句对话语音，分别提取相应的音强、响度、基频和浊音度所构成的声学特征，并将得到的声学特征传递给特征融合模块；所述特征融合模块将所述文本深层特征和声学特征进行融合，得到融合特征并传递给情感分析模块；所述情感分析模块将所述融合特征利用情感分析模型进行情感分析识别，得到所述语音内容的情感极性，所述情感极性包括：正向、中性和负向。

【技术特征摘要】
1.一种基于机器学习的双模态人人对话情感分析系统，其特征包括：语音识别模块、文本深层特征提取模块、语音切分模块、声学特征提取模块、特征融合模块、情感分析模块；所述语音识别模块获取人人对话的语音内容，并对所述语音内容进行识别，得到文本内容和每句对话起始端点的时间标签；所述语音识别模块将所述文本内容传递给所述文本深层特征提取模块，将所述时间标签传递给所述语音切分模块；所述文本深层特征提取模块读取所述文本内容，并对文本内容进行特征提取，得到深层词级特征和深层句级特征作为文本深层特征，并传递给所述特征融合模块；所述语音切分模块读取所述语音内容，并根据所述时间标签从所述语音内容中将每句对话语音切分出来并分别传递给所述声学特征提取模块；所述声学特征提取模块根据所接收到的每句对话语音，分别提取相应的音强、响度、基频和浊音度所构成的声学特征，并将得到的声学特征传递给特征融合模块；所述特征融合模块将所述文本深层特征和声学特征进行融合，得到融合特征并传递给情感分析模块；所述情感分析模块将所述融合特征利用情感分析模型进行情感分析识别，得到所述语音内容的情感极性，所述情感极性包括：正向、中性和负向。2.一种基于机器学习的双模态人人对话情感分析方法，其特征是按如下步骤进行：步骤1：利用录音装置获取若干段的人人对话的语音内容作为样本语料，再获取一段待识别的人人对话的语音内容作为待识别语料；步骤2：利用语音识别工具识别出所述样本语料和待识别语料中每一段语音内容的文本内容以及每一段语音内容中每句对话起始端点的时间标签；步骤3：利用词中心点向量计算法得到所述样本语料和带识别语料中每一段语音内容的文本内容的深层词级特征；步骤4：将所述样本语料和待识别语料中每一段语音内容的文本内容利用句向量工具训练，得到每一段语音内容的文本内容中每句对话的句向量，将每一段语音内容的文本内容中的所有对话的句向量组成一个矩阵，得到所述样本语料和待识别语料中每一段语音内容的文本内容的深层句级特征；将所述深层词级特征和深层句级特征作为文本深层特征；步骤5：根据所述时间标签将所述样本语料和待识别语料中的每句对话语音切分出来；...

【专利技术属性】
技术研发人员：孙晓，彭晓琪，吕曼，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34