语音情绪波动分析方法及装置制造方法及图纸

本发明专利技术实施例提供一种语音情绪波动分析方法，包括：获取待测语音数据的第一音频特征和第一文字特征；基于预先训练好的音频识别模型中的音频特征提取网络，提取第一音频特征中的第二音频特征；基于预先训练好的文字识别模型中的文字特征提取网络，提取第一文字特征中的第二文字特征；识别第二音频特征，获取音频情绪识别结果；识别第二文字特征，获取文字情绪识别结果；对音频情绪识别结果和文字情绪识别结果进行融合处理，得到情绪识别结果，并将所述情绪识别结果发送至关联终端。本发明专利技术通过双通道语音情绪识别方法及绘制情绪值热图，给客服质检提供具象化的参考和帮助，使评价结果更加客观，最终帮助企业提高客服服务质量，改善客户体验。

Analysis method and device of voice emotion fluctuation

【技术实现步骤摘要】
语音情绪波动分析方法及装置
本专利技术涉及互联网
，尤其涉及一种语音情绪波动分析方法及装置。
技术介绍
随着人工智能技术的发展，情绪波动分析被运用在越来越多的商业场景中，例如客服人员与客户进行交谈时，双方的情绪波动情况。现有技术中，针对音频的情绪波动分析一般是通过声音的音频信号，例如语调、声波的频率和幅度变化进行分析，分析方式较为单一，并且不同人的音频信号也不相同，只用声音的音频信号对情绪进行分析准确性较低。
技术实现思路
有鉴于此，本专利技术实施例提供了一种语音情绪波动分析方法、装置、计算机设备及计算机可读存储介质，用于情绪波动进行分析准确性较低的问题。本专利技术实施例是通过下述技术方案来解决上述技术问题：一种语音情绪波动分析方法，包括：获取待测语音数据的第一音频特征和第一文字特征；基于预先训练好的音频识别模型中的音频特征提取网络，提取所述第一音频特征中的第二音频特征；基于预先训练好的文字识别模型中的文字特征提取网络，提取所述第一文字特征中的第二文字特征；识别所述第二音频特征，获取音频情绪识别结果；识别所述第二文字特征，获取文字情绪识别结果；对所述音频情绪识别结果和文字情绪识别结果进行融合处理，得到情绪识别结果，并将所述情绪识别结果发送至关联终端。进一步地，所述获取待测语音数据的第一音频特征和第一文字特征包括：对所述待测语音数据进行分帧加窗处理，获得语音分析帧；对所述语音分析帧进行傅里叶变换得到对应的频谱；将所述频谱经过梅尔滤波器组得到梅尔频谱；将所述梅尔频谱进行倒谱分析，获得所述待测语音数据的第一音频特征。进一步地，所述识别所述第二音频特征，获取音频情绪识别结果；识别所述第二文字特征，获取文字情绪识别结果包括：基于预先训练好的音频识别模型中的音频分类网络，识别所述第二音频特征，获取多个音频情绪分类向量对应的第一置信度；选取第一置信度最高的音频情绪分类为目标音频情绪分类，对应的第一置信度为目标音频情绪分类参数；对所述目标音频情绪分类向量参数进行数值映射，得到音频情绪识别结果。进一步地，所述获取待测语音数据的第一音频特征和第一文字特征还包括：将所述待测语音数据转换为文字；对所述文字进行分词处理，得到L个分词，其中L为大于0的自然数；对所述L个分词分别进行词向量映射，以获取L个分词对应的d维词向量矩阵，其中d为大于0的自然数，所述d维词向量矩阵为待测语音数据的第一文字特征。进一步地，所述识别所述第二音频特征，获取音频情绪识别结果；识别所述第二文字特征，获取文字情绪识别结果包括：基于预先训练好的文字识别模型中的文字分类网络，识别所述第二文字特征，获取多个文字情绪分类向量对应的第二置信度；选取第二置信度最高的音频情绪分类为目标文字情绪分类，对应的第二置信度为目标文字情绪分类参数；对所述目标文字情绪分类向量参数进行数值映射，得到文字情绪识别结果。进一步地，所述方法还包括：获取离线或者在线的待测语音数据；对所述语音数据进行分离处理得到待测语音数据，所述待测语音数据包括多段第一用户语音数据和第二用户语音数据。进一步地，所述对所述音频情绪识别结果和文字情绪识别结果进行融合处理，得到情绪识别结果，并将所述情绪识别结果发送至关联终端包括：对每段第一用户的语音数据的音频情绪识别结果和文字情绪识别结果进行加权处理，得到第一情绪值，对每段第二用户的语音数据的音频情绪识别结果和文字情绪识别结果进行加权处理，得到第二情绪值；根据所述第一情绪值生成第一情绪值热图及根据所述第二情绪值生成第二情绪值热图；将所述第一情绪值热图和第二情绪值热图发送至关联终端。为了实现上述目的，本专利技术实施例还提供一种语音情绪波动分析装置，包括：第一语音特征获取模块，用于获取待测语音数据的第一音频特征和第一文字特征；第二语音特征提取模块，用于基于预先训练好的音频识别模型中的音频特征提取网络，提取所述第一音频特征中的第二音频特征；基于预先训练好的文字识别模型中的文字特征提取网络，提取所述第一文字特征中的第二文字特征；语音特征识别模块，用于识别所述第二音频特征，获取音频情绪识别结果；识别所述第二文字特征，获取文字情绪识别结果；识别结果获取模块，用于对所述音频情绪识别结果和文字情绪识别结果进行融合处理，得到情绪识别结果，并将所述情绪识别结果发送至关联终端。为了实现上述目的，本专利技术实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述语音情绪波动分析方法的步骤。为了实现上述目的，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的语音情绪波动分析方法的步骤。本专利技术实施例提供的语音情绪波动分析方法、装置、计算机设备及计算机可读存储介质，采用双通道分析语音情绪，除通过音频声学韵律来分析语音情绪外，还通过说话内容来进一步判断说话人的情绪，从而提高情绪分析的准确率。以下结合附图和具体实施例对本专利技术进行详细描述，但不作为对本专利技术的限定。附图说明图1为本专利技术实施例一之语音情绪波动分析方法的步骤流程图；图2为获取待测语音数据的具体流程图；图3为提取所述待测语音数据中的第一音频特征的具体流程图；图4为提取所述待测语音数据中的第一文字特征的具体流程图；图5为识别所述第二音频特征，获取音频情绪识别结果的具体流程图；图6为识别所述第二文字特征，获取文字情绪识别结果的具体流程图；图7为对所述音频情绪识别结果和文字情绪识别结果进行融合处理，得到情绪识别结果，并将所述情绪识别结果发送至关联终端的具体流程图；图8为本专利技术语音情绪波动分析装置之实施例二的程序模块示意图；图9为本专利技术计算机设备之实施例三的硬件结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。实施例一请参阅图1，示出了本专利技术实施例之语音情绪波动分析方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备为执行主体进行示例性描述，具体如下本文档来自技高网...

【技术保护点】
1.一种语音情绪波动分析方法，其特征在于，包括：/n获取待测语音数据的第一音频特征和第一文字特征；/n基于预先训练好的音频识别模型中的音频特征提取网络，提取所述第一音频特征中的第二音频特征；基于预先训练好的文字识别模型中的文字特征提取网络，提取所述第一文字特征中的第二文字特征；/n识别所述第二音频特征，获取音频情绪识别结果；识别所述第二文字特征，获取文字情绪识别结果；/n对所述音频情绪识别结果和文字情绪识别结果进行融合处理，得到情绪识别结果，并将所述情绪识别结果发送至关联终端。/n

【技术特征摘要】
1.一种语音情绪波动分析方法，其特征在于，包括：
获取待测语音数据的第一音频特征和第一文字特征；
基于预先训练好的音频识别模型中的音频特征提取网络，提取所述第一音频特征中的第二音频特征；基于预先训练好的文字识别模型中的文字特征提取网络，提取所述第一文字特征中的第二文字特征；
识别所述第二音频特征，获取音频情绪识别结果；识别所述第二文字特征，获取文字情绪识别结果；
对所述音频情绪识别结果和文字情绪识别结果进行融合处理，得到情绪识别结果，并将所述情绪识别结果发送至关联终端。


2.根据权利要求1所述的语音情绪波动分析方法，其特征在于，所述获取待测语音数据的第一音频特征和第一文字特征包括：
对所述待测语音数据进行分帧加窗处理，获得语音分析帧；
对所述语音分析帧进行傅里叶变换得到对应的频谱；
将所述频谱经过梅尔滤波器组得到梅尔频谱；
将所述梅尔频谱进行倒谱分析，获得所述待测语音数据的第一音频特征。


3.根据权利要求2所述的语音情绪波动分析方法，其特征在于，所述识别所述第二音频特征，获取音频情绪识别结果；识别所述第二文字特征，获取文字情绪识别结果包括：
基于预先训练好的音频识别模型中的音频分类网络，识别所述第二音频特征，获取多个音频情绪分类向量对应的第一置信度；
选取第一置信度最高的音频情绪分类为目标音频情绪分类，对应的第一置信度为目标音频情绪分类参数；
对所述目标音频情绪分类向量参数进行数值映射，得到音频情绪识别结果。


4.根据权利要求1所述的语音情绪波动分析方法，其特征在于，所述获取待测语音数据的第一音频特征和第一文字特征还包括：
将所述待测语音数据转换为文字；
对所述文字进行分词处理，得到L个分词，其中L为大于0的自然数；
对所述L个分词分别进行词向量映射，以获取L个分词对应的d维词向量矩阵，其中d为大于0的自然数，所述d维词向量矩阵为待测语音数据的第一文字特征。


5.根据权利要求4所述的语音情绪波动分析方法，其特征在于，所述识别所述第二音频特征，获取音频情绪识别结果；识别所述第二文字特征，获取文字情绪识别结果包括：
基于预先训练好的文字识别模型中的文字分类网络，识别所述第二文字特征，获取多个文字情绪分类向量对应的第二置信度；

【专利技术属性】
技术研发人员：朱锦祥，单以磊，臧磊，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东;44