一种多模态的非接触情感分析记录系统技术方案

本发明专利技术公开了一种基于多模态的非接触情感分析记录系统，其特征是组成包括：用于完成从外界环境接收声音的声音接收模块、用于获取语音的音频情感标注信息的声音特征提取与处理模块、用于完成语音内容到文本内容的转换的语音识别模块、用于获取语音的文本情感标注信息的文本特征提取与处理模块、用于完成所有数据处理，存储，调度任务的综合调度模块、用于完成检测到的语音情感状态的显示的显示模块和用于完成时间记录和提供时间标签的功能的时钟模块。本发明专利技术能综合文本和音频两个模态对语音情感进行识别，从而提高识别的准确性。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种基于多模态的非接触情感分析记录系统，其特征是组成包括：用于完成从外界环境接收声音的声音接收模块、用于获取语音的音频情感标注信息的声音特征提取与处理模块、用于完成语音内容到文本内容的转换的语音识别模块、用于获取语音的文本情感标注信息的文本特征提取与处理模块、用于完成所有数据处理，存储，调度任务的综合调度模块、用于完成检测到的语音情感状态的显示的显示模块和用于完成时间记录和提供时间标签的功能的时钟模块。本专利技术能综合文本和音频两个模态对语音情感进行识别，从而提高识别的准确性。【专利说明】一种多模态的非接触情感分析记录系统
本专利技术涉及人机情感交互领域，具体地说是一种多模态的非接触情感分析记录系 统。
技术介绍
语言是人与人之间交流最重要的工具，人类的话语中包括了文本符号信息，还饱 含了人们的情感，从语音中进行情感信息特征的人工处理，在人工智能领域具有重要意义。 人类通过语言来交流，人类的情感是通过多通道多模态表达的，例如通过语言内容、音频、 表情和肢体动作等表达情感，语音情感识别就是从语音信号中识别出说话人的情感信息。 目前的研究主要从语音韵律中提取情感特征信息，语音情感识别系统主要依靠语 音的低层次声学特征来进行识别，具有代表性的特征是基音频率、共振峰、短时平均过零率 和发音持续时间等，这种方法用往往容易导致特征维数较高，模式识别研究表明，准确率不 与特征空间的维数成正比，且在高维情况下泛化能力反而会减弱，甚至导致维数灾难。 也有从语言学的角度考虑语音信号中的情感分析，考虑语音文本的语义成分，利 用语句的语义和语法提供说话人的情感线索，其中基于的参数主要是情感用语、冗长程度、 目的频率、对话历史、词的频率等内容；此方法的不足之处为需要大量的知识，这首先给语 音识别就带来了难度，进行语义分析，又需要相关语言知识，这又给情感分析增加了难度， 方法复杂，在现阶段难以实现。 在语音情感信息处理领域几乎利用了所有的模式识别手段，例如人工神经网络 (ANN)，隐马尔可夫模型（HMM)，混合高斯模型（GMM)，支持向量机（SVM)等，但是如果将所有 的这些成果放在一起比较，可以发现特征提取的手段极其局限，几乎所有研究都是采用韵 律特征或者这些韵律特征的线性组合和变换作为研究对象，大多只是在音频这个模态进行 特征提取与分析，使语音情感特征总是局限在一个较小的范畴，不够全面。
技术实现思路
本专利技术克服了现有技术的不足之处，提供一种基多模态的非接触情感分析记录系 统，能综合文本和音频两个模态对语音情感进行识别，从而提高识别的准确性。 本专利技术为解决技术问题采用如下技术方案： 本专利技术一种基于多模态的非接触情感分析记录系统的特点是组成包括：声音接收 模块、声音特征提取与处理模块、语音识别模块、文本特征提取与处理模块、综合调度模块、 显示模块和时钟模块； 所述声音接收模块获取外界环境声音并传递给所述语音识别模块以及声音特征 提取与处理模块；所述语音识别模块对所接收的外界环境声音利用ASR方法进行候选词识 另IJ，获得外界环境声音中的情感关键词和程度副词，根据所述时钟模块对所述外界环境声 首中的情感关键词和程度副词给予相应的时间标签，获得包含有关键词时间标签的情感关 键词和包含有副词时间标签的程度副词一并传递给所述文本特征提取与处理模块； 所述文本特征提取与处理模块在所设定的周期T内根据所接收的包含有关键词 时间标签的情感关键词和包含有副词时间标签的程度副词分别获得动态情感向量Ε'和动 态程度副词向量Q' ；并在所设定的周期Τ内统计单位时间内识别到的情感关键词的数量， 从而获得文本情感关键词语速；所述文本特征提取与处理模块根据所设定的文本情感关键 词语速阈值S对所述文本情感关键词语速进行比较，并利用特征参数表获得文本情感关键 词语速特征修正系数L ;由所述动态情感向量Ε'、动态程度副词向量Q'和文本情感关键词 语速特征修正系数L构成文本情感标注信息并传递给所述综合调度模块； 所述声音特征提取与处理模块根据所述外界环境声音进行音量信息统计，获得音 量序列，对所述音量序列中音量高于所设定音量阈值V的声音判定为音频，并根据时钟模 块给予所述音频相应的音频时间标签，根据所述音频时间标签对在所设定的周期Τ内的音 频进行FFT变换，从而提取幅值信息；所述声音特征提取与处理模块根据所设定情感音量 阈值Η和情感幅值阈值β分别对在所设定的周期内音频的音量序列和幅值信息进行判定， 对超出所述情感音量阈值Η和/或情感幅值阈值β的音频进行标注获得音频情感标注信 息并传递给综合调度模块； 所述综合调度模块对所接收的文本情感标注信息和音频情感标注信息进行智能 决策获得语音情感权值W并传递给显示模块进行显示。 本专利技术多模态的非接触情感分析记录系统的特点也在于： 所述语音识别模块中利用ASR方法进行候选词识别是按如下步骤进行： 步骤1、在所述语音识别模块中设置由Ν个待识别的候选词构成的候选词列表，所 述候选词列表包括程度副词和X种情感关键词；设定每一种情感关键词的个数都为Μ个，则 有（Ν-ΧΧΜ)个程度副词；设定所述情感关键词分为正向情感关键词与负向情感关键词，所 述正向情感关键词个数与负向情感关键词的个数相同； 步骤2、所述语音识别模块对所述外界环境声音通过频谱转换为文本特征，对所述 文本特征匹配所述候选词列表，从而获得外界环境声音中匹配成功的情感关键词和程度副 。 在所述综合调度模块中设置情感关键词权值表、程度副词表和特征参数表； 所述情感关键词权值表的表项为（A，a)，Α为情感关键词，a为情感关键词权值；所 述表项的总个数为XXM ;所述情感关键词权值分为正向情感关键词权值和负向情感关键 词权值；所述情感关键词权值之和为零；定义所述正向情感关键词用正向情感关键词权值 来表征；所述负向情感关键词用负向情感关键词权值来表征； 所述程度副词表的表项为（B，b)，B为程度副词，b为程度副词的修正系数；所述表 项的总个数为（N-XXM); 所述特征参数表的表项为（G，X，y)，G为所述情感音量阈值Η和情感幅值阈值β 和文本情感关键词语速阈值S的集合，X为特征修正系数集合，y为特征影响权值集合。 所述文本情感标注信息按如下步骤获得： 步骤1、初始化一个XXM维的情感向量E(E1，E2，E3，…，E XXM)和一个N-XXM维的 程度副词向量WQuQdQm···， Qn-xxm) ? 步骤2、根据所述情感关键词权值表对包含有关键词时间标签的情感关键词进行 匹配；对匹配成功的情感关键词获取相应的情感关键词权值并存入所述情感向量E中，从 而获得动态情感向量E'（E/，E2'，E3'，…，EXXM'）； 步骤3、根据所述程度副词表对包含有副词时间标签的程度副词进行匹配，对匹配 成功的程度副词获取相应的程度副词的修正系数并存入所述程度副词向量Q中，从而获得 动态程度副词向量Q'（Q/，Q 2'，Q3'，…，Qjhxm'）； 步骤4、若所述文本情感关键词语速超出所述文本情感关键词语速阈值S，则取出 所述特征参数表中文本情感本文档来自技高网...

【技术保护点】
一种基于多模态的非接触情感分析记录系统，其特征是组成包括：声音接收模块、声音特征提取与处理模块、语音识别模块、文本特征提取与处理模块、综合调度模块、显示模块和时钟模块；所述声音接收模块获取外界环境声音并传递给所述语音识别模块以及声音特征提取与处理模块；所述语音识别模块对所接收的外界环境声音利用ASR方法进行候选词识别，获得外界环境声音中的情感关键词和程度副词，根据所述时钟模块对所述外界环境声音中的情感关键词和程度副词给予相应的时间标签，获得包含有关键词时间标签的情感关键词和包含有副词时间标签的程度副词一并传递给所述文本特征提取与处理模块；所述文本特征提取与处理模块在所设定的周期T内根据所接收的包含有关键词时间标签的情感关键词和包含有副词时间标签的程度副词分别获得动态情感向量E'和动态程度副词向量Q'；并在所设定的周期T内统计单位时间内识别到的情感关键词的数量，从而获得文本情感关键词语速；所述文本特征提取与处理模块根据所设定的文本情感关键词语速阈值S对所述文本情感关键词语速进行比较，并利用特征参数表获得文本情感关键词语速特征修正系数L；由所述动态情感向量E'、动态程度副词向量Q'和文本情感关键词语速特征修正系数L构成文本情感标注信息并传递给所述综合调度模块；所述声音特征提取与处理模块根据所述外界环境声音进行音量信息统计，获得音量序列，对所述音量序列中音量高于所设定音量阈值V的声音判定为音频，并根据时钟模块给予所述音频相应的音频时间标签，根据所述音频时间标签对在所设定的周期T内的音频进行FFT变换，从而提取幅值信息；所述声音特征提取与处理模块根据所设定情感音量阈值H和情感幅值阈值β分别对在所设定的周期内音频的音量序列和幅值信息进行判定，对超出所述情感音量阈值H和/或情感幅值阈值β的音频进行标注获得音频情感标注信息并传递给综合调度模块；所述综合调度模块对所接收的文本情感标注信息和音频情感标注信息进行智能决策获得语音情感权值W并传递给显示模块进行显示。...

【技术特征摘要】

【专利技术属性】
技术研发人员：孙晓，孙重远，高飞，叶嘉麒，任福继，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34