一种患者语音愤怒情绪识别方法和系统技术方案

本发明专利技术涉及人工智能技术领域，特别涉及一种患者语音愤怒情绪识别方法和系统。方法的步骤包括：S1、采集语音录音样本；S2、提取语音录音样本中的文本信息，并将文本信息输入预先建立的语义情绪愤怒度检测模型，输出语义愤怒概率评估参数；根据语音录音样本中的语音频谱信息，获取相应的语气愤怒概率评估参数；S3、将语义愤怒概率评估参数和语气愤怒概率评估参数通过数学判别模型进行叠加，得出语音的愤怒程度的综合评分。本发明专利技术的有益效果在于，通过本发明专利技术的方法，可以及时准确的判断出医院场景下患方的情绪，医院方可以根据输出的结果，进行及时有效的处理，避免冲突的发生。

【技术实现步骤摘要】
一种患者语音愤怒情绪识别方法和系统
本专利技术涉及人工智能的
，特别涉及一种患者语音愤怒情绪识别方法和系统。
技术介绍
在医院，由于患者身体不适，情绪易于激动，在与医生和护士的沟通中，患者易与医护人员发生语言或者肢体的冲突。如何预防医患冲突的发生一直是医疗系统的重要课题。经过长期的经验积累和数据采集，科研人员发现，医患冲突产生前患者的语音中，语义信息中的词汇具有一定的情感倾向，例如“讨厌、无语、傻”，通过对语义的判断，可以识别患者的情绪，从而提前做出预警，及时避免冲突的发生。然而，实际应用中发现，大多数情况下，患者说话都有口音或者方言，并不是标准的普通话，因此并不能通过语音准确识别语义，因此无法准确识别患者的情绪。另外，语音中的语气是表达情绪倾向的关键，在生气的状态下，有可能语音中的语义并没有情感倾向但是语气(音量和语调等)更直接表达情绪。如何充分利用语气来识别患者的情绪成为了研究的课题。
技术实现思路
本专利技术的目的在于，克服语义识别患者情绪准确性不高的情况，加入了基于语气识别患者情绪的方法，将语义识别和语气识别相结合，提出了一种患者语音愤怒情绪识别方法和系统。为了实现上述专利技术目的，本专利技术提供了以下技术方案：一种患者语音愤怒情绪识别方法，包括以下步骤：S1、采集患者语音录音样本；S2、提取语音录音样本中的文本信息，并将文本信息输入预先建立的语义情绪愤怒度检测模型，输出语义愤怒概率评估参数；根据语音录音样本中的语音频谱信息，获取相应的语气愤怒概率评估参数；语气愤怒概率评估参数是根据梅尔频率倒谱系数获得；S3、将语义愤怒概率评估参数和语气愤怒概率评估参数通过数学判别模型进行叠加，得出语音愤怒程度综合评分，数学判别模型包括高斯混合模型、贝叶斯网络或线性判别模型。作为本专利技术的优选方案，步骤S2中，获取相应的语气愤怒概率评估参数包括以下步骤：S21，提取语音录音样本的语音音量曲线的包络信号；S22，基于过零率检测算法将包络信号分为多个音素，并消除音素中的静音，得到预处理音素；S23，计算预处理音素的梅尔频率倒谱系数；并根据梅尔频率倒谱系数生成语气愤怒概率评估参数。作为本专利技术的优选方案，步骤S23具体包括以下步骤：S231，将预处理音素进行时频变换，得到预处理音素的FFT频谱；S232，对预处理音素的FFT频谱进行加窗处理；S233，将加窗后的FFT频谱进行快速傅里叶变换后，按时间先后顺序排列，得到时间-频率-能量分布图；S234，将时间-频率-能量分布图中的频谱转换为梅尔频谱,将梅尔频谱进行倒谱分析，获取梅尔频率倒谱系数；并根据梅尔频率倒谱系数提取特征值，组合为语气愤怒概率评估参数。作为本专利技术的优选方案，步骤S234具体包括以下步骤：A1，将时间-频率-能量分布图中的频谱转换为梅尔频谱；A2，对梅尔频率进行取对数计算，得到梅尔频率的对数参数；A3，将对数参数做逆变换，并取逆变换后的系数为梅尔频率倒谱系数；A4，从梅尔频率倒谱系数中提取40个特征值；从色度矢量中提取128个特征值；从光谱对比特征值中提取19个特征值，从色调质心特征中提取了6个特征值；A5、将步骤A4中提取的特征拼接为193维度的向量，作为语气愤怒概率评估参数。作为本专利技术的优选方案，步骤S234中将时间-频率-能量分布图中的频谱转换为梅尔频谱的计算公式为：其中，f是时间-频率-能量分布图中的频率，mel(f)是时间-频率-能量分布图中的频率相应的梅尔频率。作为本专利技术的优选方案，步骤S2中获取语义愤怒概率评估参数具体包括以下步骤：K21，提取语音录音样本中的文本信息；K22，利用汉语分词工具将文本信息进行分词，得到文本信息的多个词组；K23，将文本信息的多个词组输入BERT模型或者ERNIE2模型，得到对话句子向量；K24，对对话句子向量进行词嵌入向量化，得到单词向量；K25，将单词向量输入到语义情绪愤怒度检测模型，输出语义愤怒概率评估参数，语义情绪愤怒度检测模型是利用深度神经网络对单词向量和预先设置的语气极性判别初始化值进行训练得到的。作为本专利技术的优选方案，步骤K25中，语义情绪愤怒度检测模型的训练过程包括：将单词向量输入深度神经网络，在深度神经网络最后一层神经元输出的参数中标记情绪标记，当情绪标记与预先设置的语气极性判别初始化值不一样时，利用反向传播算法对深度神经网络的权重矩阵进行修订，情绪标记包括极愤怒、愤怒、中性、高兴、很高兴。作为本专利技术的优选方案，步骤S3中的数学判别模型采用高斯混合模型，步骤S3具体包括以下步骤：S31，将语义愤怒概率评估参数代入高斯分布概率密度函数，得到语义评估参数的高斯分布；S32，将语气愤怒概率评估参数代入高斯分布概率密度函数，得到语气评估参数的高斯分布；S33，根据先验概率设置语义评估参数的高斯分布的权重值以及语气评估参数的高斯分布的权重值；S34，根据语义评估参数的高斯分布、语义评估参数的高斯分布的权重值、语气评估参数的高斯分布和语气评估参数的高斯分布的权重值，计算语音的愤怒程度的综合评分。作为本专利技术的优选方案，计算语音的愤怒程度的综合评分的计算公式为：其中，K为高斯分布的个数，i为高斯分布的编号，μi是服从正态分布的随机变量的均值，是随机变量的方差，φi是语义评估参数或语音评估参数根据发生的先验概率给出的权重值，且基于相同的构思，还提出了一种患者语音愤怒情绪识别系统，包括语音获取设备，处理器和显示设备，语音获取设备用于采集医院患者语音录音样本，并将语音录音样本输出到处理器；处理器接收语音录音样本，并且处理器中的执行指令可以执行权利要求1-9任一项的方法，输出语音愤怒程度综合评分；显示设备接收并显示语音愤怒程度综合评分。与现有技术相比，本专利技术的有益效果：1、本专利技术的方法分别通过语音语义和语音语气识别患者的情绪，并且将识别结果通过高斯混合模型进行叠加，得出语音的愤怒程度的综合评分。通过该得分，可以及时准确的获取医院场景下患方的情绪，进行及时有效的处理，避免冲突的发生。2、本专利技术方法中，采用语音语气识别患者的情绪时，对语音进行了梅尔频率转换，并对梅尔频率进行倒谱分析，该方法更有利于语音语气特征的提取，准确性较高。3、本专利技术中，在语气愤怒概率评估参数的获取过程中，不仅提取了40个梅尔频率倒谱系数特征值，还从色度矢量中提取128个特征值；从光谱对比特征值中提取19个特征值，色调质心特征中提取了6个特征值，将上述多种类型的特征值进行了组合，得到了组合后的语气愤怒概率评估参数，使得在评价语气时综合考虑了语气、语调、停顿和连续变化，方案更加细化，评估结果更接近于真实情况。附图说明图1为本专利技术实施例1中的一种患者语音愤怒情绪识别方法的流程图；...

【技术保护点】
1.一种患者语音愤怒情绪识别方法，其特征在于，包括以下步骤：/nS1、采集患者语音录音样本；/nS2、提取所述语音录音样本中的文本信息，并将所述文本信息输入预先建立的语义情绪愤怒度检测模型，输出语义愤怒概率评估参数；根据所述语音录音样本中的语音频谱信息，获取相应的语气愤怒概率评估参数；所述语气愤怒概率评估参数是根据梅尔频率倒谱系数获得；/nS3、将所述语义愤怒概率评估参数和所述语气愤怒概率评估参数通过数学判别模型进行叠加，得出语音愤怒程度综合评分，所述数学判别模型包括高斯混合模型、贝叶斯网络或线性判别模型。/n

【技术特征摘要】
1.一种患者语音愤怒情绪识别方法，其特征在于，包括以下步骤：
S1、采集患者语音录音样本；
S2、提取所述语音录音样本中的文本信息，并将所述文本信息输入预先建立的语义情绪愤怒度检测模型，输出语义愤怒概率评估参数；根据所述语音录音样本中的语音频谱信息，获取相应的语气愤怒概率评估参数；所述语气愤怒概率评估参数是根据梅尔频率倒谱系数获得；
S3、将所述语义愤怒概率评估参数和所述语气愤怒概率评估参数通过数学判别模型进行叠加，得出语音愤怒程度综合评分，所述数学判别模型包括高斯混合模型、贝叶斯网络或线性判别模型。


2.如权利要求1所述的一种患者语音愤怒情绪识别方法，其特征在于，步骤S2中，所述获取相应的语气愤怒概率评估参数包括以下步骤：
S21，提取所述语音录音样本的语音音量曲线的包络信号；
S22，基于过零率检测算法将所述包络信号分为多个音素，并消除所述音素中的静音，得到预处理音素；
S23，计算所述预处理音素的梅尔频率倒谱系数；并根据梅尔频率倒谱系数生成语气愤怒概率评估参数。


3.如权利要求2所述的一种患者语音愤怒情绪识别方法，其特征在于，所述步骤S23具体包括以下步骤：
S231，将所述预处理音素进行时频变换，得到所述预处理音素的FFT频谱；
S232，对所述预处理音素的FFT频谱进行加窗处理；
S233，将加窗后的FFT频谱进行快速傅里叶变换后，按时间先后顺序排列，得到时间-频率-能量分布图；
S234，将所述时间-频率-能量分布图中的频谱转换为梅尔频谱,将所述梅尔频谱进行倒谱分析，获取所述梅尔频率倒谱系数；并根据所述梅尔频率倒谱系数提取特征值，组合为语气愤怒概率评估参数。


4.如权利要求3所述的一种患者语音愤怒情绪识别方法，其特征在于，步骤S234具体包括以下步骤：
A1，将所述时间-频率-能量分布图中的频谱转换为梅尔频谱；
A2，对所述梅尔频率进行取对数计算，得到所述梅尔频率的对数参数；
A3，将所述对数参数做逆变换，并取逆变换后的系数为梅尔频率倒谱系数；
A4，从所述梅尔频率倒谱系数中提取40个特征值；从色度矢量中提取128个特征值；从光谱对比特征值中提取19个特征值，从色调质心特征中提取了6个特征值；
A5、将步骤A4中提取的特征拼接为193维度的向量，作为语气愤怒概率评估参数。


5.如权利要求4所述的一种患者语音愤怒情绪识别方法，其特征在于，步骤S234中将所述时间-频率-能量分布图中的频谱转换为梅尔频谱的计算公式为：



其中，f是所述时间-频率-能量分布图中的频率，mel(f)是所述时间-频率-能量分布图中的频率相应的梅尔频率。

【专利技术属性】
技术研发人员：苟莉，彭谨，张玉侠，冯丽，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31