面向交互的语音语料处理方法及装置制造方法及图纸

本发明专利技术实施例提供了一种面向交互的语音语料处理方法及装置，该方法中先将语音片段转换为时频图，再利用两个卷积层学习该时频图的特征得到特征图矩阵，接着利用最大池化层对该特征图矩阵进行压缩，将压缩之后的矩阵转换为向量，利用两个LSTM层对该向量进行生成学习，将学习之后的特征向量作为SVM的输入语料，从而能够增加有效语料的数量，有利于语音情感识别模型的训练，提高语音情感识别模型的识别能力。

Interactive voice processing method and device for speech

【技术实现步骤摘要】
面向交互的语音语料处理方法及装置
本专利技术涉及软件
，具体涉及一种面向交互的语音语料处理方法及装置。
技术介绍
语音情感识别和文本及图像的识别有相同的特点，在学习方法中分有监督学习、半监督学习和无监督学习三种。现阶段大部分语音情感识别方法：首先用传统的方法提取包括语速、韵律强度、梅尔频率倒谱系数等特征；然后用分类器进行分类，包括支持向量机、高斯模型和隐马尔可夫模型等分类方法。类似的情感识别方法已经取得了许多成果，但仍有一些不足之处。在目前的语音情感识别中，具体是哪些特征对于情感倾向的分类影响较大还尚不明确，对于复杂的语音语调识别方面也仍然尚有许多不明之处，适合语料的缺少也是模型训练的一大难题。近年来，利用网络模型来学习语音情感倾向成为了热点研究问题。现有的基于网络模型的语音情感识别方法主要包括CNN、LSTM等，更有将传统的CNN和LSTM相结合的方法，在语音情感识别上取得了很好的效果。然而，在实施本专利技术实施例的过程中专利技术人发现，对于现有的语音情感识别模型，由于用于进行训练的语料数量有限、适当语料的收集难度较大，导致语音情感识别模型的识别能力有限。
技术实现思路
本专利技本文档来自技高网...

【技术保护点】
一种面向交互的语音语料处理方法，其特征在于，包括：对语音片段进行短时傅立叶变换，依据预设的窗口函数在所述的频谱上移动，得到所述语音片段的时频图；利用两个卷积层学习所述时频图的特征，得到所述时频图对应的特征图矩阵，所述特征图矩阵包含若干个经过两个卷积层学习之后获得的特征单元矩阵；利用最大池化层对所述特征图矩阵进行压缩得到压缩矩阵，所述压缩矩阵仅包含各个所述特征单元矩阵中的最大值；将所述压缩矩阵转换为对应长度的向量，利用两个长短期记忆网络LSTM层学习所述向量的深层特征得到特征向量，将所述特征向量作为支持向量机的输入语料。

【技术特征摘要】
1.一种面向交互的语音语料处理方法，其特征在于，包括：对语音片段进行短时傅立叶变换，依据预设的窗口函数在所述的频谱上移动，得到所述语音片段的时频图；利用两个卷积层学习所述时频图的特征，得到所述时频图对应的特征图矩阵，所述特征图矩阵包含若干个经过两个卷积层学习之后获得的特征单元矩阵；利用最大池化层对所述特征图矩阵进行压缩得到压缩矩阵，所述压缩矩阵仅包含各个所述特征单元矩阵中的最大值；将所述压缩矩阵转换为对应长度的向量，利用两个长短期记忆网络LSTM层学习所述向量的深层特征得到特征向量，将所述特征向量作为支持向量机的输入语料。2.根据权利要求1所述的方法，其特征在于，在所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述方法还包括：对所述语音片段的时频图进行翻转处理。3.根据权利要求1所述的方法，其特征在于，在所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述方法还包括：对于属于指定分类的语音片段，截取该语音片段的时频图中亮度高于预设阈值的片段，得到片段时频图；将所述片段时频图与属于同一分类的语音片段的时频图进行交叉拼接；对拼接后的时频图进行平移，得到若干个平移后的时频图。4.根据权利要求1所述的方法，其特征在于，在所述利用两个卷积层学习所述语音片段的时频图的特征步骤之前，所述方法还包括：将所述时频图转换为灰度图，通过加减值调节所述灰度图的灰度值；调节所述灰度图的饱和度、亮度以及色相形成伪彩色图像，所述伪彩色图像用于映射加噪后的时频图。5.一种面向交互的语音语料处理装置，其特征在于，包括：时频图获取单元，用于对语音片段进行短时傅立叶变换，依据预设的窗口函数在所述的频谱上移动，得到所述语音片段的时频图；特征学习单元，用于利用两个卷积层学习所述时频图的特征，...

【专利技术属性】
技术研发人员：孙晓，曹馨月，丁帅，杨善林，赵大平，屈炎伟，丁彬彬，
申请(专利权)人：合肥工业大学，卫宁健康科技集团股份有限公司，
类型：发明
国别省市：安徽,34