基于深度学习的语音关键信息分离方法技术

本发明专利技术公开的是基于深度学习的语音关键信息分离方法，包括以下步骤：CNN训练→语音信息标定→语音信息特征聚类→语音信息分离。本发明专利技术基于深度学习和聚类的人工智能方法，可以在尽可能减少人工干预的情况下，自动分离语音信号中关键语音信号。在此过程中，并不涉及语义分析，可避免传统语音分离处理流程中的累积误差，也可将本方法作为传统方法预处理手段，进一步提升语音分离效果。

【技术实现步骤摘要】
基于深度学习的语音关键信息分离方法
本专利技术涉及语音处理技术，具体的说是指基于深度学习的语音关键信息分离方法。
技术介绍
语音作为关键的多媒体数据，在信息表达、存储、人机交互中有着重要作用，语音信号中包含着丰富的信息，语音信息检索是目前的重要研究热点。目前的语音智能检索，常用手段为关键词检索、句子检索、文档检索。现有的检索手段大多依赖语音中的语义分析，检索方法步骤繁多，流程复杂，导致误差累积，准确率下降。
技术实现思路
本专利技术提供的是基于深度学习的语音关键信息分离方法，其主要目的在于克服现有语音检索方法步骤繁多、流程复杂，导致误差累积，准确率下降的问题。为了解决上述的技术问题，本专利技术采用如下的技术方案：基于深度学习的语音关键信息分离方法，包括以下步骤：S1、CNN训练：将语音信号样本集作为训练数据，以待测关键信息为标签，利用CNN卷积神经网络对语音信号样本集进行训练，以获取一个语音信息分类模型，训练后获取的语音信息分类模型可以区分出不同语音信号中是否包含需要关注的关键信息；S2、语音信息标定：基于训练好的语音信息分类模型，将待测语音信号经过语音信息分类模型，采用反向梯度激活平均算法及特征加权激活映射算法，在语音信号中自动标定所关注的信息；S3、语音信息特征聚类：将待测的同类语音信号均通过语音信息标定算法分别生成语音信息标定向量，从而形成语音信息标定向量集；然后对语音信息标定向量集采用密度聚类方法，计算出聚类质心向量，即该类别语音信息典型特征分布向量；最后利用统计分析方法，计算语音信息典型特征分布向量中相邻峰值跃迁幅度，找出峰值跃迁幅度最大的两个峰值，计算语音信息分离阈值；S4、语音信息分离：将目标语音信号序列与语音信息标定序列对齐，基于深度学习进行语音信号标定的过程中，生成语音信息标定序列时，采用插值填充的方法将语音信息标定序列拉伸至与原目标语音信号的相同长度，并将二者对齐；然后根据语音信息典型特征聚类计算得到的分离阈值，结合语音信息标定序列，设计滤波器，对目标语音信号逐点进行分离，将语音信号分离为包含所检索关键信息的关键语音信号和背景信号。所述CNN卷积神经网络包括多个卷积层、多个池化层及全连接层，每个卷积层对应一个池化层，每个卷积层包括依次信号连接的一维卷积核Conv1D、批标准化层BN及ReLU激活层，所述ReLU激活层与对应的池化层信号连接，所述多个卷积层和多个池化层按照卷积层→池化层的重复顺序排布，所述全连接层与最后一个池化层连接。所述反向梯度激活平均算法用于计算待测信号中语音信息特征分布，其计算公式为该计算公式中，定义的变量如下：(1)K—语音信息特征向量个数(通道数)；(2)Z—语音信息特征向量的长度；(3)C—语音信息的类别个数；(4)Ak—第k个语音信息特征向量；(5)—第k个语音信息特征向量中第i个特征的值；(6)yc—语音信息类别c的分类得分；(7)—第k个特征向量的权重；所述特征加权激活映射算法用于计算语音信息特征标定向量，其计算公式为：该计算公式中，定义的变量如下：—第s个语音信号关于分类c的语音信息标定向量；至此，得到的语音信息初始标定向量的长度为Z，即特征向量Ak的长度，由于经过CNN卷积神经网络的逐层抽取，初始分布向量的长度小于被测语音信号长度，为了能从被测语音信号中准确标定出信息所在区域，还需要将初始分布向量等比例拉伸至被测语音信号的尺寸，如下式：为最终的语音信息标定结果。由上述对本专利技术的描述可知，和现有技术相比，本专利技术具有如下优点：本专利技术基于深度学习和聚类的人工智能方法，可以在尽可能减少人工干预的情况下，自动分离语音信号中关键语音信号。在此过程中，并不涉及语义分析，可避免传统语音分离处理流程中的累积误差，也可将本方法作为传统方法预处理手段，进一步提升语音分离效果。附图说明图1为本专利技术的分离流程图。图2为本专利技术的语音信息分离效果图。图3为本专利技术的语音信息标定算法流程图。图4为本专利技术CNN卷积神经网络的系统框图。具体实施方式参照图1至图4，基于深度学习的语音关键信息分离方法，包括以下步骤：S1、CNN训练：将语音信号样本集作为训练数据，以待测关键信息为标签，利用CNN卷积神经网络对语音信号样本集进行训练，以获取一个语音信息分类模型，训练后获取的语音信息分类模型可以区分出不同语音信号中是否包含需要关注的关键信息，如判定一段语音中是否存在“身份证”相关信息。S2、语音信息标定：基于训练好的语音信息分类模型，将待测语音信号经过语音信息分类模型，采用反向梯度激活平均算法及特征加权激活映射算法，在语音信号中自动标定所关注的信息。S3、语音信息特征聚类：将待测的同类语音信号，如包含“身份证”信息的所有语音样本集，均通过语音信息标定算法分别生成语音信息标定向量，从而形成语音信息标定向量集；然后对语音信息标定向量集采用密度聚类方法，计算出聚类质心向量，即该类别语音信息典型特征分布向量；最后利用统计分析方法，计算语音信息典型特征分布向量中相邻峰值跃迁幅度，找出峰值跃迁幅度最大的两个峰值，计算语音信息分离阈值。S4、语音信息分离：将目标语音信号序列与语音信息标定序列对齐，基于深度学习进行语音信号标定的过程中，生成语音信息标定序列时，采用插值填充的方法将语音信息标定序列拉伸至与原目标语音信号的相同长度，并将二者对齐；然后根据语音信息典型特征聚类计算得到的分离阈值，结合语音信息标定序列，设计滤波器，对目标语音信号逐点进行分离，将语音信号分离为包含所检索关键信息的关键语音信号和背景信号。在步骤S1中，所述CNN卷积神经网络包括多个卷积层、多个池化层及全连接层，每个卷积层对应一个池化层，每个卷积层包括依次信号连接的一维卷积核Conv1D、批标准化层BN及ReLU激活层，所述ReLU激活层与对应的池化层信号连接，所述多个卷积层和多个池化层按照卷积层→池化层的重复顺序排布，所述全连接层与最后一个池化层连接。所述CNN卷积神经网络的卷积层使用专门设计的一维卷积核Conv1D，并加入了批标准化(BatchNormalization，BN)，改善ReLU激活的性能，进一步防止梯度消失，从而提升语音信息分类模型的训练效果。所述池化层使用最大池化(Maxpooling)。在步骤S2中，所述反向梯度激活平均算法用于计算待测信号中语音信息特征分布，其计算公式为该计算公式中，定义的变量如下：(1)K—语音信息特征向量个数(通道数)；本方法用到的语音信息特征向量，来自于待测语音信号。待测语音信号通过语音信息分类模型的逐层特征提取之后，由最后一个池化层输出。选取最后一个池化层的原因是，该层最接近全连接层，经过之前的CNN卷积神经网络逐层运算之后，该层输出的特征向量具有最好的语音信息特征。之后的全连接层(FC)不再继续提取特征，仅是加权计算语音信息的分类得分而已本文档来自技高网...

【技术保护点】
1.基于深度学习的语音关键信息分离方法，其特征在于：包括以下步骤：/nS1、CNN训练：将语音信号样本集作为训练数据，以待测关键信息为标签，利用CNN卷积神经网络对语音信号样本集进行训练，以获取一个语音信息分类模型，训练后获取的语音信息分类模型可以区分出不同语音信号中是否包含需要关注的关键信息；/nS2、语音信息标定：基于训练好的语音信息分类模型，将待测语音信号经过语音信息分类模型，采用反向梯度激活平均算法及特征加权激活映射算法，在语音信号中自动标定所关注的信息；/nS3、语音信息特征聚类：将待测的同类语音信号均通过语音信息标定算法分别生成语音信息标定向量，从而形成语音信息标定向量集；然后对语音信息标定向量集采用密度聚类方法，计算出聚类质心向量，即该类别语音信息典型特征分布向量；最后利用统计分析方法，计算语音信息典型特征分布向量中相邻峰值跃迁幅度，找出峰值跃迁幅度最大的两个峰值，计算语音信息分离阈值；/nS4、语音信息分离：将目标语音信号序列与语音信息标定序列对齐，基于深度学习进行语音信号标定的过程中，生成语音信息标定序列时，采用插值填充的方法将语音信息标定序列拉伸至与原目标语音信号的相同长度，并将二者对齐；然后根据语音信息典型特征聚类计算得到的分离阈值，结合语音信息标定序列，设计滤波器，对目标语音信号逐点进行分离，将语音信号分离为包含所检索关键信息的关键语音信号和背景信号。/n...

【技术特征摘要】
1.基于深度学习的语音关键信息分离方法，其特征在于：包括以下步骤：
S1、CNN训练：将语音信号样本集作为训练数据，以待测关键信息为标签，利用CNN卷积神经网络对语音信号样本集进行训练，以获取一个语音信息分类模型，训练后获取的语音信息分类模型可以区分出不同语音信号中是否包含需要关注的关键信息；
S2、语音信息标定：基于训练好的语音信息分类模型，将待测语音信号经过语音信息分类模型，采用反向梯度激活平均算法及特征加权激活映射算法，在语音信号中自动标定所关注的信息；
S3、语音信息特征聚类：将待测的同类语音信号均通过语音信息标定算法分别生成语音信息标定向量，从而形成语音信息标定向量集；然后对语音信息标定向量集采用密度聚类方法，计算出聚类质心向量，即该类别语音信息典型特征分布向量；最后利用统计分析方法，计算语音信息典型特征分布向量中相邻峰值跃迁幅度，找出峰值跃迁幅度最大的两个峰值，计算语音信息分离阈值；
S4、语音信息分离：将目标语音信号序列与语音信息标定序列对齐，基于深度学习进行语音信号标定的过程中，生成语音信息标定序列时，采用插值填充的方法将语音信息标定序列拉伸至与原目标语音信号的相同长度，并将二者对齐；然后根据语音信息典型特征聚类计算得到的分离阈值，结合语音信息标定序列，设计滤波器，对目标语音信号逐点进行分离，将语音信号分离为包含所检索关键信息的关键语音信号和背景信号。


2.如权利要求1所述的基于深度学习的语音关键信息分离...

【专利技术属性】
技术研发人员：张建国，叶家艺，茅剑，
申请(专利权)人：厦门熙重电子科技有限公司，
类型：发明
国别省市：福建;35