一种基于多模态特征的重音检测方法及系统技术方案

本发明专利技术提供一种基于多模态特征的重音检测方法及系统，方法包括：获取用户输入的原始语音的语音识别结果以及文本和语音的对齐信息；通过原始语音波形和对齐信息输出词级别的声学特征抽象表示；对文本中词的语言学特征进行编码，语言学特征包括词的位置、词性、词义；词级别的声学特征抽象表示和语言学特征通过卷积网络组建模重音词相对其邻居词的局部凸显性，建模原始语音的语句中的局部上下文依赖关系；将具有局部上下文依赖关系的抽象特征通过循环神经网络或者注意力机制层提取重音词和整个原始语音的语句的全局依赖关系；将具有全局依赖关系的抽象特征作为输入，输出重音分类。能自动、有效地检测出语音中的重音凸显位置，提升用户满意度。

An accent detection method and system based on multimodal features

【技术实现步骤摘要】
一种基于多模态特征的重音检测方法及系统
本专利技术涉及重音检测
，尤其涉及一种基于多模态特征的重音检测方法及系统。
技术介绍
重音，是语音交互过程中说话人着重强调的逻辑重点或感情重点。重音的感知与检测在人机交互领域具有非常广泛的应用前景，如在人机口语对话系统中，可以根据检测出的重音单词正确理解语义和用户的真实意图。最早的重音检测系统最简单的方法就是对焦点单词进行手工标注，此种方法的优点是焦点标注的准确率比较高，也更加符合人的听觉感知，缺点是通常需要耗费大量的人力，并且不同的人标注的结果也会不一样。现有技术也提出通过计算原始语音与合成语音的基频(F0)差值来检测重音，但阈值的选取过大或过小会对检测产生较大影响。现有技术还公开了一种汉语口语重音自动检测的方法，该方法首先将语音文件结合原始朗读文本划分为多个音节，然后从切分的音节中提取帧级别的声学特征，并通过统计学的方式获取音节级的声学特征，最后通过传统的机器学习方法如支持向量机对重音进行检测。传统的重音检测模型主要存在以下几个方面的问题：(1)传统的重音检测方法本文档来自技高网...

【技术保护点】
1.一种基于多模态特征的重音检测方法，其特征在于，包括如下步骤：/nS1：获取用户输入的原始语音的语音识别结果以及文本和语音的对齐信息；/nS2：通过原始语音波形和所述对齐信息输出词级别的声学特征抽象表示；/nS3：对所述文本中词的语言学特征进行编码，所述语言学特征包括词的位置、词性、词义；/nS4：所述词级别的声学特征抽象表示和所述语言学特征通过卷积网络组建模重音词相对其邻居词的局部凸显性，建模所述原始语音的语句中的局部上下文依赖关系；/nS5：将具有局部上下文依赖关系的所述声学特征抽象表示通过循环神经网络或者注意力机制层提取重音词和整个所述原始语音的语句的全局依赖关系；/nS6：将具有全局...

【技术特征摘要】
1.一种基于多模态特征的重音检测方法，其特征在于，包括如下步骤：
S1：获取用户输入的原始语音的语音识别结果以及文本和语音的对齐信息；
S2：通过原始语音波形和所述对齐信息输出词级别的声学特征抽象表示；
S3：对所述文本中词的语言学特征进行编码，所述语言学特征包括词的位置、词性、词义；
S4：所述词级别的声学特征抽象表示和所述语言学特征通过卷积网络组建模重音词相对其邻居词的局部凸显性，建模所述原始语音的语句中的局部上下文依赖关系；
S5：将具有局部上下文依赖关系的所述声学特征抽象表示通过循环神经网络或者注意力机制层提取重音词和整个所述原始语音的语句的全局依赖关系；
S6：将具有全局依赖关系的抽象特征作为输入，输出重音分类。


2.如权利要求1所述的基于多模态特征的重音检测方法，其特征在于，通过原始语音波形和所述对齐信息输出词级别的声学特征抽象表示包括如下步骤：
S21：从原始语音波形中提取出帧级别的声学特征，所述帧级别的声学特征包括频谱参数、基频参数、能量参数；
S22：将所述帧级别的声学特征与所述对齐信息结合，得到所述原始语音中每个词对应的若干帧的帧级别的声学特征以及每个词的时长信息；
S23：所述帧级别的声学特征通过空洞卷积网络获得覆盖至少两个词的感受野，然后通过平均池化层聚合为所述词级别的抽象表示。


3.如权利要求1所述的基于多模态特征的重音检测方法，其特征在于，所述卷积网络组由一组不同大小的卷积核的一维卷积滤波器组成。


4.如权利要求3所述的基于多模态特征的重音检测方法，其特征在于，将所述不同大小的卷积核的一维卷积滤波器生成的特征映射拼接在一起形成所述原始语音的语句中的局部上下文依赖关系。


5.如权利要求1所述的基于...

【专利技术属性】
技术研发人员：吴志勇，刘良琪，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：广东;44