System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于自然语言处理的智能机器人语音交互方法技术_技高网

一种基于自然语言处理的智能机器人语音交互方法技术

技术编号:41284467 阅读:6 留言:0更新日期:2024-05-11 09:33
本发明专利技术涉及语音处理技术领域,具体涉及一种基于自然语言处理的智能机器人语音交互方法。本发明专利技术首先获取语音交互的所有待处理声帧序列及纯噪声帧,进而在每个交互声帧的语谱频率分块中筛选出疑似含噪分块;分析每个疑似含噪分块的噪声影响度,获取含噪分块;然后获取含噪分块的噪声增益值,根据纯噪声帧及每个交互声帧的灰度信息及含噪分块的噪声增益值,获取每个交互声帧的参考噪声帧,进而对每个待处理声帧序列降噪,进行精准的语音交互。本发明专利技术结合人员语音指令的共振峰特征及短时谱特性,分析噪声对不同声帧的不同频率范围的噪声影响度,进而对用于谱减的纯噪声进行精准调整以提高降噪效果,从而提高进行语音交互效果。

【技术实现步骤摘要】

本专利技术涉及语音处理,具体涉及一种基于自然语言处理的智能机器人语音交互方法


技术介绍

1、在建筑施工过程中可利用语音指令控制智能机器人辅助施工,故语音交互能力对于智能机器人在施工现场的应用非常重要。语音交互能力很大程度上取决于自然语言处理过程中对语音指令的精准识别,但在语音交互过程中,施工环境中往往存在较多噪声影响语音交互效果,因此对混合交互语音去噪,以获取精准语音交互指令至关重要。

2、现有技术中采用谱减法对混合交互语音进行去噪,以降低环境噪声对人员语音指令的影响;利用谱减法对混合交互语音去噪通常是对非交互过程中的一段环境噪声做平均处理进行噪声估计,进而滤除环境噪声;但语音交互数据中人员语音指令随着时间的推移通常会呈现出阶段性的短时谱特征,而噪声也存在一定的短时随机性,噪声对不同声帧的影响程度可能不同,利用单一的噪声估计往往可能导致在不同声帧中无法准确估计或抑制噪声,从而出现噪声残留,影响语音指令的识别与交互效果。


技术实现思路

1、为了解决现有频谱法无法准确估计或抑制噪声导致去噪效果不佳进而导致语音交互效果差的技术问题,本专利技术的目的在于提供一种基于自然语言处理的智能机器人语音交互方法,所采用的技术方案具体如下:

2、获取语音交互数据的所有交互声帧并获取所有待处理声帧序列;获取与交互声帧的帧长一致的纯噪声帧;

3、获取每个待处理声帧序列中每个交互声帧的所有语谱频率分块,根据每个交互声帧中语谱频率分块的频率关联情况筛选出所述语谱频率分块中的所有疑似含噪分块;在每个待处理声帧序列中,根据所述疑似含噪分块所属交互声帧与其他邻近交互声帧间,相同频率范围的所述语谱频率分块的语谱差异及频率关联情况差异,结合帧间时序差异,获取每个交互声帧中每个所述疑似含噪分块的噪声影响度;

4、根据所述噪声影响度在每个待处理声帧序列中筛选出所有含噪分块;在每个待处理声帧序列中,根据每个所述含噪分块的所述噪声影响度及所述含噪分块所属交互声帧的相对受噪水平,结合所述含噪分块所属交互声帧与其他交互声帧间,相同频率范围的所述含噪分块间的灰度信息,得到每个所述含噪分块的噪声增益值;

5、在每个待处理声帧序列中,根据所述纯噪声帧及每个交互声帧的灰度信息,结合交互声帧中含噪分块的所述噪声增益值,获取每个交互声帧的参考噪声帧;根据所述参考噪声帧对对应待处理声帧序列降噪;

6、根据降噪结果进行语音交互。

7、进一步地,所述疑似含噪分块的获取方法包括:

8、在每个待处理声帧序列的每个所述交互声帧中,根据每个所述语谱频率分块与其他所述语谱频率分块的灰度分布相似情况,获取每个所述语谱频率分块的频率关联度;将所述频率关联度小于预设关联度阈值的所有所述语谱频率分块,作为疑似含噪分块。

9、进一步地,所述频率关联度的获取方法包括:

10、获取每个待处理声帧序列中每个所述交互声帧的每个所述语谱频率分块的灰度均值;在每个待处理声帧序列的每个所述交互声帧中,根据每个所述语谱频率分块对应频率范围的最高频率将所有所述语谱频率分块进行降序或者升序排序,得到每个所述语谱频率分块的排序序号,以任一所述语谱频率分块为目标分块;

11、在所有排序序号小于所述目标分块的所述语谱频率分块的灰度均值与所述目标分块的灰度均值的灰度差异中,将最大灰度差异作为第一灰度差异;在所有排序序号大于所述目标分块的所述语谱频率分块的灰度均值与所述目标分块的灰度均值的灰度差异中,将最大灰度差异作为第二灰度差异;将所述第一灰度差异与所述第二灰度差异的差值绝对值负相关映射并归一化,得到所述目标分块的频率关联度;

12、其中,当所述目标分块在所述交互声帧的所有所述语谱频率分块中排序序号最低时,将所述第二灰度差异负相关映射并归一化作为所述目标分块的频率关联度;当所述目标分块在所述交互声帧的所有所述语谱频率分块中排序序号最高时,将所述第一灰度差异负相关映射并归一化作为所述目标分块的频率关联度。

13、进一步地,所述噪声影响度的计算公式包括:

14、;其中,为待处理声帧序列中第个交互声帧中第个疑似含噪分块的噪声影响度;为待处理声帧序列中第个交互声帧的预设邻域内交互声帧的总帧数;为待处理声帧序列中第个交互声帧的预设邻域内,除第个交互声帧外的第个交互声帧的声帧序号;为待处理声帧序列中第个交互声帧中第个疑似含噪分块的语谱频率分块;为第个交互声帧中与第个交互声帧的第个疑似含噪分块的频率范围相同的语谱频率分块;为取二维信息熵函数;为待处理声帧序列中第个交互声帧中第个疑似含噪分块的频率关联度;为第个交互声帧中与第个交互声帧的第个疑似含噪分块的频率范围相同的语谱频率分块的频率关联度;为待处理声帧序列中第个交互声帧与第个交互声帧之间的帧间时长;为预设第一正常数。

15、进一步地,所述噪声增益值的计算公式包括:

16、;其中,为待处理声帧序列中第个交互声帧中第个含噪分块的噪声增益值;为标准归一化函数;为第个交互声帧中第个含噪分块内的像素点总数量;为待处理声帧序列中第个交互声帧相对其他交互声帧的相对受噪水平系数;为待处理声帧序列中第个交互声帧中第个含噪分块的噪声影响度;为待处理声帧序列中第个交互声帧的第个含噪分块中第个像素点的灰度值;为待处理声帧序列中与第个交互声帧的第个含噪分块的频率范围相同的所有含噪分块中,第个像素点的灰度值的灰度均值;为预设第二正常数。

17、进一步地,所述相对受噪水平系数的获取方法包括:

18、在每个待处理声帧序列中,获取每个所述交互声帧中所述含噪分块的数量,将每个所述交互声帧中所述含噪分块的数量除以对应待处理声帧序列中所有所述交互声帧中所述含噪分块的数量的所有数量中的最大值进行归一化,得到每个所述交互声帧相对其他交互声帧的相对受噪水平系数。

19、进一步地,所述参考噪声帧的获取方法包括:

20、将所述纯噪声帧作为每个待处理声帧序列中每个所述交互声帧的初始参考噪声帧,获取所述纯噪声帧的所有噪声语谱频率分块;

21、在每个待处理声帧序列的每个所述交互声帧的初始参考噪声帧中,将与对应所述交互声帧中的所述含噪分块的频率范围相同的所述噪声语谱频率分块作为待调整分块;在每个所述待调整分块中,根据所述待调整分块及对应所述含噪分块的相同位置像素点的灰度信息,结合所述含噪分块的所述噪声增益值,对所述待调整分块内每个像素点的灰度值进行调整,获取所述待调整分块内每个像素点的调整灰度值;

22、将每个所述初始参考噪声帧的所述待调整分块中像素点的灰度值调整为调整灰度值,得到每个待处理声帧序列中每个所述交互声帧的参考噪声帧。

23、进一步地,所述调整灰度值的计算公式包括:

24、;其中,为待处理声帧序列中第个交互声帧的初始参考噪声帧中第个待调整分块的第个像素点的调整灰度值;为待处理声帧序列中第个交互声帧的初始参考噪声帧中第个待调整分块的第个像素点的灰度值;为待本文档来自技高网...

【技术保护点】

1.一种基于自然语言处理的智能机器人语音交互方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种基于自然语言处理的智能机器人语音交互方法,其特征在于,所述疑似含噪分块的获取方法包括:

3.根据权利要求2所述的一种基于自然语言处理的智能机器人语音交互方法,其特征在于,所述频率关联度的获取方法包括:

4.根据权利要求2所述的一种基于自然语言处理的智能机器人语音交互方法,其特征在于,所述噪声影响度的计算公式包括:

5.根据权利要求1所述的一种基于自然语言处理的智能机器人语音交互方法,其特征在于,所述噪声增益值的计算公式包括:

6.根据权利要求5所述的一种基于自然语言处理的智能机器人语音交互方法,其特征在于,所述相对受噪水平系数的获取方法包括:

7.根据权利要求1所述的一种基于自然语言处理的智能机器人语音交互方法,其特征在于,所述参考噪声帧的获取方法包括:

8.根据权利要求7所述的一种基于自然语言处理的智能机器人语音交互方法,其特征在于,所述调整灰度值的计算公式包括:

9.根据权利要求1所述的一种基于自然语言处理的智能机器人语音交互方法,其特征在于,对所述待处理声帧序列降噪的降噪方法包括:

10.根据权利要求1所述的一种基于自然语言处理的智能机器人语音交互方法,其特征在于,所述待处理声帧序列的获取方法包括:

...

【技术特征摘要】

1.一种基于自然语言处理的智能机器人语音交互方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种基于自然语言处理的智能机器人语音交互方法,其特征在于,所述疑似含噪分块的获取方法包括:

3.根据权利要求2所述的一种基于自然语言处理的智能机器人语音交互方法,其特征在于,所述频率关联度的获取方法包括:

4.根据权利要求2所述的一种基于自然语言处理的智能机器人语音交互方法,其特征在于,所述噪声影响度的计算公式包括:

5.根据权利要求1所述的一种基于自然语言处理的智能机器人语音交互方法,其特征在于,所述噪声增益值的计算公式包括:

6.根据权利要求5所述...

【专利技术属性】
技术研发人员:刘洪彬许明远姬帅张林刘浩然陈德鹏
申请(专利权)人:山东天意装配式建筑装备研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1