System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 正交化低秩适应矩阵的语音检测模型的训练方法及装置制造方法及图纸_技高网
当前位置: 首页 > 专利查询>清华大学专利>正文

正交化低秩适应矩阵的语音检测模型的训练方法及装置制造方法及图纸

技术编号:40444057 阅读:8 留言:0更新日期:2024-02-22 23:05
本发明专利技术提供了一种正交化低秩适应矩阵的语音检测模型的训练方法及装置,具体涉及语音识别技术领域,通过获取新训练数据集;加载预训练语音大模型并冻结其参数,引入第一低秩适应矩阵和第二低秩适应矩阵,得到待训练语音检测模型;将新训练数据集输入至待训练语音检测模型中,通过正交优化第一低秩适应矩阵和第二低秩适应矩阵的参数,结束训练,得到语音检测模型。针对实际获取的新数据集,使用上述训练方法对语音检测模型进行训练,引入低秩适应矩阵,对模型进行微调,不仅可以显著降低训练成本,还可以极大的提高模型对新数据集下生成音频的检测能力,同时几乎不影响模型对先前已学习的语音算法的检测能力。

【技术实现步骤摘要】

本专利技术涉及语音识别,特别是涉及一种正交化低秩适应矩阵的语音检测模型的训练方法及装置


技术介绍

1、由于深度学习的快速发展,语音转换和语音合成技术日趋成熟,深度学习模型生成的语音广泛应用于人机交互场景中。但生成语音的滥用也给人民和社会带来了危害,与之对应的语音真假鉴别技术也受到大家的广泛关注。基于语音检测模型的生成语音检测在大部分数据集上表现优异,但在面对新算法和未知算法生成的生成语音场景下,检测准确率会大幅的降低。

2、目前采用新算法和未知算法生成的生成语音对语音检测模型进行训练,不仅会使模型“遗忘”学习过的已知算法,还需要消耗大量的计算资源和训练时间,导致其实际应用成本较高。

3、基于此,本专利技术提出一种基于正交化低秩适应矩阵的语音检测模型的训练方法以解决上述问题。


技术实现思路

1、本专利技术提供一种正交化低秩适应矩阵的语音检测模型的训练方法及装置,以解决上述问题。

2、在本专利技术实施例第一方面提出一种正交化低秩适应矩阵的语音检测模型的训练方法,所述训练方法包括:

3、获取新训练数据集,所述新训练数据集包括采用预训练语音大模型未知的生成算法生成的多个语音;

4、加载所述预训练语音大模型并冻结其参数,引入第一低秩适应矩阵和第二低秩适应矩阵,得到待训练语音检测模型;

5、将所述新训练数据集输入至所述待训练语音检测模型中,通过正交优化所述第一低秩适应矩阵和所述第二低秩适应矩阵的参数,结束训练,得到所述语音检测模型,其中,所述正交优化是指:在训练所述待训练语音检测模型的过程中,所述第一低秩适应矩阵和所述第二低秩适应矩阵在每一个数据集上的训练是相互独立的,不会遗忘从已学习的训练数据集中学到的知识。

6、在本专利技术可选地一实施例中,所述预训练语音大模型的训练过程如下所示:

7、获取旧训练数据集;

8、采用所述旧训练数据集对语音大模型进行预训练,得到所述预训练语音大模型,所述预训练语音大模型能够识别所述旧训练数据集中的语音的生成算法。

9、在本专利技术可选地一实施例中,所述通过正交优化所述第一低秩适应矩阵和所述第二低秩适应矩阵的参数,包括:

10、在训练所述待训练语音检测模型的过程中,所述新训练数据集被划分为多个批次的子数据集进行训练,第i个批次的子数据集对应的权重更新方向正交于第i-1个批次的子数据集的权重更新方向,以使每个子数据集的权重更新不影响其他批次的子数据集的权重更新。

11、在本专利技术可选地一实施例中,所述正交优化的公式如下所示:

12、,

13、其中,,i表示训练所述语音检测模型时的子数据集所属批次,j表示训练所述语音检测模型时输入的所述子数据集所在的训练数据集为第j个训练数据集,x表示输入的所述新训练数据集中的语音,α表示预先设置的常数,t表示转置,表示对输入的所述新训练数据集中的语音求平均值。

14、在本专利技术可选地一实施例中,在得到所述语音检测模型之后,所述训练方法还包括:

15、获取待检测语音;

16、将所述待检测语音输入至所述语音检测模型中,输出检测结果,其中,当所述待检测语音的算法属于所述预训练语音大模型已学习的生成语音的情况下,将所述预训练语音大模型针对所述待检测语音的输出作为所述检测结果;

17、当所述待检测语音的算法属于所述预训练语音大模型未学习的生成语音的情况下,将所述预训练语音大模型、所述第一低秩适应矩阵和所述第二低秩适应矩阵的输出总和作为所述检测结果。

18、在本专利技术可选地一实施例中,所述检测结果的公式如下所示:

19、,

20、其中,hmodel是所述语音检测模型输出的所述检测结果,x是输入的所述待检测语音,wsom是所述预训练语音大模型,aa是所述第一低秩适应矩阵,bb是所述第二低秩适应矩阵。

21、在本专利技术实施例第二方面提出一种连续学习语音鉴别模型的训练装置,所述训练装置包括:

22、新训练数据集获取模块,用于获取新训练数据集,所述新训练数据集包括采用预训练语音大模型未知的生成算法生成的多个语音;

23、待训练语音检测模型获取模块,用于加载所述预训练语音大模型并冻结其参数,引入第一低秩适应矩阵和第二低秩适应矩阵,得到待训练语音检测模型;

24、语音检测模型获取模块,用于将所述新训练数据集输入至所述待训练语音检测模型中,通过正交优化所述第一低秩适应矩阵和所述第二低秩适应矩阵的参数,结束训练,得到所述语音检测模型,其中,所述正交优化是指:在训练所述待训练语音检测模型的过程中,所述第一低秩适应矩阵和所述第二低秩适应矩阵在每一个数据集上的训练是相互独立的,不会遗忘从已学习的训练数据集中学到的知识。

25、在本专利技术可选地一实施例中,所述待训练语音检测模型获取模块还包括第一训练子模块,所述第一训练子模块包括:

26、获取单元,用于获取旧训练数据集;

27、预训练单元,用于采用所述旧训练数据集对语音大模型进行预训练,得到所述预训练语音大模型,所述预训练语音大模型能够识别所述旧训练数据集中的语音的生成算法。

28、在本专利技术可选地一实施例中,所述语音检测模型获取模块还包括:

29、正交优化子模块,用于在训练所述待训练语音检测模型的过程中,所述新训练数据集被划分为多个批次的子数据集进行训练,第i个批次的子数据集对应的权重更新方向正交于第i-1个批次的子数据集的权重更新方向,以使每个子数据集的权重更新不影响其他批次的子数据集的权重更新。

30、在本专利技术可选地一实施例中,所述正交优化子模块中的正交优化公式如下所示:

31、,

32、其中,,i表示训练所述语音检测模型时的子数据集所属批次,j表示训练所述语音检测模型时输入的所述子数据集所在的训练数据集为第j个训练数据集,x表示输入的所述新训练数据集中的语音,α表示预先设置的常数,t表示转置,表示对输入的所述新训练数据集中的语音求平均值。

33、在本专利技术可选地一实施例中,在得到所述语音检测模型之后,所述训练装置还包括:

34、待检测语音获取模块,用于获取待检测语音;

35、检测结果获取模块,用于将所述待检测语音输入至所述语音检测模型中,输出检测结果,其中,当所述待检测语音的算法属于所述预训练语音大模型已学习的生成语音的情况下,将所述预训练语音大模型针对所述待检测语音的输出作为所述检测结果;当所述待检测语音的算法属于所述预训练语音大模型未学习的生成语音的情况下,将所述预训练语音大模型、所述第一低秩适应矩阵和所述第二低秩适应矩阵的输出总和作为所述检测结果。

36、在本专利技术可选地一实施例中,所述检测结果获取模块中所述检测结果的公式如下所示:

37、,

38、其中,hmodel是所述语音检测模型输出的所述检测结果,x是本文档来自技高网...

【技术保护点】

1.一种正交化低秩适应矩阵的语音检测模型的训练方法,其特征在于,所述训练方法包括:

2.根据权利要求1所述的正交化低秩适应矩阵的语音检测模型的训练方法,其特征在于,所述预训练语音大模型的训练过程如下所示:

3.根据权利要求2所述的正交化低秩适应矩阵的语音检测模型的训练方法,其特征在于,所述通过正交优化所述第一低秩适应矩阵和所述第二低秩适应矩阵的参数,包括:

4.根据权利要求3所述的训练方法,其特征在于,所述正交优化的公式如下所示:

5.根据权利要求1所述的正交化低秩适应矩阵的语音检测模型的训练方法,其特征在于,在得到所述语音检测模型之后,所述训练方法还包括:

6.根据权利要求5所述的正交化低秩适应矩阵的语音检测模型的训练方法,其特征在于,所述检测结果的公式如下所示:

7.一种正交化低秩适应矩阵的语音检测模型的训练装置,其特征在于,所述训练装置包括:

8.根据权利要求7所述的正交化低秩适应矩阵的语音检测模型的训练装置,其特征在于,所述待训练语音检测模型获取模块还包括第一训练子模块,所述第一训练子模块包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的正交化低秩适应矩阵的语音检测模型的训练方法。

...

【技术特征摘要】

1.一种正交化低秩适应矩阵的语音检测模型的训练方法,其特征在于,所述训练方法包括:

2.根据权利要求1所述的正交化低秩适应矩阵的语音检测模型的训练方法,其特征在于,所述预训练语音大模型的训练过程如下所示:

3.根据权利要求2所述的正交化低秩适应矩阵的语音检测模型的训练方法,其特征在于,所述通过正交优化所述第一低秩适应矩阵和所述第二低秩适应矩阵的参数,包括:

4.根据权利要求3所述的训练方法,其特征在于,所述正交优化的公式如下所示:

5.根据权利要求1所述的正交化低秩适应矩阵的语音检测模型的训练方法,其特征在于,在得到所述语音检测模型之后,所述训练方法还包括:

【专利技术属性】
技术研发人员:陶建华
申请(专利权)人:清华大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1