自监督说话人验证模型训练方法、电子设备和存储介质技术

本发明专利技术公开自监督说话人验证模型训练方法、电子设备和存储介质，其中，训练方法包括第一阶段的训练和第二阶段的训练，其中，所述第一阶段的训练包括：从训练语料中随机抽取多个短段和多个长段；将所述多个短段和所述多个长段均输入学生模型，获取所述学生模型的输出分布；将所述长段输入教师模型，获取所述教师模型的输出分布；通过最小化所述学生模型的输出分布和所述教师模型的输出分布之间的交叉熵损失来鼓励短段到长段的对应关系；其中，所述教师模型和所述学生模型拥有相同的结构，更新方法不同且参数也不同，所述学生模型通过梯度下降法更新，所述教师模型通过所述学生模型参数的指数移动平均法更新。数的指数移动平均法更新。数的指数移动平均法更新。

【技术实现步骤摘要】
自监督说话人验证模型训练方法、电子设备和存储介质


[0001]本专利技术属于自监督说话人验证模型训练
，尤其涉及自监督说话人验证模型训练方法、电子设备和存储介质。

技术介绍

[0002]相关技术中，基于对比学习的方法，会假设从不同的语句中截取的片段是负样本对来自不同说话人，同一句话里面截取的片段是正样本对来自同一个说话人。然后利用对比学习将不同说话人的距离拉大，将相同说话人的距离减小。
[0003]专利技术人在实现本申请的过程中发现，不同的语句也可能来自同一说话人，所以会引入一些错误的负样本对，导致性能下降。

技术实现思路

[0004]本专利技术实施例提供一种自监督说话人验证模型训练方法、电子设备和存储介质，用于至少解决上述技术问题之一。
[0005]第一方面，本专利技术实施例提供一种自监督说话人验证模型训练方法，包括第一阶段的训练和第二阶段的训练，其中，所述第一阶段的训练包括：
[0006]从训练语料中随机抽取多个短段和多个长段；将所述多个短段和所述多个长段均输入学生模型，获取所述学生模型的输出分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自监督说话人验证模型训练方法，包括第一阶段的训练和第二阶段的训练，其中，所述第一阶段的训练包括：从训练语料中随机抽取多个短段和多个长段；将所述多个短段和所述多个长段均输入学生模型，获取所述学生模型的输出分布；将所述长段输入教师模型，获取所述教师模型的输出分布；通过最小化所述学生模型的输出分布和所述教师模型的输出分布之间的交叉熵损失来鼓励短段到长段的对应关系；其中，所述教师模型和所述学生模型拥有相同的结构，更新方法不同且参数也不同，所述学生模型通过梯度下降法更新，所述教师模型通过所述学生模型参数的指数移动平均法更新。2.根据权利要求1所述的方法，其中，当所述说话人验证模型能够提取出有鉴别力的说话人表示时，进入所述第二阶段的训练，所述第二阶段的训练包括：对提取的说话人嵌入进行聚类，其中，同一聚类中的语料属于同一说话人；从同一聚类中提取正样本对，作为后续所述说话人验证模型训练的新输入以对所述说话人验证模型进行循环迭代，其中，在迭代的过程中，采用渐进聚类以随着所述说话人验证模型的收敛逐渐减少聚类的数量以减少类间距离。3.根据权利要求2所述的方法，其中，所述渐进聚类包括线性下降渐进聚类和指数下降渐进聚类。4.根据权利要求1所述的方法，其中，在所述交叉熵损失的基础上再增加基于...

【专利技术属性】
技术研发人员：钱彦旻，韩冰，黄文，陈正阳，
申请(专利权)人：思必驰科技股份有限公司，
类型：发明
国别省市：