基于TTS语音合成的数据脱敏方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及金融、医疗健康及人工智能技术领域，提供一种基于TTS语音合成的数据脱敏方法、装置、设备及介质，能够基于多模态声纹混淆脱敏架构对初始文本及用户初始语音进行脱敏处理，实现对各种模态的脱敏处理；基于动态量子化水印嵌入机制进行水印嵌入，便于后续进行追溯及隐私校验；基于联邦学习驱动的差分隐私保护机制在每个节点分别训练子TTS模型，并聚合为目标TTS模型，能够打破数据孤岛，同时防止模型反演攻击；基于实时流式脱敏加速引擎对目标TTS模型输出的实时语音数据流进行处理，能够实现实时的数据脱敏，提高处理效率；基于跨模态隐私一致性验证机制对合成语音进行校验，能够进一步确保语音合成效果。

【技术实现步骤摘要】

本专利技术涉及金融、医疗健康及人工智能，尤其涉及一种基于tts语音合成的数据脱敏方法、装置、设备及介质。

技术介绍

1、目前，为了保护数据隐私，各领域都会涉及到对基于tts(text-to-speech,文本到语音)语音合成的数据进行脱敏处理的场景。例如：在金融领域内，当智能客服返回的tts合成语音包括身份证号等敏感词时，则需要对身份证号进行脱敏处理，以避免隐私泄露；在医疗健康领域内，语音病历查询场景下也需要隐藏患者名、联系方式等敏感信息。

2、但是，现有技术中tts语音合成系统的隐私保护技术主要还存在以下问题：

3、(1)脱敏效果与语音质量的矛盾。

4、具体而言，传统脱敏方法(如静态噪声注入、语音特征掩码)虽能隐藏声纹信息，但会导致语音自然度显著下降。基于谱减法的噪声添加会使mos(mean opinion score，平均意见得分)评分降低至3.2以下，且高频细节(如齿音、爆破音)丢失率达42％。此外，德州学院规范提到，动态脱敏采用行或列限制技术会破坏语音数据的关联性，导致合成语音韵律断裂。>

5、(2)水本文档来自技高网...

【技术保护点】

1.一种基于TTS语音合成的数据脱敏方法，其特征在于，所述基于TTS语音合成的数据脱敏方法包括：

2.如权利要求1所述的基于TTS语音合成的数据脱敏方法，其特征在于，所述基于多模态声纹混淆脱敏架构对所述初始文本及所述用户初始语音进行脱敏处理，得到第一数据包括：

3.如权利要求1所述的基于TTS语音合成的数据脱敏方法，其特征在于，所述动态量子化水印嵌入机制包括生成器；所述基于动态量子化水印嵌入机制对所述第一数据进行水印嵌入，得到第二数据包括：

4.如权利要求3所述的基于TTS语音合成的数据脱敏方法，其特征在于，所述动态量子化水印嵌入机制还包括提取器；所述...

【技术特征摘要】

1.一种基于tts语音合成的数据脱敏方法，其特征在于，所述基于tts语音合成的数据脱敏方法包括：

2.如权利要求1所述的基于tts语音合成的数据脱敏方法，其特征在于，所述基于多模态声纹混淆脱敏架构对所述初始文本及所述用户初始语音进行脱敏处理，得到第一数据包括：

3.如权利要求1所述的基于tts语音合成的数据脱敏方法，其特征在于，所述动态量子化水印嵌入机制包括生成器；所述基于动态量子化水印嵌入机制对所述第一数据进行水印嵌入，得到第二数据包括：

4.如权利要求3所述的基于tts语音合成的数据脱敏方法，其特征在于，所述动态量子化水印嵌入机制还包括提取器；所述得到第二数据后，所述方法还包括：

5.如权利要求1所述的基于tts语音合成的数据脱敏方法，其特征在于，所述基于联邦学习驱动的差分隐私保护机制，利用每个节点的第二数据在每个节点分...

【专利技术属性】
技术研发人员：石岩，陈闽川，王少军，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：