一种差分隐私增强切片Wasserstein距离的方法技术

本发明专利技术属于信息安全技术领域，公开了一种差分隐私增强切片Wasserstein距离的方法，包括如下步骤：S1、将切片Wasserstein距离与高斯机制相结合成DP‑SWD，并应用于域适应和生成模型；S2、利用切片Wasserstein距离的变体改进基于DP‑SWD的生成模型；S3、采用裁剪方法Normalized Clipping来削减特征增强引起的隐私敏感度的放大，再添加高斯噪声，获得裁剪后的DP‑ASWD。本发明专利技术为具有DP保证的生成模型提供了DP‑ASWD算法，并通过归一化法和噪音机制的添加，使得该算法能够在保持相同隐私预算的同时产生最高的图像质量。

【技术实现步骤摘要】

本专利技术涉及信息安全，具体涉及一种差分隐私增强切片wasserstein距离的方法。

技术介绍

1、深度学习的最新进展，例如chatgpt和stable diffusion，让我们得以目睹人工智能未来的面貌。这些大型模型的成功归功于大量的训练数据。然而，这些方法引起了对隐私的担忧，因为在数据收集和模型训练过程中可能会泄露个人信息。以chatgpt为代表的大型语言模型(llm)的出现迅速加速，但随之而来的是新的隐私挑战。此外，最近的研究表明，扩散模型比其他生成模型更容易受到隐私入侵，因为它们保留了训练数据中的特定图像。其他研究也表明深度学习模型，尤其是生成模型，存在不容忽视的重大隐私问题。差分隐私(differential privacy，dp)通过向模型参数或训练数据引入噪声来解决这些问题，使攻击者更难从模型中提取敏感数据。差分私有随机梯度下降(dp-sgd)试图保护sgd中的梯度信息，为大多数dp深度学习工作提供了基础。不幸的是，这种梯度限幅和噪声注入过程将严重降低性能。最近为增强裁剪方法所做的努力表明，仔细的参数选择可以有效解决图像分类和nlp任务中本文档来自技高网...

【技术保护点】

1.一种差分隐私增强切片Wasserstein距离的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种差分隐私增强切片Wasserstein距离的方法，其特征在于，所述切片Wasserstein距离的变体为GSWD、DSWD、Max-SWD和ASWD中任一一种。

3.根据权利要求1所述的一种差分隐私增强切片Wasserstein距离的方法，其特征在于，所述ASWD的表述为对于函数I的空间Radon变换定义为：

4.根据权利要求3所述的一种差分隐私增强切片Wasserstein距离的方法，其特征在于，所述ASWD通过映射函数g(·)将分布投影...

【技术特征摘要】

1.一种差分隐私增强切片wasserstein距离的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种差分隐私增强切片wasserstein距离的方法，其特征在于，所述切片wasserstein距离的变体为gswd、dswd、max-swd和aswd中任一一种。

3.根据权利要求1所述的一种差分隐私增强切片wasserstein距离的方法，其特征在于，所述aswd的表述为对于函数i的空间radon变换定义为：

4.根据权利要求3所述的一种差分隐私增强切片wasserstein距离的方法，其特征在于，所述aswd通过映射函数g(·)将分布投影到超曲面上，该函数必须是单射的，以确保满足距离的三角形不等式，最优映射由下式给出：...

【专利技术属性】
技术研发人员：李爱平，刘子牛，于晗，陈恺，周斌，江荣，涂宏魁，王晔，高立群，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：