一种基于鸟群优化的深度学习模型隐私保护方法技术

本发明专利技术涉及隐私保护技术领域，具体涉及一种基于鸟群优化的深度学习模型隐私保护方法，包括首先进行数据集蒸馏，将精炼后的数据集作为模型训练的输入数据集；将鸟群参数初始化，用鸟的位置表示各神经元的权重参数；在每一次的迭代中，利用鸟的位置参数计算当前梯度，对所得梯度进行剪裁；对每个样本梯度添加噪声，梯度下降，参数更新；根据适应度，更新个体历史最优位置和当下种群最优鸟的位置，重新进行新一轮的迭代训练；达到停止条件时，迭代结束，得到一个满足差分隐私的网络和扰动后的最优参数。经验证，本发明专利技术在收敛速度、最终收敛程度和测试效果上均优于基准方法，在保护用户隐私的同时，更好地保留了模型的准确性。更好地保留了模型的准确性。更好地保留了模型的准确性。

【技术实现步骤摘要】
一种基于鸟群优化的深度学习模型隐私保护方法


[0001]本专利技术涉及隐私保护
，具体涉及一种基于鸟群优化的深度学习模型隐私保护方法。

技术介绍

[0002]随着大数据技术的发展以及深度学习技术的应用，涉及用户数据的隐私保护问题越来越受关注。
[0003]在深度学习过程中，往往会收到攻击者的推理攻击，从而导致用户隐私泄露。差分隐私能够使攻击者不能判断用户是否在数据集当中，差分隐私与深度学习的结合，在模型训练过程中对梯度进行加噪处理，对模型梯度进行保护，防止攻击者的推理攻击，从而起到隐私保护的作用。
[0004]然而加噪后的梯度扰动噪声过大会造成模型可用性下降。

技术实现思路

[0005]本专利技术的目的在于提供一种基于鸟群优化的深度学习模型隐私保护方法，旨在解决加噪后的梯度扰动噪声过大而造成模型可用性下降的问题。
[0006]为实现上述目的，本专利技术提供了一种基于鸟群优化的深度学习模型隐私保护方法，包括下列步骤：
[0007]步骤1：数据集蒸馏，将精炼后的数据集作为模型训练的输入数据集；
[0008]步骤2：鸟群参数初始化，用鸟的位置表示各神经元的权重参数；
[0009]步骤3：每次迭代时利用鸟的位置参数计算当前梯度，并对所得梯度进行剪裁；
[0010]步骤4：对剪裁的每个样本梯度添加噪声，梯度下降，网络参数更新；
[0011]步骤5：根据所述参数获得的适应度，更新个体最优位置和当下种群最优鸟的位置，进行下一轮训练，返回步骤3；<br/>[0012]步骤6：达到停止条件时，迭代结束，获取最优网络参数。
[0013]其中，数据集蒸馏，将精炼后的数据集作为模型训练的输入数据集的过程，包括下列步骤：
[0014]将原始的大数据集X压缩合成一个小的数据集X
*
，并求出后期模型训练所需的学习率η，使得使用很小的数据集，就能拥有原始数据集的信息，并且只要几步梯度下降就能训练好模型，并且在真正的测试集上效果良好。
[0015]其中，鸟群参数初始化，用鸟的位置表示各神经元的权重参数的过程，包括下列步骤：
[0016]迭代前随机初始化鸟群中的位置p和速度v；
[0017]初始化相应的个体最优位置pbest和种群最优位置gbest，初始适应度值为零。
[0018]其中，每次迭代时利用鸟的位置参数计算当前梯度，并对所得梯度进行剪裁的过程，包括下列步骤：
[0019]每一轮迭代中，首先确定速度变化v
t
和位置变化p
t
；
[0020]在分批训练中，将N只鸟的位置参数作为网络参数θ
t
依次分别在网络执行计算，计算过程通过随机梯度下降来最小化经验损失函数L(θ)，即对每一批采样数据计算当前梯度
[0021]对所得梯度进行剪裁，防止梯度爆炸或消失，剪裁后的梯度表示为
[0022]其中，对剪裁的每个样本梯度添加噪声，梯度下降，参数更新的过程，具体为对每个样本梯度添加N(0,σ2C2I)的噪声，再将网络参数θ
t
进行更新。
[0023]其中，根据所求网络参数获得的适应度，更新个体历史最优位置和当下种群最优位置，进行下一轮训练，返回步骤3的过程，包括下列步骤：
[0024]根据所述参数所得的损失函数得到适应度V[N]，遍历N个粒子，更新个体最优位置pbest
t+1
用作下一轮的训练；
[0025]更新出当下种群最优位置gbest
t+1
，即一轮结束后的网络新参数；
[0026]位置参数更新后，进入新一轮的训练。
[0027]其中，所述最优网络参数为满足差分隐私的网络和扰动后的最优参数，根据(ε,δ)可知隐私保护水平。
[0028]本专利技术提供了一种基于鸟群优化的深度学习模型隐私保护方法，包括先将鸟群参数初始化，用鸟的位置表示各神经元的权重参数；在每一次的迭代中，利用鸟的位置参数(网络参数)计算当前梯度，对所得梯度进行剪裁；对每个样本梯度添加噪声，梯度下降，参数更新；根据适应度，更新个体最优位置和当下种群最优位置，重新进行新一轮的迭代训练；达到停止条件时，迭代结束，得到一个满足差分隐私的网络和扰动后的最优参数。基于鸟群优化的深度学习模型在收敛速度、最终收敛程度和测试效果上均优于基准方法，在保护用户隐私的同时，更好地保留了模型的准确性。
附图说明
[0029]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]图1是本专利技术的一种基于鸟群优化的深度学习模型隐私保护方法的流程示意图。
具体实施方式
[0031]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0032]请参阅图1，本专利技术提供了一种基于鸟群优化的深度学习模型隐私保护方法，包括下列步骤：
[0033]S1：数据集蒸馏，将精炼后的数据集作为模型训练的输入数据集；
[0034]S2：鸟群参数初始化，用鸟的位置表示各神经元的权重参数；
[0035]S3：每次迭代时利用鸟的位置参数计算当前梯度，并对所得梯度进行剪裁；
[0036]S4：对剪裁的每个样本梯度添加噪声，梯度下降，网络参数更新；
[0037]S5：根据适应度，更新个体最优位置和当下种群最优位置，进行下一轮训练，返回步骤S3；
[0038]S6：达到停止条件时，迭代结束，获取最优网络参数。
[0039]以下结合具体实施步骤对本专利技术作进一步说明：
[0040]步骤S1：数据集蒸馏，将精炼后的数据集作为模型训练的输入数据集；
[0041]具体包括下列步骤：
[0042]S11首先在原始数据集X中随机选择小批量数据集X
*
，初始化学习率η；
[0043]S12每一次迭代过程中，在原始数据集X中随机选取一部分数据集X
t
，随机初始化参数θ0；在小批量数据集X
*
上训练更新得到参数θ1，利用参数θ1在原始数据集X
t
上计算损失；
[0044]θ1＝θ0‑
η
▽
ι(X
*
,θ0)
ꢀꢀꢀ
(1)
[0045]L＝ι(X
t
,θ1)
ꢀꢀꢀ
(2)
[0046]在公式(1)中，η为更新参数所需的学习率，要保证少量的梯度下下降就能得到一个较好的模型，因此学习率不能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于鸟群优化的深度学习模型隐私保护方法，其特征在于，包括下列步骤：步骤1：数据集蒸馏，将精炼后的数据集作为模型训练的输入数据集；步骤2：鸟群参数初始化，用鸟的位置表示各神经元的权重参数；步骤3：每次迭代时利用鸟的位置参数计算当前梯度，并对所得梯度进行剪裁；步骤4：对剪裁的每个样本梯度添加噪声，梯度下降，网络参数更新；步骤5：根据所求网络参数获得的适应度，更新个体历史最优位置和当下种群最优位置，进行下一轮训练，返回步骤3；步骤6：达到停止条件时，迭代结束，获取最优网络参数。2.如权利要求1所述的基于鸟群优化的深度学习模型隐私保护方法，其特征在于，数据集蒸馏，将精炼后的数据集作为模型训练的输入数据集的过程，包括下列步骤：将原始的大数据集压缩合成一个小的数据集，将拥有60000张图片的MNIST训练集蒸馏成只含有10张合成后图片的数据集。3.如权利要求1所述的基于鸟群优化的深度学习模型隐私保护方法，其特征在于，鸟群参数初始化，用鸟的位置表示各神经元的权重参数的过程，包括下列步骤：迭代前随机初始化鸟群中的位置p和速度v；初始化相应的个体最优位置pbest和种群最优位置gbest，初始适应度值为零。4.如权利要求1所述的基于鸟群优化的深度学习模型隐私保护方法，其特征在于，每次迭代时利用鸟的位置参数计算当前梯度，并对所得梯度进行剪裁的过程，包括下列步骤：每一轮迭代中，首先确定鸟的速度变化v
t
和位置变化p
...

【专利技术属性】
技术研发人员：张攀峰，吴丹华，赵聪，杜慧，
申请(专利权)人：桂林理工大学，
类型：发明
国别省市：