融合先验分布与同态混沌加密的多用户模型联合迭代方法技术

融合先验分布与同态混沌加密的多用户模型联合迭代方法，本发明专利技术涉及深度学习模型联合迭代技术中，用户本地数据分布差异较大以及隐私保护的问题。训练深度学习模型应用于各行各业中的不同任务处理已愈发广泛。然而模型训练依赖于足够数量与质量的数据集。然而数据经常难以采集以及隐私保护愈发重要，导致模型泛化性与准确性难以达到要求，本发明专利技术提出一种多用户模型联合迭代方法，其主要思想是利用先验分布弥合多用户本地数据分布差异，并混合两种加密技术保护数据隐私，从而实现模型联合迭代。该方法能有效降低模型训练难度，提升模型的泛化性能以及准确度。本发明专利技术应用于深度学习模型训练中的多用户模型联合迭代。训练中的多用户模型联合迭代。训练中的多用户模型联合迭代。

【技术实现步骤摘要】
融合先验分布与同态混沌加密的多用户模型联合迭代方法


[0001]本专利技术涉及融合先验分布与同态混沌加密的多用户模型联合迭代方法

技术介绍

[0002]目前，人工智能技术愈发成熟，在各行各业均显得格外重要。其中，利用深度学习建立模型处理各类任务已十分重要。针对各行各业不同目标任务，提前采集相应的数据集，训练神经网络，建立深度学习模型，然后将模型部署，从而实现智能化任务处理。
[0003]训练深度学习模型的目的在于利用大量数据经过深度学习模型中的卷积池化等操作实现特征提取，从而使得模型可以根据这些利用大量数据提取到的特征进行预测。所以模型的性能不可避免的受到数据集大小与质量的影响，但由于在许多行业，数据难以采集并且私有数据的保密性越来越受到重视保护，这就会导致在这种情况下，深度学习模型的训练无法得到足够数量与质量的数据支撑，使得目前的方法在准确度与泛用性上难以取得理想的效果。
[0004]本文提出一种融合先验分布与同态混沌加密的多用户模型联合迭代方法，以有效解决这一问题。利用多方本地用户的本地数据在不泄露数据的前提下共同训练模型以提升模型的泛化能力，并且可以解决模型训练数据不足的问题从而提升模型的准确度。利用先验分布与本地数据共同训练本地模型，从而弥合多方本地用户的本地数据分布，以防止多方本地用户的本地数据分布差异较大，造成模型训练联合迭代困难。同时在将训练后的模型参数传输至中心用户过程中以及中心用户将更新后的参数发送至本地用户过程中，利用同态加密与混沌加密混合使用的方式来保护模型参数。该方法有效降低了模型联合迭代的难度，提升了模型的泛化性能以及准确性能。

技术实现思路

[0005]本专利技术的目的是为了解决多用户模型联合迭代训练中会出现多方本地数据分布差异过大以及本地数据隐私保护的问题，而提出的一种基于先验分布与同态加密、混沌加密的多用户模型联合迭代方法。
[0006]上述专利技术目的主要是通过以下技术方案实现的：
[0007]S1、将初始卷积神经网络模型部署至多方本地用户；
[0008]S2、本地用户利用本地数据模拟出先验分布数据，这里的先验分布可以是高斯分布或均匀分布；
[0009]S3、分别计算本地数据的标签与模型预测损失L
r
以及先验分布数据的标签与模型预测损失L
p
；
[0010]本地数据的标签与模型预测损失L
r
计算公式如下：
[0011][0012]式中N
c
表示样本的类别数量，n
r
表示本地数据的样本数量，表示本地数据的第i个类别标签，h表示卷积神经网络最后一层全连接层，表示其第j个神经元输出值，它将第i个本地数据的样本作为输入，w
r
表示权重。
[0013]先验分布数据的标签与模型预测损失L
p
计算公式如下：
[0014][0015]式中n
p
表示先验分布数据的样本数量，表示先验分布数据的第i个类别标签，是卷积神经网络最后一层全连接层第j个神经元输出值，它将第i个先验分布数据的样本作为输入，w
p
表示权重。
[0016]S4、利用最大均值差异算法计算本地数据与先验分布数据的距离损失L
m
；
[0017]最大均值差异算法的计算公式如下：
[0018][0019]式中MMD
K
(Q
s
,Q
t
)2表示Q
s
与Q
t
两个域之间的MMD距离，τ表示特征图，K表示由τ诱导的核函数，X
s
和X
t
表示两个域的样本，E表示求均值，H
K
表示具有特征核K的再生希尔伯特空间；使用无偏经验估计：
[0020][0021]式中n
s
表示Q
S
域中样本数量，表示Q
S
域中第i个样本，可得到无偏经验估计最大均值差异计算公式如下：
[0022][0023]式中n
t
表示Q
t
域中样本数量，表示Q
t
域中第i个样本；计算本地数据与先验分布数据的距离损失L
m
计算公式如下：
[0024][0025]式中式中分别表示本地数据与先验分布数据在卷积神经网络最后一层全连接层中的特征分布域，w
m
表示权重。
[0026]S5、计算本地模型的总损失L，计算公式如下：
[0027]L＝L
r
+L
p
+L
m
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0028]该公式可以提取本地数据与先验分布数据的不变特征，同时根据各损失中的权重w
r
、w
p
、w
m
有效权衡三种损失的重要程度，提升模型性能。
[0029]S6、多方本地用户利用本地模型的总损失L进行本地模型训练，得到本地模型训练
参数；
[0030]S7、将本地模型训练参数上传至中心用户，首先利用混沌加密算法置乱，得到置乱后的本地模型训练参数，数学公式如下：
[0031]x(m+1)＝λ
·
x(m)
·
(1
‑
x(m))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0032]式中0<x(m)<1，为设定值，3.56994<λ≤4为控制参数，利用混沌加密算法生成与本地模型训练参数数量相同的随机数列T，然后对随机数列T进行规则的排序，得到索引序列I，根据索引对本地模型训练参数进行置乱。
[0033]S8、将置乱后的本地模型训练参数利用CKKS同态加密算法加密后得到加密参数，传至中心用户；
[0034]S9、中心用户聚合多方本地用户上传的加密参数，根据多方本地用户的本地数据的样本数量加权平均，进行参数更新；
[0035]S10、将更新后的加密参数通过同态解密、混沌解密后传至多方本地用户更新本地模型，重复迭代至训练结束。
[0036]专利技术效果
[0037]本专利技术提供了一种基于先验分布并结合同态加密混沌加密混合使用的多用户模型联合迭代方法。本方法首先将需要训练的卷积神经网络模型部署至参与模型联合迭代的多方本地用户。然后本地用户利用本地数据根据本地数据分布选择先验分布类型，并且模拟出先验分布数据，为了防止多方本地用户的本地数据分布差异较大，造成模型训练联合迭代困难，多方本地用户在训练时，将本地数据与先验分布数据一起训练，同时计算本地数据的标签与模型预测损失L
r
、先验分布数据的标签与模型预测损失L
p
以及利用最大均值差异算法计算本地数据与先验分布数据的距离损失L
m本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.融合先验分布与同态混沌加密的多用户模型联合迭代方法，其特征在于，包含本地模型训练和模型联合迭代：所述本地模型训练包含步骤：S1、将初始卷积神经网络模型部署至多方本地用户；S2、本地用户利用本地数据模拟出先验分布数据；S3、计算本地数据的标签与模型预测损失L
r
以及先验分布数据的标签与模型预测损失L
p
；S4、利用最大均值差异算法计算本地数据与先验分布数据的距离损失L
m
；S5、计算本地模型的总损失L；S6、多方本地用户利用步骤S5所述的本地模型的总损失L进行本地模型训练，得到本地模型训练参数；所述模型联合迭代包含步骤：S7、将本地模型训练参数上传至中心用户，首先利用混沌加密算法置乱，数学公式如下：x(m+1)＝λ
·
x(m)
·
(1
‑
x(m))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)式中0<x(m)<1，为设定值，3.56994<λ≤4为控制参数，利用混沌加密算法生成与本地模型训练参数数量相同的随机数列T，然后对随机数列T进行规则的排序，得到索引序列I，根据索引对本地模型训练参数进行置乱；S8、将置乱后的本地模型训练参数利用同态加密算法加密后得到加密参数，传至中心用户；S9、中心用户聚合多方本地用户上传的加密参数，根据多方本地用户的本地数据的样本数量加权平均，进行参数更新；S10、将更新后的加密参数通过同态解密、混沌解密后传至多方本地用户更新本地模型，重复迭代至训练结束。2.如权利要求1所述的融合先验分布与同态混沌加密的多用户模型联合迭代方法，其特征在于步骤S3中计算本地数据的标签与模型预测损失L
r
以及先验分布数据的标签与模型预测损失L
p
，计算公式如下：，计算公式如下：式中N
c
表示样本的类别数量，n
r
表示本地数据的样本数量，表示本地数据的第i个类别标签，h表示卷积神经网络最后一层全连接层，表示其第j个神经元输出值，它将第i个本地数据的样本作为输入，w
r
表示权重；n
p
表示先验分布数据的样本数量，表示先验分布数据的第i个类别标签，是卷积神经网络最后一层全连接层第j个神经元输出值，它将第i个先验分布数据的样本作...

【专利技术属性】
技术研发人员：谢怡宁，王孝东，康庚，刘九庆，周维，
申请(专利权)人：东北林业大学，
类型：发明
国别省市：