【技术实现步骤摘要】
一种神经网络模型知识重合度的度量方法及系统
本专利技术属于人工智能领域，具体涉及一种神经网络模型知识重合度的度量方法及系统。
技术介绍
联邦学习是一种新兴的人工智能基础技术，由谷歌最先提出，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算节点之间开展高效率的机器学习。考虑到用户域数据与开发数据差异较大，开发训练数据集无法覆盖所有用户场景，导致很多未见场景或类别识别错误或不支持。另外由于不同用户数据分布差异较大，统一部署的模型无法满足用户个性化需求，深度的个性化识别模型训练，导致模型更新难度大。这种情景称之为非独立同分布的用户数据。在这种背景下，文[1]提出了FedAvg算法将模型权重直接平均来进行的端侧模型平均。这一方法虽然对于隐私保护有很好的效果，但是利用暴力的直接平均算法求取模型权重的平均值不能很好地度量模型蕴含的知识分布。同时，在非独立同分布的用户数据的情况下，FedAvg算法并不能很好的解决不同分布的模型知识汇聚问题。文[2]提出联...
【技术保护点】
1.一种神经网络模型知识重合度的度量方法，针对多个可微的端侧模型所蕴含的知识进行重合度度量从而得到知识重合度，其特征在于，包括如下步骤：/n步骤S1，针对所有所述端侧模型生成由伪样本构成的伪样本集；/n步骤S2，将所述伪样本集输入训练好的编码器得到与所述端侧模型对应的多个高斯分布，计算所述高斯分布之间的距离，将计算结果作为所述知识重合度从而令用户掌握多个端侧模型的重合情况，/n其中，所述步骤S1包括如下子步骤：/n步骤S1-1，针对每个所述端侧模型随机生成一个批量的随机样本；/n步骤S1-2，将所述随机样本输入对应的所述端侧模型中，得到预测结果；/n步骤S1-3，根据所述预...
【技术特征摘要】
1.一种神经网络模型知识重合度的度量方法，针对多个可微的端侧模型所蕴含的知识进行重合度度量从而得到知识重合度，其特征在于，包括如下步骤：
步骤S1，针对所有所述端侧模型生成由伪样本构成的伪样本集；
步骤S2，将所述伪样本集输入训练好的编码器得到与所述端侧模型对应的多个高斯分布，计算所述高斯分布之间的距离，将计算结果作为所述知识重合度从而令用户掌握多个端侧模型的重合情况，
其中，所述步骤S1包括如下子步骤：
步骤S1-1，针对每个所述端侧模型随机生成一个批量的随机样本；
步骤S1-2，将所述随机样本输入对应的所述端侧模型中，得到预测结果；
步骤S1-3，根据所述预测结果以及预定的目标类别构建损失函数；
步骤S1-4，根据所述损失函数进行反向传播得到梯度，根据所述梯度更新所述随机样本；
步骤S1-5，重复所述步骤S1-2至所述步骤S1-4直到达到预定的伪样本迭代次数从而得到迭代更新后的随机样本作为所述伪样本，所有所述伪样本构成所述伪样本集，
所述步骤S2包括如下子步骤：
步骤S2-1，将所述伪样本集中的每个所述伪样本输入预定的原始编码器得到与所述伪样本对应的初始隐变量，并令所有所述初始隐变量服从正态分布得到与所述伪样本对应的多个隐变量正态分布；
步骤S2-2，将每一个与所述伪样本对应的所述隐变量正态分布内的所有初始隐变量输入至预定的原始解码器中，得到与所述伪样本对应的解码样本；
步骤S2-3，依次计算所述解码样本与对应的所述伪样本之间的重构误差，并反向传播从而训练更新所述原始编码器以及所述原始解码器；
步骤S2-4，重复所述步骤S2-1至所述步骤S2-3直到达到预定的模型迭代次数从而得到训练好的原始编码器以及训练好的原始解码器，并将该训练好的原始编码器作为所述编码器；
步骤S2-5，将每个所述伪样本输入所述编码器得到与所述伪样本对应的隐变量，根据该隐变量得到与所述端侧模型对应的多个所述高斯分布；
步骤S2-6，利用预定的分布距离计算方法计算所述高斯分布之间的距离，并将计算结果作为所述知识重合度。
2.根据权利要求1所述的神经网络模型知识重合度的度量方法，其特征在于：
其中，所述损失函数为交叉熵损失函数。
3.根据权利要求1所述的神经网络模型知识重合度的度量方法，其特征在于：
其中，所述重构误差为所述解码样本与对应的所述伪样本之间的均方误差。
4.根据权利要求1...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。