基于稀疏神经网络的联邦元学习图像分类方法技术

本发明专利技术公开了一种基于稀疏神经网络的联邦元学习图像分类方法，通信效率高，算法性能好。本发明专利技术方法主要包括以下步骤：(10)设置全连接神经网络节点与相关系数，建立源节点集合与目标节点集合；(20)对全连接神经网络进行稀疏化，初始化稀疏神经网络权重参数；(30)在每个源节点的训练集数据上进行训练内部更新；在每个源节点的测试集数据上进行外部更新；(40)移除每个源节点外部更新后权重矩阵每层最小的正数与最大的负数，通过判断迭代次数t是否为设置的本地迭代次数的整数倍以做出相应的处理；(50)基于源节点集合训练得到的参数在每个目标节点中的训练集数据进行梯度更新训练，并利用目标节点微调后的模型进行图像分类任务。务。务。

【技术实现步骤摘要】
基于稀疏神经网络的联邦元学习图像分类方法


[0001]本专利技术属于边缘智能计算领域，具体为一种基于稀疏神经网络的联邦元学习图像分类方法。

技术介绍

[0002]过去几十年来，智能手机的使用量急剧增加。与经典的PC设备相比，智能手机更便携，用户更容易接受。使用智能手机已经成为现代人日常生活的重要组成部分，而智能手机之间传输的数十亿数据为训练机器学习模型提供了巨大的支持。然而，传统的集中式机器学习要求本地客户端(例如智能手机用户)将数据直接上传到中央服务器进行模型训练，这可能会导致严重的私有信息泄漏。
[0003]最近提出了一种称为联邦学习的新兴技术，它允许中央服务器训练一个良好的全局模型，同时维护要在客户端设备上分发的训练数据。每个本地客户端都从服务器下载当前的全局模型，而不是直接向中央服务器发送数据，通过本地数据更新共享模型，然后将更新的全局模型上传回服务器。通过避免共享本地私有数据，可以在联邦学习中有效保护用户的隐私，而统计挑战和系统挑战成为算法设计的重要问题。对于统计挑战，由于不同设备间的离散化数据通常是高度个性化和异构的，导致训练的模型精度会显著降低。对于系统性的挑战，设备的数量通常比传统的分布式设置的设备数量大好几个数量级，此外，每个边缘设备在存储、计算和通信能力方面可能有很大的限制。
[0004]基于初始化的元学习算法，如MAML，以快速适应新任务和良好的泛化而闻名，这使得它特别适合于边缘设备数据是非iid且高度个性化的去中心化联邦设置。元学习背后的基本原理是在多个任务上训练模型的初始参数，这样，仅使用与新任务相对应的少量数据，经过预训练的模型快速适应后，在新任务上实现最大性能。受此启发，提出一种联邦元学习方法，其中所有源边缘节点协作学习全局模型初始化，以便在目标边缘节点仅使用少量数据样本更新模型参数时获得最大性能，从而实现实时边缘智能。
[0005]联邦学习需要大量的通信资源，对于联邦学习的边缘设备通信能力限制，McMahan等人提出的联邦平均(FedAvg)算法可以通过减少本地训练批量大小或增加本地训练次数来减少通信轮次，从而提高通信效率。另一种降低通信成本的方法是通过降低神经网络模型的复杂性来缩小上传的参数。进化人工神经网络的早期思想中提出了系统的神经网络编码方法，然而，其中大多数是直接编码方法，不容易扩展到具有大量层和连接的深层神经网络。为了解决这个问题，增强拓扑的神经进化(NEAT)和无向图编码提出了增强神经网络编码灵活性的方法。尽管它们能够显著提高编码效率，但NEAT和无向图方法都占用了太多的计算资源。因此，我们提出从人工神经网络的设计阶段开始追求拓扑稀疏性，这将导致连接的大幅减少，进而提高内存和计算效率。我们进而发现在人工神经网络中，Erdos R
è
nyi拓扑结构的稀疏连接层能在不降低精度的情况下替换完全连接的神经网络层，能减少优化包含大量连接的深层神经网络的搜索空间。

技术实现思路

[0006]本专利技术的目的在于提供一种基于稀疏神经网络的联邦元学习图像分类方法，算法性能好，效率高，能够实现快速实时边缘智能。
[0007]实现本专利技术目的的技术方案为：一种基于稀疏神经网络的联邦元学习图像分类方法，包括以下步骤：
[0008](10)设置全连接神经网络节点与相关系数，建立图像分类任务的源节点集合和目标节点集合；
[0009](20)对全连接神经网络进行稀疏化，生成稀疏神经网络；
[0010](30)初始化稀疏神经网络权重参数，并发送给所有的源节点作为每个源节点的初始参数；
[0011](40)基于初始参数，在每个源节点的训练集数据上进行训练，以一步梯度下降进行内部更新；
[0012](50)基于每个源节点内部更新后得到的参数，在每个源节点的测试集数据上进行训练，以一步梯度下降进行外部更新；
[0013](60)移除外部更新后参数的权重矩阵每层最小的正数与最大的负数，通过判断迭代次数t是否为设置的本地迭代次数的整数倍以做出相应的处理：
[0014]若迭代次数t不是本地迭代次数的整数倍，则将每个源节点i外部更新后得到的参数作为每个源节点下一轮迭代内部更新的初始参数，判断迭代次数是否达到设置的迭代总次数，若达到则进行步骤(70)，否则返回步骤(40)；
[0015]若迭代次数t是本地迭代次数的的整数倍，则在每个源节点i稀疏连接的参数中随机添加与移除的连接相等数目的随机权重参数，将每个源节点i外部更新后得到的稀疏神经网络参数进行加权聚合，将加权聚合后的全局参数作为每个源节点i下一轮迭代内部更新的初始参数，判断迭代次数是否达到设置的迭代总次数，若达到则进行步骤(70)，否则返回步骤(40)；
[0016](70)将源节点进行T次迭代后得到的参数作为每个目标节点的初始参数，以每个目标节点中的训练集数据进行梯度更新训练，得到目标节点微调后的模型参数；
[0017](80)利用目标节点微调后的模型进行图像分类。
[0018]优选地，设置的全连接神经网络节点与相关系数具体包括：图像分类任务的源节点集合S，目标节点集合G，设置迭代总次数T，本地迭代次数T0，内部更新学习率α，外部更新学习率β，每个节点的训练集的数据占比p，稀疏神经网络参数ε。
[0019]优选地，步骤(20)中稀疏神经网络相邻两层神经元连接的概率为：
[0020][0021]式中，ε是稀疏参数，，ε<<n
k
，ε<<n
k
‑1，n
k
和n
k
‑1是第k层和k
‑
1层的神经元数量。
[0022]优选地，内部更新公式具体为：
[0023][0024]式中，α是内部更新的学习率，表示每个源节点i第t次内部更新时的初始模型参
数，为训练集数据，是每个源节点i的期望损失函数的梯度值，为每个源节点i第t次内部更新后的参数，t＝1，2，...，T为迭代次数。
[0025]优选地，节点的期望损失函数具体为：
[0026][0027]其中，D表示节点的本地图像数据集{(x1,y1),...,(x
j
,y
j
),...,(x
D
,y
D
)}，|D
i
|表示数据集大小，l(θ,(x
j
,y
j
))表示损失函数，(x
j
,y
j
)∈D表示节点的本地图像数据集D中第j个图像数据采样点，x
j
是图像灰度处理后的矩阵，y
j
是图像类别，θ表示模型化参数。
[0028]优选地，外部更新公式具体为：
[0029][0030]式中，表示源节点i第t次外部更新前的参数，β是外部更新学习率，是源节点i测试集数据的期望损失函数的梯度值，是第t次外部更新之后得到的参数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于稀疏神经网络的联邦元学习图像分类方法，其特征在于，包括以下步骤：(10)设置全连接神经网络节点与相关系数，建立图像分类任务的源节点集合和目标节点集合；(20)对全连接神经网络进行稀疏化，生成稀疏神经网络；(30)初始化稀疏神经网络权重参数，并发送给所有的源节点作为每个源节点的初始参数；(40)基于初始参数，在每个源节点的训练集数据上进行训练，以一步梯度下降进行内部更新；(50)基于每个源节点内部更新后得到的参数，在其测试集数据上进行训练，以一步梯度下降进行外部更新；(60)移除每个源节点i外部更新后参数的权重矩阵每层最小的正数与最大的负数，通过判断迭代次数t是否为设置的本地迭代次数的整数倍以做出相应的处理：若迭代次数t不是本地迭代次数的整数倍，则将每个源节点i外部更新后得到的参数作为每个源节点i下一轮迭代内部更新的初始参数，判断迭代次数是否达到设置的迭代总次数，若达到则进行步骤(70)，否则返回步骤(40)；若迭代次数t是本地迭代次数的的整数倍，则在每个源节点i稀疏连接的参数中随机添加与移除的连接相等数目的随机权重参数，将每个源节点i外部更新后得到的稀疏神经网络参数进行加权聚合，将加权聚合后的全局参数作为每个源节点i下一轮迭代内部更新的初始参数，判断迭代次数是否达到设置的迭代总次数，若达到则进行步骤(70)，返回步骤(40)；(70)将源节点进行T次迭代后得到的参数作为每个目标节点的初始参数，以每个目标节点中的训练集数据进行梯度更新训练，得到目标节点微调后的模型参数；(80)利用目标节点微调后的模型进行图像分类。2.根据权利要求1所述的基于稀疏神经网络的联邦元学习图像分类方法，其特征在于，设置的全连接神经网络节点与相关系数具体包括：图像分类任务的源节点集合S，目标节点集合G，设置迭代总次数T，本地迭代次数T0，内部更新学习率α，外部更新学习率β，每个节点的训练集的数据占比p，稀疏神经网络参数ε。3.根据权利要求1所述的基于稀疏神经网络的联邦元学习图像分类方法，其特征在于，步骤(20)中稀疏神经网络相邻两层神经元连接的概率为：式中，ε是稀疏参数，，ε<<n
k
，ε<<n
k
‑1，n

【专利技术属性】
技术研发人员：郭壮壮，钱玉文，马川，李骏，时龙，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：