模型优化方法、电子设备以及计算机可读存储介质技术

本发明专利技术公开了一种模型优化方法、电子设备以及计算机可读存储介质，该方法应用于第一电子设备，第一电子设备处于包括多个第二电子设备的集群网络，多个第二电子设备上至少分布两种具有不同数据结构的第一数据，第一电子设备根据每个第二电子设备上分布的第一数据的数据结构，为每个第二电子设备确定第一神经网络模型，第一神经网络模型包括第一模型参数和第一结构参数；第一电子设备根据每个第二电子设备对应的第一数据，确定多个第二电子设备之间的相关系数，以及第一电子设备根据相关系数调整每个第二电子设备对应的第一模型参数和第一结构参数，得到第二神经网络模型，第二神经网络结构为针对集群网络进行模型优化得到的神经网络模型。神经网络模型。神经网络模型。

【技术实现步骤摘要】
模型优化方法、电子设备以及计算机可读存储介质


[0001]本专利技术涉及人工智能学习领域，尤其是涉及模型优化方法、装置、电子设备以及计算机可读存储介质。

技术介绍

[0002]现有的联邦学习(Federated Learning，FL)技术中，集群网络中各客户端设备(或节点设备)通过配置相同的神经网络模型，即神经网络模型的结构相同，然后由集群网络中的服务器聚合客户端设备(或节点设备)上传的各神经网络模型的模型参数，或者说对客户端设备上传的各神经网络模型的模型参数进行加权平均，得到更新后的模型参数，进而得到优化后的全局神经网络模型，然后服务器将该全局神经网络模型发送至各客户端设备，完成共同训练。
[0003]但是上述方法无法满足各客户端设备模型优化的个性化需求。同时也加重了客户端设备的计算负担。
[0004]在另外一些方案中，研究人员开始关注个性化联邦学习(Personalized Federated Learning,PFL)。个性化联邦学习利用多任务学习、元学习等技术，将每个客户端设备的学习任务视作不同任务，以此得到每个客户端设备对应的单独的神经网络模型，进而实现模型优化的个性化(例如摩卡(MOCHA)个性化联邦学习方法)。
[0005]但是，这种个性化联邦学习方法存在过拟合或欠拟合问题。
[0006]在其他方案中，研究人员则考虑将知识蒸馏方法(Knowledge Distillation,KD)中只交换软标签(也即神经网络模型针对某数据输出的概率值)、不交换神经网络模型的模型参数的思想运用到联邦学习中，例如异步联邦学习方法(Heterogenous Federated Learning via Model Distillation，FedMD)、知识蒸馏联邦学习算法(To enable FEDerated learning in more realistic settings,we propose to use ensemble Distillation for robust model Fusion，FedDF)等联邦学习算法)。
[0007]然而，这种通过交换各客户端设备的软标签的形式进行模型优化的方法存在数据隐私和通信负担大的问题。
[0008]需要说明的是，在上述
技术介绍
部分公开的信息仅用于对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0009]有鉴于此，本专利技术提供了一种模型优化方法、装置、电子设备以及计算机可读存储介质，以解决现有联邦学习中，无法满足模型优化过程中各客户端设备个性化优化的需求。
[0010]第一方面，本专利技术提供了一种模型优化方法，该方法应用于第一电子设备，第一电子设备处于集群网络，集群网络还包括多个第二电子设备，多个第二电子设备上至少分布两种具有不同数据结构的第一数据，方法包括：第一电子设备根据每个第二电子设备上分布的第一数据的数据结构，为每个第二电子设备确定第一神经网络模型，第一神经网络模
型包括第一模型参数和第一结构参数；第一电子设备根据每个第二电子设备对应的第一数据，确定多个第二电子设备之间的相关系数，以及第一电子设备根据相关系数调整每个第二电子设备对应的所第一模型参数和第一结构参数，得到第二神经网络模型，第二神经网络结构为针对集群网络进行模型优化得到的神经网络模型。
[0011]在一些实现方式中，第一电子设备可以是集群网络中的服务器或者具有与服务器相同功能的其他电子设备，第二电子设备可以是集群网络中的客户端设备，也可以称之为节点设备，其中，客户端设备可以是智能手机、平板电脑、台式计算机、笔记本等设备，本专利技术对此不作限制。
[0012]在一些实现方式中，第一数据包括图像数据、文本数据、音频数据等数据，本专利技术对此不作限制。
[0013]在一些实现方式中，具有不同数据结构的第一数据指的是，两种或以上的第一数据所包括的种类相同，但是每个种类下面的数据量不相同。
[0014]通过上述方法，由于涉及第二电子设备上的各神经网络模型的模型参数和结构参数的调整，都转移至第一电子设备进行，因此可以减轻第二电子设备的计算压力。并且，由第一电子设备根据每个第二电子设备上第一数据的数据结构，为每个第二电子设备确定与其数据结构对应的第一神经网络模型，可使后续由第一电子设备统一根据每个第二电子设备对应的权重优化每个第二电子设备对应的第一神经网络模型变得可行，解决了联邦学习中必须使各第二电子设备上模型结构一致才可以进行模型优化的局限性，满足了各第二电子设备在模型优化过程中的个性化需求。
[0015]结合第一方面，在第一方面的一种可能的实现方式中，多个第二电子设备之间的相关系数是第一电子设备基于每个第二电子设备对应的第一标签数据确定的，每个第二电子设备对应的第一标签数据是每个第二电子设备利用对应的第一神经网络模型处理对应的第一数据得到的。
[0016]可以理解，由于每个第二电子设备在数据处理能力、通信能力的差异，可以体现在每个第二电子设备利用第一神经网络模型进行数据处理的结果上，因此可以通过上述方式，根据每个第二电子设备对应的第一标签数据，确定出第二电子设备之间的相关性，以便于后续根据第二电子设备之间的相关性，对每个第一神经网络模型进行优化。
[0017]结合第一方面以及上述可能的实现方式，在第一方面的另一种可能的实现方式中，第一电子设备根据相关系数调整每个第二电子设备对应的所第一模型参数和第一结构参数，包括：第一电子设备将相关系数发送至每个第二电子设备，控制每个第二电子设备基于对应的第一数据以及相关系数确定第一权重；第一电子设备根据第一权重，调整第一模型参数和第一结构参数。
[0018]结合第一方面以及上述可能的实现方式，在第一方面的另一种可能的实现方式中，相关系数包括表示每个第二电子设备之间相关性的矩阵。
[0019]也即，为了便于后续的计算，相关系数可以表示成包括每个第二电子设备之间相关性的矩阵形式。
[0020]结合第一方面以及上述可能的实现方式，在第一方面的另一种可能的实现方式中，第一电子设备根据每个第二电子上分布的第一数据的数据结构，为每个第二电子设备确定第一神经网络模型结构，包括：第一电子设备根据每个第二电子设备上分布的第一数
据的数据结构，利用神经网络模型架构搜索方法(NAS)为每个第二电子设备确定第一神经网络模型结构。
[0021]可以理解，由于NAS算法是基于相同的超网络进行的搜索算法，因此采用NAS算法搜索出来的适用各第二电子设备的第一神经网络模型的第一模型参数和第一结构参数在数据尺寸上一致的，有利于后续计算。其中，数据尺寸上的一致指的是数据在表示为向量的情况下，其向量维度一致。
[0022]结合第一方面以及上述可能的实现方式，在第一方面的另一种可能的实现方式中，具有不同数据结构的第一数据包括数据种类相同但每个种类下数据量不同的第一数据。
[0023]结合第一方面以及上述可能的实现方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型优化方法，其特征在于，应用于第一电子设备，第一电子设备处于集群网络，集群网络还包括多个第二电子设备，多个第二电子设备上至少分布两种具有不同数据结构的第一数据，方法包括：第一电子设备根据每个第二电子设备上分布的第一数据的数据结构，为每个第二电子设备确定第一神经网络模型，第一神经网络模型包括第一模型参数和第一结构参数；第一电子设备根据每个第二电子设备对应的第一数据，确定多个第二电子设备之间的相关系数，以及第一电子设备根据相关系数调整每个第二电子设备对应的第一模型参数和第一结构参数，得到第二神经网络模型，第二神经网络结构为针对集群网络进行模型优化得到的神经网络模型。2.根据权利要求1的方法，其特征在于，多个第二电子设备之间的相关系数是第一电子设备基于每个第二电子设备对应的第一标签数据确定的，每个第二电子设备对应的第一标签数据是每个第二电子设备利用对应的第一神经网络模型处理对应的第一数据得到的。3.根据权利要求1的方法，其特征在于，第一电子设备根据相关系数调整每个第二电子设备对应的所第一模型参数和第一结构参数，包括：第一电子设备将相关系数发送至每个第二电子设备，控制每个第二电子设备基于对应的第一数据以及相关系数确定第一权重；第一电子设备根据第一权重，调整第一模型参数和第一结构参数。4.根据权利要求1至3中任一项的方法，其特征在于，相关系数包括表示每个第二电子设备之间相关性的矩阵。5.根据权利要求1至4中任一项的方法，其特征在于，第一电子设备根据每个第二电子上分布的第一数据的数据结构，为每个第二电子设备确定第一神经网络模型结构，包括：第一电子设备根据每个第二电子设备上分布...

【专利技术属性】
技术研发人员：王晓禅，王智，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：