联邦学习压缩通信的优化方法、系统及装置制造方法及图纸

本发明专利技术公开了一种联邦学习压缩通信的优化方法、系统及装置。该方法包括：获取分布式模型训练参数，分布式模型训练参数至少包括待训练模型的学习率和各客户端的数据量占比；基于待训练模型的学习率、各客户端的数据量占比和压缩目标函数，确定当前压缩质心数量；将当前迭代轮次的待训练模型和压缩质心数量发送至各客户端，以使各客户端在本地对当前迭代轮次的训练模型分别进行训练，得到模型更新数据，基于当前压缩质心数量确定的压缩率对模型更新数据进行压缩后上传至参数服务器；接收各客户端反馈的压缩模型更新数据，得到当前迭代的训练模型。通过上述方案提高了模型的精度。通过上述方案提高了模型的精度。通过上述方案提高了模型的精度。

【技术实现步骤摘要】
联邦学习压缩通信的优化方法、系统及装置


[0001]本公开实施例涉及物联网
，尤其涉及一种联邦学习压缩通信的优化方法、系统及装置。

技术介绍

[0002]在如今的网络世界中，数据可以通过物联网技术(IoT)在终端处进行收集和存储，这导致数据呈指数型增长。
[0003]为了应对这种挑战，在分布式模型训练过程中，大多通过量化或稀疏化来压缩传输的数据，从而减少通信所需的时间，但压缩后的数据会不可避免地失真，降低最终的模型精度。

技术实现思路

[0004]本公开实施例提供了联邦学习压缩通信的优化方法、系统及装置，以提高模型的精度。
[0005]第一方面，本公开实施例提供了一种联邦学习压缩通信的优化方法，应用于参数服务器，所述参数服务器与多个客户端进行多次迭代的分布式模型训练，所述方法包括：
[0006]获取分布式模型训练参数，所述分布式模型训练参数至少包括待训练模型的学习率和各所述客户端的数据量占比；
[0007]基于所述待训练模型的学习率、各所述客户端的数据量占比和压缩目标函数，确定当前压缩质心数量；
[0008]将当前迭代轮次的待训练模型和压缩质心数量发送至各所述客户端，以使各所述客户端在本地对当前迭代轮次的训练模型分别进行训练，得到模型更新数据，以及基于所述当前压缩质心数量确定的压缩率对所述模型更新数据进行压缩后上传至所述参数服务器；
[0009]接收各所述客户端反馈的压缩模型更新数据，得到当前迭代的训练模型。
[0010]第二方面，本公开实施例还提供了一种联邦学习压缩通信的优化方法，应用于客户端，参数服务器与多个客户端进行多次迭代的分布式模型训练，所述方法包括：
[0011]接收所述参数服务器发送的当前迭代轮次的待训练模型和压缩质心数量；
[0012]基于各所述客户端的本地训练数据对当前迭代轮次的训练模型分别进行训练，得到模型更新数据；
[0013]基于所述当前迭代轮次的压缩质心数量确定的压缩率对所述模型更新数据进行压缩，得到压缩模型更新数据；
[0014]将所述压缩模型更新数据上传至所述参数服务器，以使所述参数服务器得到当前迭代的训练模型。
[0015]第三方面，本公开实施例还提供了一种联邦学习压缩通信的优化系统，所述系统包括：参数服务器和多个客户端；
[0016]所述参数服务器与各所述客户端通信连接，所述参数服务器用于获取分布式模型训练参数，所述分布式模型训练参数至少包括待训练模型的学习率和各所述客户端的数据量占比，基于所述待训练模型的学习率、各所述客户端的数据量占比和压缩目标函数，确定当前压缩质心数量，将当前迭代轮次的待训练模型和压缩质心数量发送至各所述客户端；
[0017]所述客户端用于接收所述参数服务器发送的当前迭代轮次的待训练模型和压缩质心数量；基于各所述客户端的本地训练数据对当前迭代轮次的训练模型分别进行训练，得到模型更新数据；基于所述当前迭代轮次的压缩质心数量确定的压缩率对所述模型更新数据进行压缩，得到压缩模型更新数据；将所述压缩模型更新数据上传至所述参数服务器；
[0018]所述参数服务器还用于接收各所述客户端反馈的压缩模型更新数据，得到当前迭代的训练模型。
[0019]第四方面，本公开实施例还提供了一种联邦学习压缩通信的优化装置，应用于参数服务器，所述参数服务器包括数据获取模块、质心数量确定模块、数据压缩模块和数据压缩模块；其中，
[0020]数据获取模块，用于获取分布式模型训练参数，所述分布式模型训练参数至少包括待训练模型的学习率和各所述客户端的数据量占比；
[0021]质心数量确定模块，用于基于所述待训练模型的学习率、各所述客户端的数据量占比和压缩目标函数，确定当前压缩质心数量；
[0022]数据压缩模块，用于将当前迭代轮次的待训练模型和压缩质心数量发送至各所述客户端，以使各所述客户端在本地对当前迭代轮次的训练模型分别进行训练，得到模型更新数据，以及基于所述当前压缩质心数量确定的压缩率对所述模型更新数据进行压缩后上传至所述参数服务器；
[0023]模型更新模块，用于接收各所述客户端反馈的压缩模型更新数据，得到当前迭代的训练模型。
[0024]第五方面，本公开实施例还提供了一种联邦学习压缩通信的优化装置，应用于客户端，所述客户端包括数据接收模块、模型训练模块、数据压缩模块和模型更新模块，其中，
[0025]数据接收模块，用于接收所述参数服务器发送的当前迭代轮次的待训练模型和压缩质心数量；
[0026]模型训练模块，用于基于各所述客户端的本地训练数据对当前迭代轮次的训练模型分别进行训练，得到模型更新数据；
[0027]数据压缩模块，用于基于所述当前迭代轮次的压缩质心数量确定的压缩率对所述模型更新数据进行压缩，得到压缩模型更新数据；
[0028]模型更新模块，用于将所述压缩模型更新数据上传至所述参数服务器，以使所述参数服务器得到当前迭代的训练模型。
[0029]第六方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
[0030]一个或多个处理器；
[0031]存储装置，用于存储一个或多个程序，
[0032]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的联邦学习压缩通信的优化方法。
[0033]第七方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述
计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的联邦学习压缩通信的优化方法。
[0034]本公开实施例的技术方案，参数服务器通过获取分布式模型训练参数，所述分布式模型训练参数至少包括待训练模型的学习率和各所述客户端的数据量占比，并根据待训练模型的学习率、各客户端的数据量占比和压缩目标函数确定当前压缩质心数量，实现了压缩参数的获取；进一步的，参数服务器可以将当前迭代轮次的待训练模型和压缩质心数量发送至各客户端，以使各客户端在本地对当前迭代轮次的训练模型分别进行训练，得到模型更新数据，以及基于当前压缩质心数量确定的压缩率对模型更新数据进行压缩后上传至参数服务器，使模型更新数据根据压缩质心数量进行自适应压缩，提高了压缩模型更新数据的质量；进一步的，接收各客户端反馈的高质量压缩模型更新数据，基于高质量的压缩模型更新数据确定当前迭代的训练模型，提高了训练模型的精度。
附图说明
[0035]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0036]图1是本公开实施例一提供的一种联邦学习压缩通信的优化方法的流程示意图；
[0037]图2是本公开实施例二提供的一种联邦学习压缩通信的优化方法的流程示意图；
[0038]图3是本公开实施例三提供的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习压缩通信的优化方法，其特征在于，应用于参数服务器，所述参数服务器与多个客户端进行多次迭代的分布式模型训练，所述方法包括：获取分布式模型训练参数，所述分布式模型训练参数至少包括待训练模型的学习率和各所述客户端的数据量占比；基于所述待训练模型的学习率、各所述客户端的数据量占比和压缩目标函数，确定当前压缩质心数量；将当前迭代轮次的待训练模型和压缩质心数量发送至各所述客户端，以使各所述客户端在本地对当前迭代轮次的训练模型分别进行训练，得到模型更新数据，以及基于所述当前压缩质心数量确定的压缩率对所述模型更新数据进行压缩后上传至所述参数服务器；接收各所述客户端反馈的压缩模型更新数据，得到当前迭代的训练模型。2.根据权利要求1所述的方法，其特征在于，所述基于所述待训练模型的学习率、各所述客户端的数据量占比和压缩目标函数，确定当前压缩质心数量，包括：将所述待训练模型的各迭代轮次的学习率和各客户端的数据量占比输入压缩目标函数，并对所述压缩目标函数进行最小化处理，得到当前压缩质心数量。3.根据权利要求1所述的方法，其特征在于，在接收各所述客户端反馈的压缩模型更新数据之后，所述方法还包括：对所述压缩模型更新数据进行解压，得到解压模型更新数据；基于所述解压模型更新数据更新训练模型的模型参数。4.一种联邦学习压缩通信的优化方法，其特征在于，应用于客户端，参数服务器与多个客户端进行多次迭代的分布式模型训练，所述方法包括：接收所述参数服务器发送的当前迭代轮次的待训练模型和压缩质心数量；基于各所述客户端的本地训练数据对当前迭代轮次的训练模型分别进行训练，得到模型更新数据；基于所述当前迭代轮次的压缩质心数量确定的压缩率对所述模型更新数据进行压缩，得到压缩模型更新数据；将所述压缩模型更新数据上传至所述参数服务器，以使所述参数服务器得到当前迭代的训练模型。5.根据权利要求4所述的方法，其特征在于，所述基于所述当前迭代轮次的压缩质心数量确定的压缩率对所述模型更新数据进行压缩，得到压缩模型更新数据,包括：基于所述当前迭代轮次的压缩质心数量确定所述模型更新数据的压缩率；基于所述模型更新数据的压缩率对所述模型更新数据进行压缩。6.根据权利要求5所述的方法，其特征在于，所述基于所述当前迭代轮次的压缩质心数量确定所述模型更新数据的压缩率，包括：其中，Λ
t
表示压缩率，h表示未压缩前参数的比特值，d表示模型的更新维度，Z
t
表示压缩质心数量，t表示迭代轮次。7.一种联邦学习压缩通信的优化系统，其特征在于，所述系统包括：参数服务器和多个
客户端；所述参数服务器与各所述客户端通信连接，所述参数服务器用于获取分布式模型训练参数，所述分布式模型训练参数至少包括待训练模型...

【专利技术属性】
技术研发人员：崔来中，苏晓鑫，周义朋，刘江川，
申请(专利权)人：深圳大学，
类型：发明
国别省市：