数据处理方法及装置、设备、存储介质制造方法及图纸

本申请的实施例揭示了一种数据处理方法及装置、设备、存储介质，该方法包括：获取多个数据节点，并根据多个数据节点确定待生成的目标拓扑结构匹配的各个层级的数据节点数量；获取多个数据节点进行本地训练所需的第一时间，并根据各个第一时间和各个层级的数据节点数量确定各个层级对应的数据节点；获取多个数据节点之间数据传输所需的第二时间，并根据第一时间和第二时间确定多个数据节点相邻的下一层级的数据节点；根据各个层级对应的数据节点以及多个数据节点相邻的下一层级的数据节点生成目标拓扑结构；根据目标拓扑结构进行多个数据节点之间数据传输的控制。本申请实施例的技术方案能够降低进行一轮联邦学习相关的数据处理所花费的时间。据处理所花费的时间。据处理所花费的时间。

【技术实现步骤摘要】
数据处理方法及装置、设备、存储介质


[0001]本申请涉及人工智能
，具体而言，涉及一种数据处理方法及装置、设备、存储介质。

技术介绍

[0002]随着智能手机、可穿戴传感器和无人机等终端设备的激增，大量数据在网络边缘生成。然而，由于有限的无线通信资源以及隐私限制，将大量的训练数据从边缘设备传输到服务器并不可行，这使得传统的集中式机器学习面临诸多困难。因此，一个新的机器学习模型分支，即联邦学习，已经从人工智能和边缘计算的交集中出现。联邦学习在利用边缘计算处理数据方面有着先天的优势，但是也存在很多挑战，比如终端上传训练结构需要大量上行带宽、终端的计算能力不足、各个终端同步问题等等，导致进行一轮联邦学习相关的数据处理所花费的时间较长。

技术实现思路

[0003]为解决上述技术问题，本申请的实施例提供了一种数据处理方法及装置、电子设备、计算机可读存储介质，旨在解决进行联邦学习相关的数据处理所花费的时间较长的问题。
[0004]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0005]根据本申请实施例的一个方面，提供了一种数据处理方法，包括：
[0006]获取多个数据节点，并根据所述多个数据节点确定待生成的目标拓扑结构匹配的各个层级的数据节点数量；
[0007]获取所述多个数据节点进行本地训练所需的第一时间，并根据各个第一时间和所述各个层级的数据节点数量确定各个层级对应的数据节点；
[0008]获取所述多个数据节点之间数据传输所需的第二时间，并根据所述第一时间和所述第二时间确定所述多个数据节点相邻的下一层级的数据节点；
[0009]根据各个层级对应的数据节点以及所述多个数据节点相邻的下一层级的数据节点生成所述目标拓扑结构；
[0010]根据所述目标拓扑结构进行所述多个数据节点之间数据传输的控制。
[0011]根据本申请实施例的一个方面，提供了一种数据处理装置，包括：
[0012]第一获取模块，配置为获取多个数据节点，并根据所述多个数据节点确定待生成的目标拓扑结构匹配的各个层级的数据节点数量；
[0013]第二获取模块，配置为获取所述多个数据节点进行本地训练所需的第一时间，并根据各个第一时间和所述各个层级的数据节点数量确定各个层级对应的数据节点；
[0014]第三获取模块，配置为获取所述多个数据节点之间数据传输所需的第二时间，并根据所述第一时间和所述第二时间确定所述多个数据节点相邻的下一层级的数据节点；
[0015]生成模块，配置为根据各个层级对应的数据节点以及所述多个数据节点相邻的下一层级的数据节点生成所述目标拓扑结构；
[0016]控制模块，配置为根据所述目标拓扑结构进行所述多个数据节点之间数据传输的控制。
[0017]根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如前所述的数据处理方法。
[0018]根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的数据处理方法。
[0019]根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施例中提供的数据处理方法。
[0020]在本申请的实施例所提供的技术方案中，各个数据节点的第一时间是依据算力进行本地训练所花费的时间，第二时间是根据各个数据节点之间的实时带宽的第二时间得到的，根据待处理的数据节点的个数确定待生成的目标拓扑结构，再基于第一时间和第二时间将数据节点放到待生成的目标拓扑结构的合适位置，这样能以较小的开销得到一个较优的拓扑结构，基于生成的目标拓扑结构进行后续的数据节点之间的数据传输，使得整体一轮数据处理花费更少的时间，从而降低整体的网络时延。
[0021]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0023]图1是本申请涉及的饱和拓扑结构的示意图；
[0024]图2是本申请一实施例涉及的另一饱和拓扑结构的示意图；
[0025]图3是本申请涉及的一种数据处理方法的流程图；
[0026]图4是本申请一实施例涉及的数据节点的第一时间的示意图；
[0027]图5是本申请一实施例涉及的数据节点之间的第二时间的示意图；
[0028]图6是本申请一实施例涉及的目标拓扑结构的示意图；
[0029]图7是本申请涉及的一种数据处理装置的框图；
[0030]图8是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0031]这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及
附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0032]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0033]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0034]还需要说明的是：在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0035]本申请提供的数据处理方法可运用于联邦机器学习中，联邦机器学习(Federatedmachinelearning/FederatedLearning)，又名联邦学习，联合学习，联盟学习。联邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取多个数据节点，并根据所述多个数据节点确定待生成的目标拓扑结构匹配的各个层级的数据节点数量；获取所述多个数据节点进行本地训练所需的第一时间，并根据各个第一时间和所述各个层级的数据节点数量确定各个层级对应的数据节点；获取所述多个数据节点之间数据传输所需的第二时间，并根据所述第一时间和所述第二时间确定所述多个数据节点相邻的下一层级的数据节点；根据各个层级对应的数据节点以及所述多个数据节点相邻的下一层级的数据节点生成所述目标拓扑结构；根据所述目标拓扑结构进行所述多个数据节点之间数据传输的控制。2.如权利要求1所述的方法，其特征在于，所述根据所述多个数据节点确定待生成的目标拓扑结构匹配的各个层级的数据节点数量，包括：获取所述多个数据节点的个数，以及对应的预设饱和拓扑结构的饱和节点的个数；检测所述多个数据节点的个数与所述饱和节点的个数是否匹配；若不匹配，则计算所述饱和节点的个数与所述数据节点的个数的差值，并根据所述差值从所述饱和拓扑结构中删除与所述差值对应的饱和节点，得到待生成的目标拓扑结构匹配的各个层级的数据节点数量；若匹配，则将所述饱和拓扑结构的各个层级的饱和节点数量作为待生成的目标拓扑结构匹配的各个层级的数据节点数量。3.如权利要求2所述的方法，其特征在于，所述根据所述差值从所述饱和拓扑结构中删除与所述差值对应的饱和节点，得到待生成的目标拓扑结构匹配的各个层级的数据节点数量，包括：获取饱和拓扑结构中，根节点的子节点所对应的饱和子拓扑结构的饱和节点数量；根据所述差值和各个所述饱和节点数量确定目标饱和子拓扑结构；其中，所述目标饱和子拓扑结构的饱和节点数量的和等于所述差值；在所述饱和拓扑结构中，删除所述目标饱和子拓扑结构，得到所述待生成的目标拓扑结构匹配的各个层级的数据节点数量。4.如权利要求1所述的方法，其特征在于，所述根据各个第一时间和所述各个层级的数据节点数量确定各个层级对应的数据节点，包括：将所述多个数据节点按照所有第一时间由小到大的顺序进行排列，得到所述多个数据节点的排序序列；从所述排序序列中确定与各个层级的数据节点数量相同的数据节点作为各个层级对应的数据节点。5.如权利要求1所述的方法，其特征在于，所述根据所述第一时间和所述第二时间确定所述多个数据节点相邻的下一层级的数据节点，包括：根据第一时...

【专利技术属性】
技术研发人员：李斌，彭竞，沈鸿，王奇文，曹启明，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：