数据处理方法、装置、电子设备及计算机可读存储介质制造方法及图纸

技术编号:36877023 阅读:39 留言:0更新日期:2023-03-15 20:45
本申请提供了一种数据处理方法、装置、电子设备及计算机可读存储介质;应用于第一外包节点,所述第一外包节点为多个外包节点中的一个,所述方法包括:接收第一计算节点的第一请求,所述第一请求用于请求第一数量的所述外包节点提供多个第一参数,所述第一参数用于所述第一计算节点执行目标计算任务;协同所述多个外包节点中的其他外包节点,从所述多个外包节点中选择第一数量的目标外包节点,所述多个第一参数由所述第一数量的目标外包节点共同提供;如果所述第一外包节点被选择为所述目标外包节点,则向所述第一计算节点提供所述多个第一参数中的部分第一参数。通过本申请,能够获得用于执行目标计算任务的第一参数的效率。得用于执行目标计算任务的第一参数的效率。得用于执行目标计算任务的第一参数的效率。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及计算机可读存储介质


[0001]本申请涉及计算机技术,尤其涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]对于一些计算任务,需要利用一些参数来辅助执行,这些参数需要提前生成,对于复杂的计算任务所需要的参数的数量也是庞大的。目前的做法是通过执行该计算任务的计算节点生成执行任务所需要的参数,然后根据生成的参数去处理计算任务。由于计算节点计算资源有限,预先生成参数的过程将给计算节点带来较大的计算压力,使得计算效率较低。

技术实现思路

[0003]本申请实施例提供一种数据处理方法、装置、电子设备及计算机可读存储介质。
[0004]本申请实施例的技术方案是这样实现的:
[0005]本申请实施例提供一种数据处理方法,包括:
[0006]接收第一计算节点的第一请求,所述第一请求用于请求第一数量的所述外包节点提供多个第一参数,所述第一参数用于所述第一计算节点执行目标计算任务;
[0007]协同所述多个外包节点中的其他外包节点,从所述多个外包节点中选择第一数量的目标外包节点,所述多个第一参数由所述第一数量的目标外包节点共同提供;
[0008]如果所述第一外包节点被选择为所述目标外包节点,则向所述第一计算节点提供所述多个第一参数中的部分第一参数。
[0009]上述方案中,所述多个第一参数的数量为第二数量,所述从所述多个外包节点中选择第一数量的目标外包节点之后,所述方法还包括:
[0010]基于所述第一数量及所述第二数量,确定第一数量的目标外包节点中每个目标外包节点需提供的第一参数的数量;
[0011]其中,所述部分第一参数的数量为所述第一外包节点需提供的第一参数的数量。
[0012]上述方案中,所述第一计算节点为多个计算节点中的一个,所述向所述第一计算节点提供所述多个第一参数中的部分第一参数,包括:
[0013]对所述部分第一参数进行计算处理,得到多个计算节点中每个计算节点对应的第二参数;
[0014]分别将每个第二参数发送至对应的计算节点;
[0015]其中,各计算节点对应的第二参数用于共同构成所述部分第一参数。
[0016]上述方案中,所述第一计算节点为多个计算节点中的一个,所述向所述第一计算节点提供所述多个第一参数中的部分第一参数,包括:
[0017]根据所述多个计算节点的数量,分别将所述部分第一参数中的每个第一参数拆分成相应数量的第一参数分片;
[0018]分别将每个第一参数对应的相应数量的第一参数分片,分发至多个计算节点;
[0019]其中,每个计算节点对应每个第一参数的一个第一参数分片,各计算节点对应的第一参数分片用于共同构成所述部分第一参数。
[0020]上述方案中,所述第一计算节点为多个计算节点中的一个,所述向所述第一计算节点提供所述多个第一参数中的部分第一参数,包括:
[0021]利用第三参数对所述部分第一参数进行隐私保护处理,得到相应的隐私参数;
[0022]确定所述多个计算节点中的目标计算节点,将所述隐私参数发送至所述目标计算节点,以使所述目标计算节点根据所述多个计算节点的数量,将所述隐私参数拆分成相应数量的隐私参数分片,并将相应数量的隐私参数分片分发至多个计算节点;
[0023]根据所述多个计算节点的数量,将所述第三参数拆分成相应数量的第三参数分片,并将相应数量的第三参数分片分发至多个计算节点;
[0024]其中,每个计算节点对应一个隐私参数分片及一个第三参数分片,各计算节点对应的隐私参数分片及第三参数分片,用于共同构成所述部分第一参数。
[0025]本申请实施例提供一种数据处理方法,应用于第一计算节点,包括:
[0026]向第一外包节点发送第一请求,以使所述第一外包节点响应于所述第一请求,协同所述多个外包节点中的其他外包节点,从所述多个外包节点中选择第一数量的目标外包节点;
[0027]其中,所述第一外包节点为多个外包节点中的一个,所述第一请求用于请求第一数量的所述外包节点提供多个第一参数,所述第一参数用于所述第一计算节点执行目标计算任务,所述多个第一参数由所述第一数量的目标外包节点共同提供;
[0028]如果所述第一外包节点被选择为所述目标外包节点,则接收所述第一外包节点提供的所述多个第一参数中的部分第一参数。
[0029]上述方案中,所述向第一外包节点发送第一请求之前,所述方法还包括:
[0030]接收目标计算任务,根据所述目标计算任务确定用于提供第一参数的外包节点的第一数量和需求的第一参数的第二数量;
[0031]根据所述第一数量和所述第二数量,生成所述第一请求。
[0032]上述方案中,所述第一计算节点为多个第一计算节点中的一个,所述方法还包括:
[0033]接收所述第一外包节点发送的第二参数;
[0034]其中,每个计算节点接收一个第二参数,所述第二参数为所述第一外包节点对所述部分第一参数进行计算处理得到;
[0035]协同所述多个计算节点中的其他计算节点,利用各计算节点接收的第二参数构成所述第一参数的第一参数分片。
[0036]本申请实施例提供一种数据处理装置,所述装置包括:
[0037]接收模块,用于第一外包节点接收第一计算节点的第一请求,所述第一外包节点为多个外包节点中的一个,所述第一请求用于请求第一数量的外包节点提供多个第一参数,所述第一参数用于所述第一计算节点执行目标计算任务;
[0038]选择模块,用于协同所述多个外包节点中的其他外包节点,从所述多个外包节点中选择第一数量的目标外包节点,所述多个第一参数由所述第一数量的目标外包节点共同提供;
[0039]参数提供模块,用于如果所述第一外包节点被选择为所述目标外包节点,则向所述第一计算节点提供所述多个第一参数中的部分第一参数。
[0040]本申请实施例提供一种数据处理装置,所述装置包括:
[0041]发送模块,用于向第一外包节点发送第一请求,以使所述第一外包节点响应于所述第一请求,协同所述多个外包节点中的其他外包节点,从所述多个外包节点中选择第一数量的目标外包节点;
[0042]其中,所述第一外包节点为多个外包节点中的一个,所述第一请求用于请求第一数量的所述外包节点提供多个第一参数,所述第一参数用于所述第一计算节点执行目标计算任务,所述多个第一参数由所述第一数量的目标外包节点共同提供;
[0043]接收模块,用于如果所述第一外包节点被选择为所述目标外包节点,则接收所述第一外包节点提供的所述多个第一参数中的部分第一参数。
[0044]本申请实施例提供一种电子设备,包括:
[0045]存储器,用于存储可执行指令;
[0046]处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的数据处理方法。
[0047]本申请实施例提供一种计算机可读存本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,应用于第一外包节点,所述第一外包节点为多个外包节点中的一个,所述方法包括:接收第一计算节点的第一请求,所述第一请求用于请求第一数量的所述外包节点提供多个第一参数,所述第一参数用于所述第一计算节点执行目标计算任务;协同所述多个外包节点中的其他外包节点,从所述多个外包节点中选择第一数量的目标外包节点,所述多个第一参数由所述第一数量的目标外包节点共同提供;如果所述第一外包节点被选择为所述目标外包节点,则向所述第一计算节点提供所述多个第一参数中的部分第一参数。2.根据权利要求1所述的方法,所述多个第一参数的数量为第二数量,所述从所述多个外包节点中选择第一数量的目标外包节点之后,所述方法还包括:基于所述第一数量及所述第二数量,确定第一数量的目标外包节点中每个目标外包节点需提供的第一参数的数量;其中,所述部分第一参数的数量为所述第一外包节点需提供的第一参数的数量。3.根据权利要求1所述的方法,所述第一计算节点为多个计算节点中的一个,所述向所述第一计算节点提供所述多个第一参数中的部分第一参数,包括:对所述部分第一参数进行计算处理,得到多个计算节点中每个计算节点对应的第二参数;分别将每个第二参数发送至对应的计算节点;其中,各计算节点对应的第二参数用于共同构成所述部分第一参数。4.根据权利要求1所述的方法,所述第一计算节点为多个计算节点中的一个,所述向所述第一计算节点提供所述多个第一参数中的部分第一参数,包括:根据所述多个计算节点的数量,分别将所述部分第一参数中的每个第一参数拆分成相应数量的第一参数分片;分别将每个第一参数对应的相应数量的第一参数分片,分发至多个计算节点;其中,每个计算节点对应每个第一参数的一个第一参数分片,各计算节点对应的第一参数分片用于共同构成所述部分第一参数。5.根据权利要求1所述的方法,所述第一计算节点为多个计算节点中的一个,所述向所述第一计算节点提供所述多个第一参数中的部分第一参数,包括:利用第三参数对所述部分第一参数进行隐私保护处理,得到相应的隐私参数;确定所述多个计算节点中的目标计算节点,将所述隐私参数发送至所述目标计算节点,以使所述目标计算节点根据所述多个计算节点的数量,将所述隐私参数拆分成相应数量的隐私参数分片,并将相应数量的隐私参数分片分发至多个计算节点;根据所述多个计算节点的数量,将所述第三参数拆分成相应数量的第三参数分片,并将相应数量的第三参数分片分发至多个计算节点;其中,每个计算节点对应一个隐私参数分片及一个第三参数分片,各计算节点对应的隐私参数分片及第三参数分片,用于共同构成所述部分第...

【专利技术属性】
技术研发人员:郭青霄王云浩
申请(专利权)人:联想北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1