【技术实现步骤摘要】
本申请涉及人工智能，具体涉及一种数据处理方法以及相关设备。
技术介绍
1、人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，ai基础理论等。
2、联邦学习是一种人工智能技术。联邦学习旨在多个参与方可以在不泄露明文数据的前提下，用多个参与方的数据共同训练机器学习模型，实现数据可用不可见。在机器学习模型的训练和推理的过程中，联邦学习系统中的各个参与方遵循本地数据不出本地的隐私准则。
3、在许多场景中，联邦学习系统需要处理多个推理样本。而目前，联邦学习系统的一种传统处理方式是分别对各个推理样本进行处理，此时，联邦学习系统的算力密度较低。而若联邦学习系统对多个推理样本进行批量处理，由于参与方的资源有限，可能会导致联邦学习系统对一些推理样本的推理效率较低，任务处理质量较差，无法满足不同应用场景中的用户的要求。
技术实现思路
1、本申请提供一种数据处理方法，可以解决目前的联邦学习系统对多个推理样本的推理任务的处理质量较差，难以满足
2、本申请第一方面提供一种数据处理方法，该方法应用于计算节点，计算节点中存储有机器学习模型在多个联邦学习节点中的分布信息，多个联邦学习节点用于实现关于机器学习模型的联邦学习；
3、该方法包括：
4、基于指定指令，根据多个推理样本中每个推理样本对应的服务等级信息以及每个推理样本对应的当前执行信息，从多个联邦学习节点中确定目标节点，并且确定目标节点对应的一个或多个推理样本所关联的推理子任务，其中，每个推理样本对应有推理任务，每个推理样本对应的推理任务包括一个或多个推理子任务；
5、向目标节点发送指示信息，指示信息用于指示目标节点执行相应的一个或多个推理样本所关联的推理子任务。
6、在第一方面中，计算节点可以根据多个推理样本中每个推理样本对应的服务等级信息以及每个推理样本对应的当前执行信息，从多个联邦学习节点中确定目标节点，并且确定目标节点对应的一个或多个推理样本所关联的推理子任务，从而向目标节点发送指示信息，以通过该指示信息，指示目标节点执行相应的一个或多个推理样本所关联的推理子任务。这样，可以在一些场景中，根据实际情况，通过一次通信过程来指示目标节点执行多个推理样本的推理子任务，从而可以根据实际场景的需要，适应性地以计算节点与目标节点之间较为高效的通信方式，指示目标节点以较高的算力密度和吞吐量来执行相关的推理子任务，并且能够满足每个推理样本的相关服务要求，从而提升用户体验。
7、在第一方面的一种可能的实现方式中，计算节点包含于多个联邦学习节点中。
8、在第一方面的一种可能的实现方式中，上述步骤：基于指定指令，根据多个推理样本中每个推理样本对应的服务等级信息以及每个推理样本对应的当前执行信息，从多个联邦学习节点中确定目标节点，并且确定目标节点对应的一个或多个推理样本所关联的推理子任务，包括：
9、基于指定指令，根据多个推理样本中每个推理样本对应的服务等级信息以及每个推理样本对应的当前执行信息，从多个推理样本中确定目标推理样本；
10、根据目标推理样本的当前待执行的推理子任务所对应的联合学习节点，从多个联邦学习节点中确定目标节点，并且确定目标节点对应的一个或多个推理样本所关联的推理子任务。
11、该种可能的实现方式中，可以根据多个推理样本中每个推理样本对应的服务等级信息以及每个推理样本对应的当前执行信息，从多个推理样本中确定目标推理样本。例如，根据多个推理样本中每个推理样本对应的服务等级信息以及每个推理样本对应的当前执行信息，可以从多个推理样本中，确定目前优先级高于指定等级的推理样本、优先级最靠前的前n个的推理样本和/或目前需要尽快执行后续的推理子任务的推理样本等，以作为下一阶段需要立即执行推理子任务的推理样本。这样，可以根据下一阶段需要立即执行推理子任务的推理样本在下一阶段所关联的联邦学习节点，确定目标节点，从而通过目标节点及时高效地处理当前需要尽快处理的推理子任务，以及其他需要通过该目标节点进行处理的推理子任务。
12、在第一方面的一种可能的实现方式中，服务等级信息包括相应推理样本对应的期望执行时长信息；
13、每个推理样本对应的当前执行信息包括相应推理样本对应的估计剩余执行时长和相应推理样本对应的期望剩余执行时长，期望剩余执行时长基于相应推理样本对应的期望执行时长信息和相应推理样本对应的已执行时长而得到；
14、上述步骤：基于指定指令，根据多个推理样本中每个推理样本对应的服务等级信息以及每个推理样本对应的当前执行信息，从多个推理样本中确定目标推理样本，包括：
15、基于指定指令，根据每个推理样本对应的估计剩余执行时长和每个推理样本对应的期望剩余执行时长，从多个推理样本中确定目标推理样本。
16、该种可能的实现方式中，可以根据每个推理样本对应的估计剩余执行时长和每个推理样本对应的期望剩余执行时长，从多个推理样本中筛选出当前需要及时处理的推理样本的推理子任务以及其他可以由同一目标节点进行处理的推理子任务，从而合理安排相应联邦学习节点来尽快执行后续的相关推理子任务。这样，目标节点可以以较高的算力密度和吞吐量来执行相关的一个或多个推理子任务，并且能够满足每个推理样本的相关服务要求，从而提升用户体验。
17、在第一方面的一种可能的实现方式中，当前执行信息包括相应推理样本对应的至少一个运行时长参数的当前取值、相应推理样本的当前执行结果以及相应推理样本当前待执行的推理子任务的信息中的一种或多种。
18、在第一方面的一种可能的实现方式中，至少一个运行时长参数包括相应推理样本对应的已执行时长、估计剩余执行时长、期望剩余执行时长、剩余推理子任务的数量、下一待执行的推理子任务所需的时长中的一种或多种。
19、在第一方面的一种可能的实现方式中，该方法还包括：
20、在接收到任一联邦学习节点发送的反馈信息之后，更新每个推理样本对应的当前执行信息，反馈信息用于指示相应推理样本在相应联邦学习节点中的推理子任务的执行结果。
21、本申请第二方面提供一种数据处理装置，应用于计算节点，该装置具有实现上述第一方面或第一方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法应用于计算节点，计算节点中存储有机器学习模型在多个联邦学习节点中的分布信息，所述多个联邦学习节点用于实现关于所述机器学习模型的联邦学习；
2.根据权利要求1所述的方法，其特征在于，所述计算节点包含于所述多个联邦学习节点中。
3.根据权利要求1或2所述的方法，其特征在于，所述基于指定指令，根据多个推理样本中每个推理样本对应的服务等级信息以及每个推理样本对应的当前执行信息，从所述多个联邦学习节点中确定目标节点，并且确定所述目标节点对应的一个或多个推理样本所关联的推理子任务，包括：
4.根据权利要求3所述的方法，其特征在于，所述服务等级信息包括相应推理样本对应的期望执行时长信息；
5.根据权利要求1-4任一项所述的方法，其特征在于，所述当前执行信息包括相应推理样本对应的至少一个运行时长参数的当前取值、相应推理样本的当前执行结果以及相应推理样本当前待执行的推理子任务的信息中的一种或多种。
6.根据权利要求5所述的方法，其特征在于，所述至少一个运行时长参数包括相应推理样本对应的已执行时长、
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
8.一种数据处理装置，其特征在于，所述装置应用于计算节点，计算节点中存储有机器学习模型在多个联邦学习节点中的分布信息，所述多个联邦学习节点用于实现关于所述机器学习模型的联邦学习；
9.根据权利要求8所述的装置，其特征在于，所述计算节点包含于所述多个联邦学习节点中。
10.根据权利要求8或9所述的装置，其特征在于，
11.根据权利要求10所述的装置，其特征在于，所述服务等级信息包括相应推理样本对应的期望执行时长信息；
12.根据权利要求8-11任一项所述的装置，其特征在于，所述当前执行信息包括相应推理样本对应的至少一个运行时长参数的当前取值、相应推理样本的当前执行结果以及相应推理样本当前待执行的推理子任务的信息中的一种或多种。
13.根据权利要求12所述的装置，其特征在于，所述至少一个运行时长参数包括相应推理样本对应的已执行时长、估计剩余执行时长、期望剩余执行时长、剩余推理子任务的数量、下一待执行的推理子任务所需的时长中的一种或多种。
14.根据权利要求8-13任一项所述的装置，其特征在于，所述装置还包括更新模块；
15.一种计算节点，其特征在于，所述计算节点包括至少一个处理器、存储器及存储在所述存储器上并可被所述至少一个处理器执行的指令，所述至少一个处理器执行所述指令，以实现权利要求1-7任一项所述的方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。
17.一种联邦学习系统，其特征在于，所述联邦学习系统包括多个联邦学习节点，所述多个联邦学习节点中包括计算节点，所述计算节点用于实现权利要求1-7任一项所述的方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于计算节点，计算节点中存储有机器学习模型在多个联邦学习节点中的分布信息，所述多个联邦学习节点用于实现关于所述机器学习模型的联邦学习；
2.根据权利要求1所述的方法，其特征在于，所述计算节点包含于所述多个联邦学习节点中。
3.根据权利要求1或2所述的方法，其特征在于，所述基于指定指令，根据多个推理样本中每个推理样本对应的服务等级信息以及每个推理样本对应的当前执行信息，从所述多个联邦学习节点中确定目标节点，并且确定所述目标节点对应的一个或多个推理样本所关联的推理子任务，包括：
4.根据权利要求3所述的方法，其特征在于，所述服务等级信息包括相应推理样本对应的期望执行时长信息；
5.根据权利要求1-4任一项所述的方法，其特征在于，所述当前执行信息包括相应推理样本对应的至少一个运行时长参数的当前取值、相应推理样本的当前执行结果以及相应推理样本当前待执行的推理子任务的信息中的一种或多种。
6.根据权利要求5所述的方法，其特征在于，所述至少一个运行时长参数包括相应推理样本对应的已执行时长、估计剩余执行时长、期望剩余执行时长、剩余推理子任务的数量、下一待执行的推理子任务所需的时长中的一种或多种。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
8.一种数据处理装置，其特征在于，所述装置应用于计算节点，计算节点中存储有机器学习模型在多个联邦学习节点中的分布信息，所述多个联邦学习节点用于实现关于所述机器学习模型的...
【专利技术属性】
技术研发人员：吴廷耀，杨克宇，熊钦，余思，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。