任务处理方法、装置、系统、电子设备以及存储介质制造方法及图纸

本公开提供了一种任务处理方法、装置、系统、电子设备以及存储介质，涉及人工智能技术领域，尤其涉及云计算、深度学习和计算机视觉技术领域。具体实现方案为：响应于接收到任务处理请求，获取多个计算节点的可用资源信息和人工智能任务的任务信息，其中，任务信息包括人工智能模型和样本数据；根据任务信息，得到多个子任务的子任务信息；根据可用资源信息和多个子任务各自的资源需求信息，从多个计算节点中确定用于处理多个子任务各自的目标计算节点；向多个子任务各自的目标计算节点发送子任务的子任务信息，以便目标计算节点基于子任务信息处理子任务。务信息处理子任务。务信息处理子任务。

【技术实现步骤摘要】
任务处理方法、装置、系统、电子设备以及存储介质


[0001]本公开涉及人工智能
，尤其涉及云计算、深度学习和计算机视觉
具体地，涉及一种任务处理方法、装置、电子设备以及存储介质。

技术介绍

[0002]随着人工智能技术的发展，深度学习技术也得到了发展。例如，人工智能模型、人工智能硬件设备和将两者联系的软件系统的协同发展，这种协同发展使得软件系统的专业性和复杂度越来越高。可以利用软件系统来配合人工智能硬件设备来实现处理人工智能任务。

技术实现思路

[0003]本公开提供了一种任务处理方法、装置、系统、电子设备以及存储介质。
[0004]根据本公开的一方面，提供了一种任务处理方法，包括：响应于接收到任务处理请求，获取多个计算节点的可用资源信息和人工智能任务的任务信息，其中，上述任务信息包括人工智能模型和样本数据；根据上述任务信息，得到多个子任务的子任务信息；根据上述可用资源信息和上述多个子任务各自的资源需求信息，从上述多个计算节点中确定用于处理上述多个子任务各自的目标计算节点；以及，向上述多个子任务各自的目标计算节点发送上述子任务的子任务信息，以便上述目标计算节点基于上述子任务信息处理上述子任务。
[0005]根据本公开的另一方面，提供了一种任务处理方法，包括：目标计算节点响应于接收到来自控制节点的子任务的子任务信息，基于上述子任务信息处理上述子任务；其中，上述目标计算节点是上述控制节点根据多个计算节点的可用资源信息和多个上述子任务各自的资源需求信息从上述多个计算节点中确定的，上述子任务信息是根据人工智能任务的任务信息得到的，上述多个节点的可用资源信息和上述人工智能任务的任务信息是上述控制节点响应于接收到任务处理请求获取的，上述任务信息包括人工智能模型和样本数据。
[0006]根据本公开的另一方面，提供了一种任务处理方法，包括：获取模块，用于响应于接收到任务处理请求，获取多个计算节点的可用资源信息和人工智能任务的任务信息，其中，上述任务信息包括人工智能模型和样本数据；第一获得模块，用于根据上述任务信息，得到多个子任务的子任务信息；第一确定模块，用于根据上述可用资源信息和上述多个子任务各自的资源需求信息，从上述多个计算节点中确定用于处理上述多个子任务各自的目标计算节点；以及，第一发送模块，用于向上述多个子任务各自的目标计算节点发送上述子任务的子任务信息，以便上述目标计算节点基于上述子任务信息处理上述子任务。
[0007]根据本公开的另一方面，提供了一种任务处理装置，包括：处理模块，用于目标计算节点响应于接收到来自控制节点的子任务的子任务信息，基于上述子任务信息处理上述子任务；其中，上述目标计算节点是上述控制节点根据多个计算节点的可用资源信息和多个上述子任务各自的资源需求信息从上述多个计算节点中确定的，上述子任务信息是根据
人工智能任务的任务信息得到的，上述多个节点的可用资源信息和上述人工智能任务的任务信息是上述控制节点响应于接收到任务处理请求获取的，上述任务信息包括人工智能模型和样本数据。
[0008]根据本公开的另一方面，提供了一种任务处理系统，包括：至少一个控制节点，上述控制节点用于：响应于接收到任务处理请求，获取多个计算节点的可用资源信息和人工智能任务的任务信息；根据上述任务信息，得到多个子任务的子任务信息；根据上述可用资源信息和上述多个子任务各自的资源需求信息，从上述多个计算节点中确定用于处理上述多个子任务各自的目标计算节点；以及，向上述多个子任务各自的目标计算节点发送上述子任务的子任务信息，其中，上述任务信息包括人工智能模型和样本数据；以及。上述多个目标计算节点，上述目标计算节点用于基于上述子任务信息处理上述子任务。
[0009]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行本公开所述的方法。
[0010]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行本公开所述的方法。
[0011]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现本公开所述的方法。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0014]图1示意性示出了根据本公开实施例的可以应用任务处理方法及装置的示例性系统架构；
[0015]图2示意性示出了根据本公开实施例的任务处理方法的流程图；
[0016]图3示意性示出了根据本公开另一实施例的任务处理方法的流程图；
[0017]图4示意性示出了根据本公开实施例的任务处理方法的信令图；
[0018]图5A示意性示出了根据本公开实施例的任务处理过程的示例示意图；
[0019]图5B示意性示出了根据本公开实施例的目标计算节点根据线程执行顺序和子任务信息，利用至少一个线程处理子任务过程的示例示意图；
[0020]图6示意性示出了根据本公开实施例的任务处理装置的框图；
[0021]图7示意性示出了根据本公开另一实施例的任务处理装置的框图；
[0022]图8示意性示出了根据本公开实施例的任务处理系统的框图；以及
[0023]图9示意性示出了根据本公开实施例的适于实现任务处理方法的电子设备的框图。
具体实施方式
[0024]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种
细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0025]本公开实施例提出了一种任务处理方案。例如，控制节点响应于接收到任务处理请求，获取多个计算节点的可用资源信息和人工智能任务的任务信息。任务信息包括人工智能模型和样本数据。根据任务信息，得到多个子任务的子任务信息。根据可用资源信息和多个子任务各自的资源需求信息，从多个计算节点中确定用于处理多个子任务各自的目标计算节点。向多个子任务各自的目标计算节点发送子任务的子任务信息，以便目标计算节点基于子任务信息处理子任务。
[0026]根据本公开的实施例，由于根据计算节点的可用资源信息和子任务的资源需求信息来确定用于处理子任务的目标计算节点，因此，能够实现灵活确定合适的目标计算节点，提高了方案的通用性和计算节点资源利用率。
[0027]图1示意性示出了根据本公开实施例的可以应用任务处理方法及装置的示例性系统架构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法，包括：响应于接收到任务处理请求，获取多个计算节点的可用资源信息和人工智能任务的任务信息，其中，所述任务信息包括人工智能模型和样本数据；根据所述任务信息，得到多个子任务的子任务信息；根据所述可用资源信息和所述多个子任务各自的资源需求信息，从所述多个计算节点中确定用于处理所述多个子任务各自的目标计算节点；以及向所述多个子任务各自的目标计算节点发送所述子任务的子任务信息，以便所述目标计算节点基于所述子任务信息处理所述子任务。2.根据权利要求1所述的方法，其中，所述根据所述可用资源信息和所述多个子任务各自的资源需求信息，从所述多个计算节点中确定用于处理所述多个子任务各自的目标计算节点，包括：基于任务分配策略，根据所述可用资源信息和所述多个子任务各自的资源需求信息，从所述多个计算节点中确定用于处理所述多个子任务各自的目标计算节点，其中，所述任务分配策略是根据节点使用度和节点处理效率中的至少之一确定的。3.根据权利要求1或2所述的方法，其中，所述根据所述任务信息，得到多个子任务的子任务信息，包括：对所述人工智能模型进行划分，得到多个模型结构；以及根据所述多个模型结构和所述样本数据，得到所述多个子任务各自的子任务信息。4.根据权利要求1～3中任一项所述的方法，其中，所述向所述多个子任务各自的目标计算节点发送所述子任务的子任务信息，包括：向启动例程发送所述多个子任务各自的目标计算节点的节点标识，以便所述启动例程根据所述多个子任务各自的目标计算节点的节点标识，启动所述多个子任务各自的目标计算节点；响应于接收到来自所述多个子任务各自的目标计算节点的注册请求，与所述多个子任务各自的目标计算节点建立通信连接；以及向建立通信连接的子任务的目标计算节点发送所述子任务的子任务信息。5.根据权利要求1～3中任一项所述的方法，还包括：根据与所述目标计算节点对应的子任务的子任务信息，确定所述目标计算节点中用于处理所述子任务的至少一个线程；其中，所述向所述多个子任务各自的目标计算节点发送所述子任务的子任务信息，以便所述目标计算节点基于所述子任务信息处理所述子任务，包括：向所述多个子任务各自的目标计算节点发送所述子任务的子任务信息和所述至少一个线程的线程标识，以便所述目标计算节点根据所述至少一个线程的线程标识，调用与所述线程标识对应的线程，基于所述子任务信息，利用所述至少一个线程处理所述子任务。6.根据权利要求1～3中任一项所述的方法，其中，所述向所述多个子任务各自的目标计算节点发送所述子任务的子任务信息，以便所述目标计算节点基于所述子任务信息处理所述子任务，包括：向所述多个子任务各自的目标计算节点发送子任务的子任务信息，以便所述目标计算节点根据所述子任务信息，确定用于处理所述子任务的至少一个线程，调用所述至少一个
线程，基于所述子任务信息，利用所述至少一个线程处理所述子任务。7.根据权利要求1～6中任一项所述的方法，还包括：根据多个所述目标计算节点的运行状态信息，更新多个所述目标计算节点的可用资源信息，得到更新后的多个计算节点的可用资源信息，其中，所述运行状态信息包括以下至少之一：节点状态信息和数据等待时长信息；根据所述多个子任务的任务处理信息，更新所述多个子任务的资源需求信息，得到更新后的多个子任务的资源需求信息；在根据所述目标计算节点的运行状态信息和与所述目标计算节点对应的子任务的任务处理信息中的至少之一确定满足预定任务重分配条件的情况下，根据所述更新后的多个计算节点的可用资源信息和所述更新后的多个子任务的资源需求信息，重新确定用于处理所述子任务的目标计算节点，得到用于处理所述子任务的新的目标计算节点；以及向所述新的目标计算节点发送所述目标计算节点的子任务相关信息，以便所述新的目标计算节点基于所述子任务相关信息处理所述子任务，其中，所述子任务相关信息是根据所述目标计算节点的子任务信息和所述任务处理信息确定的。8.根据权利要求1～7中任一项所述的方法，还包括：创建所述多个子任务和用于所述多个子任务各自的目标计算节点之间的关联关系，得到多个关联关系；以及将所述多个关联关系存储至任务处理表。9.根据权利要求8所述的方法，还包括：根据所述多个关联关系，将多个所述目标计算节点的运行状态信息和所述多个子任务的任务处理信息存储至所述任务处理表。10.根据权利要求1～9中任一项所述的方法，还包括：响应于接收到来自所述多个目标计算节点的任务处理结果，根据所述多个目标计算节点的任务处理结果，确定目标任务处理结果。11.一种任务处理方法，包括：目标计算节点响应于接收到来自控制节点的子任务的子任务信息，基于所述子任务信息处理所述子任务；其中，所述目标计算节点是所述控制节点根据多个计算节点的可用资源信息和多个所述子任务各自的资源需求信息从所述多个计算节点中确定的，所述子任务信息是根据人工智能任务的任务信息得到的，所述多个节点的可用资源信息和所述人工智能任务的任务信息是所述控制节点响应于接收到任务处理请求获取的，所述任务信息包括人工智能模型和样本数据。12.根据权利要求11所述的方法，还包括：响应于检测到启动完毕操作，向所述控制节点发送注册请求，以便所述控制节点响应于接收到所述目标节点的注册请求，与所述目标节点建立通信连接；其中，所述启动完毕操作是启动例程根据所述目标节点的节点标识启动所述目标节点之后生成的，所述目标节点的节点标识是所述启动例程接收到来自所述控制节点的节点标识。13.根据权利要求11或12所述的方法，其中，所述目标计算节点响应于接收到来自控制
节点的子任务的子任务信息，基于所述子任务信息处理所述子任务，包括：所述目标计算节点响应于接收到来自所述控制节点的所述子任务的子任务信息和所述目标计算节点中用于处理所述子任务的至少一个线程的线程标识，根据所述至少一个线程的线程标识调用所述至少一个线程；以及基于所述子任务信息，利用所述至少一个线程处理所述子任务。14.根据权利要求11或12所述的方法，其中，所述目标计算节点响应于接收到来自控制节点的子任务的子任务信息，基于所述子任务信息处理所述子任务，包括：所述目标计算节点响应于接收到来自所述控制节点的子任务的子任务信息，根据所述子任务信息，确定用于处理所述子任务的至少一个线程；以及基于所述子任务信息，利用所述至少一个线程处理所述子任务。15.根据权利要求13或14所述的方法，其中，所述基于所述子任务信息，利用所述至少一个线程处理所述子任务，包括：根据所述子任务信息，确定线程执行顺序；以及根据所述线程执行顺序和所述子任务信息，利用所述至少一个线程处理所述子任务。16.根据权利要求15所述的方法，其中，所述根据所述线程执行顺序和所述子任务信息，利用所述至少一个线程处理所述子任务，包括：利用当前线程处理从当前线程的任务队列中获取的当前待处理任务的当前待处理任务信息，得到当前任务处理结果，其中，所述当前待处理任务是从至少一个子任务的初始任务中确定的，所述至少一个子任务的初始任务是根据所述子任信息对所述子任务进行划分得到的；利用所述当前线程向线程转换例程发送所述当前任务处理结果；利用所述线程转换例程向新的当前线程的任务队列发送所述当前待处理任务的新的当前待处理任务信息，其中，所述新的当前待处理任务信息包括所述当前任务处理结果；以及重复执行获得所述当前任务处理结果的操作，直至所述子任务被处理完毕。17.根据权利要求11～16中任一项所述的方法，还包括：向所述控制节点发送任务处理结果，以便所述控制节点根据所述任务处理结果和接收到来自其他目标计算节点的任务处理结果，确定目标任务处理结果。18.一种任务处理装置，包括：获取模块，用于响应于接收到任务处理请求，获取多个计算节点的可用资源信息和人工智能任务的任务信息，其中，所述任务信息包括人工智能模型和样本数据；第一获得模块，用于根据所述任务信息，得到多个子任务的子任务信息；第一确定模块，用于根据所述可用资源信息和所述多个子任务各自的资源需求信息，从所述多个计算节点中确定用于处理所述多个子任务各自的目标计算节点；以及第一发送模块，用于向所述多个子任务各自的目标计算节点发送所述子任务的子任务信息，以便所述目标计算节点基于所述子任务信息处理所述子任务。19.根据权利要求18所述的装置，其中，所述第一确定模块，包括：第一确定子模块，用于基于任务分配策略，根据所述可用资源信息和所述多个子任务各自的资源需求信息，从所述多个计算节点中确定用于处理所述多个子任务各自的目标计
算节点，其中，所述任务分配策略是根据节点使用度和节点处理效率中的至少之一确定的。20.根据权利要求18或19所述的装置，其中，所述第一获得模块，包括：第一获得子模块，用于对所述人工智...

【专利技术属性】
技术研发人员：汪彬，吴志华，王冠群，赵彩贝，姚雪峰，吴鑫烜，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：