一种适用于异构系统的数据处理方法和装置制造方法及图纸

本发明专利技术实施例公开了一种适用于异构系统的数据处理方法和装置。本发明专利技术实施例通过确定数据处理请求对应的多个任务和任务间的执行顺序，从而分别确定多个任务对应的多个子任务和子任务间的执行顺序，同时，获取异构系统的资源信息，其中，资源信息包括所述异构系统内运行的硬件的属性信息和状态信息，进而根据资源信息对子任务进行资源分配，确定资源分配信息，从而根据资源分配信息、任务间的执行顺序和子任务间的执行顺序执行所述子任务，使得每个子任务能够以较高的效率在对应的硬件上执行，由此可以获取所述数据处理请求对应的结果。由此，能够对资源进行合理分配，提升每个子任务的执行效率，从而有效提升数据处理的效率。

【技术实现步骤摘要】
一种适用于异构系统的数据处理方法和装置
本专利技术涉及计算机
，具体涉及一种适用于异构系统的数据处理方法和装置。
技术介绍
随着计算机
的迅速发展，处理器的种类和功能也在快速发展，例如CPU(CentralProcessingUnit，中央处理器)，GPU(GraphicsProcessingUnit，图形处理器)，TPU(TensorProcessingUnit，张量处理器)，BPU(BrainProcessingUnit，大脑处理器)等。其中，CPU适用于逻辑复杂的串行数据处理任务，GPU适用于处理简单且可大规模并行加速的任务。现有的数据处理方案仅针对通用处理器(例如CPU)或特定类型的处理器(例如GPU)进行设计，因此数据处理的效率有时不理想。
技术实现思路
有鉴于此,本专利技术实施例公开了一种适用于异构系统的数据处理方法和装置，能够有效提升数据处理的效率。第一方面，本专利技术实施例提供了一种适用于异构系统的数据处理方法，所述方法包括：获取数据处理请求；确定所述数据处理请求对应的多个任务和第一执行顺序，所述第一执行顺序为所述多个任务的执行顺序；确定所述任务对应的多个子任务和第二执行顺序，所述第二执行顺序为所述多个子任务的执行顺序；获取所述异构系统的资源信息，所述资源信息包括所述异构系统内运行的硬件的属性信息和状态信息；根据所述资源信息对所述子任务进行资源分配，确定资源分配信息；根据所述资源分配信息和执行顺序执行所述子任务，获取所述数据处理请求对应的结果，所述执行顺序包括所述第一执行顺序和/或所述第二执行顺序。优选地，所述确定所述任务对应的多个子任务和第二执行顺序包括：根据预定的任务类型-子任务类型的对应关系确定所述任务对应的多个子任务和所述第二执行顺序。优选地，所述获取所述异构系统的资源信息包括：根据预定的子任务类型-硬件类型的对应关系获取所述子任务对应的至少一个所述资源；获取所述子任务对应的所述资源信息。优选地，所述状态信息包括所述硬件的可用状态和所述硬件的子任务执行情况。优选地，所述根据所述资源信息对所述子任务进行资源分配，确定资源分配信息包括：根据所述资源信息和所述第二执行顺序对所述子任务进行资源分配，确定所述资源分配信息。优选地，所述根据所述资源信息和所述第二执行顺序对所述子任务进行资源分配，确定所述资源分配信息包括：根据所述硬件的子任务执行情况获取所述硬件正在执行的子任务；根据所述第二执行顺序获取所述多个子任务的依赖关系；响应于所述正在执行的子任务与待分配的所述子任务存在所述依赖关系且所述正在执行的子任务对应的硬件类型与所述待分配的子任务对应的硬件类型相同，确定所述待分配的子任务对应的资源分配信息为与所述正在执行的子任务的资源分配信息相同。优选地，所述根据所述资源分配信息和所述执行顺序执行所述子任务包括：响应于被分配的资源的可用状态为不可用，将对应的所述子任务挂起。优选地，所述根据所述资源分配信息和所述执行顺序执行所述子任务，获取所述数据处理请求对应的结果包括：根据所述第一执行顺序确定至少一个当前执行任务；根据所述资源分配信息和所述第二执行顺序执行所述当前执行任务内的所述多个子任务，获取所述当前执行任务的执行结果。优选地，所述根据所述资源分配信息和所述第二执行顺序执行所述当前执行任务内的所述多个子任务，获取所述当前执行任务的执行结果包括：响应于存在第二执行顺序在前的所述子任务，获取所述第二执行顺序在前的子任务的执行结果；根据所述第二执行顺序在前的子任务的执行结果和所述第二执行顺序执行当前子任务；响应于同一所述任务内的所述多个子任务全部执行完毕，获取第二执行顺序在最后的子任务的执行结果作为所述当前执行任务的执行结果。第二方面，本专利技术实施例公开了一种适用于异构系统的数据处理装置，所述装置包括：请求获取单元，用于获取数据处理请求；第一确定单元，用于确定所述数据处理请求对应的多个任务和第一执行顺序，所述第一执行顺序为所述多个任务的执行顺序；第二确定单元，用于确定所述任务对应的多个子任务和第二执行顺序，所述第二执行顺序为所述多个子任务的执行顺序；资源获取单元，用于获取所述异构系统的资源信息，所述资源信息包括所述异构系统内运行的硬件的属性信息和状态信息；资源分配单元，用于根据所述资源信息对所述子任务进行资源分配，确定资源分配信息；子任务执行单元，用于根据所述资源分配信息和执行顺序执行所述子任务，获取所述数据处理请求对应的结果，所述执行顺序包括所述第一执行顺序和/或所述第二执行顺序。第三方面，本专利技术实施例公开了一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如第一方面中任一项所述的方法。第四方面，本专利技术实施例公开了一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面中任一项所述的方法。本专利技术实施例通过确定数据处理请求对应的多个任务和任务间的执行顺序，从而分别确定多个任务对应的多个子任务和子任务间的执行顺序，同时，获取异构系统的资源信息，其中，资源信息包括所述异构系统内运行的硬件的属性信息和状态信息，进而根据资源信息对子任务进行资源分配，确定资源分配信息，从而根据资源分配信息、任务间的执行顺序和子任务间的执行顺序执行所述子任务，使得每个子任务能够以较高的效率在对应的硬件上执行，由此可以获取所述数据处理请求对应的结果。由此，能够对资源进行合理分配，提升每个子任务的执行效率，从而有效提升数据处理的效率。附图说明通过以下参照附图对本专利技术实施例的描述，本专利技术的上述以及其它目的、特征和优点将更为清楚，在附图中：图1是本专利技术第一实施例的适用于异构系统的数据处理方法的流程图；图2是本专利技术第一实施例的第一执行顺序的示意图；图3是本专利技术第一实施例的一种应用场景图；图4是本专利技术第一实施例的一个可选的实现方式中确定资源分配信息的流程图；图5是本专利技术第一实施例的另一个可选的实现方式中获取数据处理请求对应的结果的流程图；图6是本专利技术第一实施例的另一种应用场景图；图7是本专利技术第一实施例的适用于异构系统的数据处理方法的数据流程图；图8是本专利技术第二实施例的适用于异构系统的数据处理装置的示意图；图9是本专利技术第三实施例的电子设备的示意图。具体实施方式以下基于实施例对本专利技术进行描述，但是本专利技术并不仅仅限于这些实施例。在下文对本专利技术的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本专利技术。为了避免混淆本专利技术的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。在本专利技术的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本专利技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。随着硬件技术的不断发展，处理器的种类和功能也本文档来自技高网...

【技术保护点】
1.一种适用于异构系统的数据处理方法，其特征在于，所述方法包括：获取数据处理请求；确定所述数据处理请求对应的多个任务和第一执行顺序，所述第一执行顺序为所述多个任务的执行顺序；确定所述任务对应的多个子任务和第二执行顺序，所述第二执行顺序为所述多个子任务的执行顺序；获取所述异构系统的资源信息，所述资源信息包括所述异构系统内运行的硬件的属性信息和状态信息；根据所述资源信息对所述子任务进行资源分配，确定资源分配信息；根据所述资源分配信息和执行顺序执行所述子任务，获取所述数据处理请求对应的结果，所述执行顺序包括所述第一执行顺序和/或所述第二执行顺序。

【技术特征摘要】
1.一种适用于异构系统的数据处理方法，其特征在于，所述方法包括：获取数据处理请求；确定所述数据处理请求对应的多个任务和第一执行顺序，所述第一执行顺序为所述多个任务的执行顺序；确定所述任务对应的多个子任务和第二执行顺序，所述第二执行顺序为所述多个子任务的执行顺序；获取所述异构系统的资源信息，所述资源信息包括所述异构系统内运行的硬件的属性信息和状态信息；根据所述资源信息对所述子任务进行资源分配，确定资源分配信息；根据所述资源分配信息和执行顺序执行所述子任务，获取所述数据处理请求对应的结果，所述执行顺序包括所述第一执行顺序和/或所述第二执行顺序。2.根据权利要求1所述的方法，其特征在于，所述确定所述任务对应的多个子任务和第二执行顺序包括：根据预定的任务类型-子任务类型的对应关系确定所述任务对应的多个子任务和所述第二执行顺序。3.根据权利要求1所述的方法，其特征在于，所述获取所述异构系统的资源信息包括：根据预定的子任务类型-硬件类型的对应关系获取所述子任务对应的至少一个所述资源；获取所述子任务对应的所述资源信息。4.根据权利要求1所述的方法，其特征在于，所述状态信息包括所述硬件的可用状态和所述硬件的子任务执行情况。5.根据权利要求4所述的方法，其特征在于，所述根据所述资源信息对所述子任务进行资源分配，确定资源分配信息包括：根据所述资源信息和所述第二执行顺序对所述子任务进行资源分配，确定所述资源分配信息。6.根据权利要求5所述的方法，其特征在于，所述根据所述资源信息和所述第二执行顺序对所述子任务进行资源分配，确定所述资源分配信息包括：根据所述硬件的子任务执行情况获取所述硬件正在执行的子任务；根据所述第二执行顺序获取所述多个子任务的依赖关系；响应于所述正在执行的子任务与待分配的所述子任务存在所述依赖关系且所述正在执行的子任务对应的硬件类型与所述待分配的子任务对应的硬件类型相同，确定所述待分配的子任务对应的资源分配信息为与所述正在执行的子任务的资源分配信息相同。7.根据权利要求4所述的方法，其特征在于，所述根据所述资源分配信息和所述执行顺序执行所述子任务包括：...

【专利技术属性】
技术研发人员：谢超，郭人通，易小萌，
申请(专利权)人：上海赜睿信息科技有限公司，
类型：发明
国别省市：上海,31