控制任务集中的任务并行的系统及其方法技术方案

本发明专利技术公开了一种控制任务集中的任务并行的系统，包括：临界区分析组件，用于分析一个任务集中的任意两个任务之间临界区，并为分析获得的所述临界区赋予预定临界区标记，形成所述任务集中的临界区标记关系图表，所述临界区是所述任意两个任务之间的内存共享部分，所述临界区标记关系图表记载任意两个临界区的互斥关系；以及临界区监控组件，其位于每个任务实例数据处理路径中，用于对于多个被执行的任务实例，基于临界区标记关系图表，允许执行存在互斥关系中一对临界区中的先到达的一个临界区而使得另一个临界区处于等待执行状态。

【技术实现步骤摘要】
控制任务集中的任务并行的系统及其方法
本公开涉及一种数据处理技术，更具体地说，本公开涉及一种用于控制任务集中的任务并行的系统及其方法。
技术介绍
大数据的处理意向复杂的数据处理技术。为了提高数据处理的效率，通常将一个数据处理工作分成多项任务，并在集成计算架构中分别由CPU、与CPU相连的GPU来承担计算任务，这些计算任务会根据彼此之间的时序关系被进行并行计算。但是有时候，很多任务之间存在彼此的依赖关系，例如第一任务的计算所需的某些数据也会被第二任务的计算所使用；或者第一任务的计算所产生的某些数据会被第二任务的计算所使用。因此，在两者之间存在数据使用冲突过程中，必然导致第一任务执行时，第二任务不能执行，导致一种停机现象。反之亦然。因此，任务并行只能在不相关的任务执行，这将导致的不能并行的任务之间的切换以任务整体为单位进行，这在大数据处理或深度学习这种数据处理过程中，以任务整体为单位的这种切换，这种任务切换的成本就是所有计算设备的同步开销。当计算设备的数目达到1024甚至更高的时候，任务切换点会成为整个计算系统的巨大瓶颈，因为所有数据同步的时候，几乎所有的计算操作将无法进行，这个过程需要花费巨大的时间。因此，以任务为单位的这种同步以及任务的切换会不可避免的带来开销，而且这个开销随着集成的计算设备(例如CPU和GPU)的增多而开销会是指数级增长的,这将导致计算资源得不到充分地利用，也降低了数据处理的效率。因此，人们期望获得一种控制任务集中的任务并行的系统，其能够消除上述现有技术中的一种或多种技术问题，提高任务并行程度。
技术实现思路
本专利技术的目的在于解决至少上述问题之一，具体而言，本公开提供一种控制任务集中的任务并行的系统，包括：临界区分析组件，用于分析一个任务集中的任意两个任务之间临界区，并为分析获得的所述临界区赋予预定临界区标记，形成所述任务集中的临界区标记关系图表，所述临界区是所述任意两个任务之间的内存共享部分，所述临界区标记关系图表记载任意两个临界区的互斥关系；以及临界区监控组件，其位于每个任务实例数据处理路径中，用于对于多个被执行的任务实例，基于临界区标记关系图表，允许执行存在互斥关系中一对临界区中的先到达的一个临界区而使得另一个临界区处于等待执行状态。根据本公开的控制任务集中的任务并行的系统，其中所述临界区监控组件将第一任务实例中的可立即或正在执行的第一临界区的临界区标记排列第一临界区监控队列中以及将第二任务实例的不能与第一临界区同时执行的第二临界区的临界区标记排列在第二临界区监控队列中，以及监控第一临界区的执行操作是否完成，以便在第一临界区的执行操作完成后，将第一临界区的临界区标记移出第一临界区监控队列，并将第二临界区的临界区标记从第二临界区监控队列移动到第一临界区监控队列中。根据本公开的控制任务集中的任务并行的系统，其中所述临界区标记包括临界区ID及源节点和汇节点。根据本公开的控制任务集中的任务并行的系统，其中所述临界区监控组件通过从第一临界区的所述汇节点接收到消息来监控第一临界区被执行操作完成状态，并在从所述汇节点接收到消息后向第二任务实例的临界区的源节点发出消息。根据本公开的控制任务集中的任务并行的系统，其中所述临界区为输入临界区、输出临界区或主体临界区。根据本公开的另一个方面，提供了一种控制任务集中的任务并行的方法，包括：任务分析步骤，通过临界区分析组件分析一个任务集中的任意两个任务之间临界区，并为分析获得的所述临界区赋予预定临界区标记，形成所述任务集中的临界区标记关系图表，所述临界区是所述任意两个任务之间的内存共享部分，所述临界区标记关系图表记载任意两个临界区的互斥关系；以及临界区监控步骤，通过临界区监控组件，针对每个任务实例数据处理路径，对于多个被执行的任务实例，基于临界区标记关系图表，允许执行存在互斥关系中一对临界区中的先到达的一个临界区而使得另一个临界区处于等待执行状态。根据本公开的控制任务集中的任务并行的方法，其中所述临界区监控步骤将第一任务实例中的可立即或正在执行的第一临界区的临界区标记排列第一临界区监控队列中以及将第二任务实例的不能与第一临界区同时执行的第二临界区的临界区标记排列在第二临界区监控队列中，以及监控第一临界区的执行操作是否完成，以便在第一临界区的执行操作完成后，将第一临界区的临界区标记移出第一临界区监控队列，并将第二临界区的临界区标记从第二临界区监控队列移动到第一临界区监控队列中。根据本公开的控制任务集中的任务并行的方法，其中所述临界区标记包括临界区ID及源节点和汇节点。根据本公开的控制任务集中的任务并行的方法，其中所述临界区监控步骤通过从第一临界区的所述汇节点接收到消息来监控第一任务实例的临界区被执行操作完成状态，并在从所述汇节点接收到消息后向第二任务实例的临界区的源节点发出消息。根据本公开的控制任务集中的任务并行的方法，其中所述临界区为输入临界区、输出临界区或主体临界区。本专利技术的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本专利技术的研究和实践而为本领域的技术人员所理解。附图说明图1所示的是根据本公开的控制任务集中的任务并行的方法的第一实施例的示意图。图2为所示的是根据本公开的控制任务集中的任务并行的方法的第二实施的例示意图。图3为所示的是根据本公开的控制任务集中的任务并行的系统的示意图。具体实施方式下面结合实施例和附图对本专利技术做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，在下文中，两个可能设备之一可以被称为第一任务实例也可以被称为第二任务实例，类似地，两个可能设备的另一个可以被称为第二任务实例也可以被称为第一任务实例。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。为了使本领域技术人员更好地理解本公开，下面结合附图和具体实施方式对本公开作进一步详细说明。在多任务数据处理中，通常任务实例之间极有可能存在彼此共用的数据，这些数据会存储在计算系统的内存中，因此，两个任务之间会存在共用内存本文档来自技高网...

【技术保护点】
1.一种控制任务集中的任务并行的系统，包括：/n临界区分析组件，用于分析一个任务集中的任意两个任务之间临界区，并为分析获得的所述临界区赋予预定临界区标记，形成所述任务集中的临界区标记关系图表，所述临界区是所述任意两个任务之间的内存共享部分，所述临界区标记关系图表记载任意两个临界区的互斥关系；以及/n临界区监控组件，其位于每个任务实例数据处理路径中，用于对于多个被执行的任务实例，基于临界区标记关系图表，允许执行存在互斥关系中一对临界区中的先到达的一个临界区而使得另一个临界区处于等待执行状态。/n

【技术特征摘要】
1.一种控制任务集中的任务并行的系统，包括：
临界区分析组件，用于分析一个任务集中的任意两个任务之间临界区，并为分析获得的所述临界区赋予预定临界区标记，形成所述任务集中的临界区标记关系图表，所述临界区是所述任意两个任务之间的内存共享部分，所述临界区标记关系图表记载任意两个临界区的互斥关系；以及
临界区监控组件，其位于每个任务实例数据处理路径中，用于对于多个被执行的任务实例，基于临界区标记关系图表，允许执行存在互斥关系中一对临界区中的先到达的一个临界区而使得另一个临界区处于等待执行状态。


2.根据权利要求1所述的控制任务集中的任务并行的系统，其中所述临界区监控组件将第一任务实例中的可立即或正在执行的第一临界区的临界区标记排列第一临界区监控队列中以及将第二任务实例的不能与第一临界区同时执行的第二临界区的临界区标记排列在第二临界区监控队列中，以及监控第一临界区的执行操作是否完成，以便在第一临界区的执行操作完成后，将第一临界区的临界区标记移出第一临界区监控队列，并将第二临界区的临界区标记从第二临界区监控队列移动到第一临界区监控队列中。


3.根据权利要求1或2所述的控制任务集中的任务并行的系统，其中所述临界区标记包括临界区ID及源节点和汇节点。


4.根据权利要求3所述的控制任务集中的任务并行的系统，其中所述临界区监控组件通过从第一临界区的所述汇节点接收到消息来监控第一临界区被执行操作完成状态，并在从所述汇节点接收到消息后向第二任务实例的临界区的源节点发出消息。


5.根据权利要求4所述的控制任务集中的任务并行的系统，其中所述临界区为输入临界区、输出临界区或主体临界区。


6.一...

【专利技术属性】
技术研发人员：李新奇，柳俊丞，袁进辉，
申请(专利权)人：北京一流科技有限公司，
类型：发明
国别省市：北京;11