【技术实现步骤摘要】
控制任务集中的任务并行的系统及其方法
本公开涉及一种数据处理技术，更具体地说，本公开涉及一种用于控制任务集中的任务并行的系统及其方法。
技术介绍
大数据的处理意向复杂的数据处理技术。为了提高数据处理的效率，通常将一个数据处理工作分成多项任务，并在集成计算架构中分别由CPU、与CPU相连的GPU来承担计算任务，这些计算任务会根据彼此之间的时序关系被进行并行计算。但是有时候，很多任务之间存在彼此的依赖关系，例如第一任务的计算所需的某些数据也会被第二任务的计算所使用；或者第一任务的计算所产生的某些数据会被第二任务的计算所使用。因此，在两者之间存在数据使用冲突过程中，必然导致第一任务执行时，第二任务不能执行，导致一种停机现象。反之亦然。因此，任务并行只能在不相关的任务执行，这将导致的不能并行的任务之间的切换以任务整体为单位进行，这在大数据处理或深度学习这种数据处理过程中，以任务整体为单位的这种切换，这种任务切换的成本就是所有计算设备的同步开销。当计算设备的数目达到1024甚至更高的时候，任务切换点会成为整个计算系统的巨大瓶颈，因为所...
【技术保护点】
1.一种控制任务集中的任务并行的系统，包括：/n临界区分析组件，用于分析一个任务集中的任意两个任务之间临界区，并为分析获得的所述临界区赋予预定临界区标记，形成所述任务集中的临界区标记关系图表，所述临界区是所述任意两个任务之间的内存共享部分，所述临界区标记关系图表记载任意两个临界区的互斥关系；以及/n临界区监控组件，其位于每个任务实例数据处理路径中，用于对于多个被执行的任务实例，基于临界区标记关系图表，允许执行存在互斥关系中一对临界区中的先到达的一个临界区而使得另一个临界区处于等待执行状态。/n
【技术特征摘要】
1.一种控制任务集中的任务并行的系统，包括：
临界区分析组件，用于分析一个任务集中的任意两个任务之间临界区，并为分析获得的所述临界区赋予预定临界区标记，形成所述任务集中的临界区标记关系图表，所述临界区是所述任意两个任务之间的内存共享部分，所述临界区标记关系图表记载任意两个临界区的互斥关系；以及
临界区监控组件，其位于每个任务实例数据处理路径中，用于对于多个被执行的任务实例，基于临界区标记关系图表，允许执行存在互斥关系中一对临界区中的先到达的一个临界区而使得另一个临界区处于等待执行状态。
2.根据权利要求1所述的控制任务集中的任务并行的系统，其中所述临界区监控组件将第一任务实例中的可立即或正在执行的第一临界区的临界区标记排列第一临界区监控队列中以及将第二任务实例的不能与第一临界区同时执行的第二临界区的临界区标记排列在第二临界区监控队列中，以及监控第一临界区的执行操作是否完成，以便在第一临界区的执行操作完成后，将第一临界区的临界区标记移出第一临界区监控队列，并将第二临界区的临界区标记从第二临界区监控队列移动到第一临界区监控队列中。
3.根据权利要求1或2所述的控制任务集中的任务并行的系统，其中所述临界区标记包括临界区ID及源节点和汇节点。
4.根据权利要求3所述的控制任务集中的任务并行的系统，其中所述临界区监控组件通过从第一临界区的所述汇节点接收到消息来监控第一临界区被执行操作完成状态，并在从所述汇节点接收到消息后向第二任务实例的临界区的源节点发出消息。
5.根据权利要求4所述的控制任务集中的任务并行的系统，其中所述临界区为输入临界区、输出临界区或主体临界区。
6.一...
【专利技术属性】
技术研发人员：李新奇，柳俊丞，袁进辉，
申请(专利权)人：北京一流科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。