【技术实现步骤摘要】
数据并行处理方法、执行器、计算机设备和存储介质
本申请涉及并行计算领域，尤其涉及一种数据并行处理方法、执行器、计算机设备和存储介质。
技术介绍
分布式调度框架在互联网平台中存在广泛的应用，主要用于提高系统任务的执行效率，提高系统的容错能力。任务调度框架通常由调度中心和执行器两部分组合，其中调度中心负责任务的分发，将同一个任务分发到不同的执行器节点，而执行器节点则用于接收调度中心分发的任务，负责任务的执行和处理。现有的分布式调度框架在进行任务分发时，不同执行器从数据库获取数据的时间节点存在较大差异，不同的执行器在获取待数据时数据库中数据的状态可能会不一致，从而导致获取到重复的待处理数据。
技术实现思路
本申请提供了一种数据并行处理方法、装置、计算机设备和存储介质，可以实现多个执行器并行获取一致的数据，避免获取重复的数据，有效地提高执行器的执行效率。第一方面，本申请提供了一种数据并行处理方法，所述方法包括：若接收到调度中心发送的任务指令，根据所述任务指令获取待处理数据集合，所述任务指令
【技术保护点】
1.一种数据并行处理方法，其特征在于，用于分布式调度系统中的执行器，所述方法包括：/n若接收到调度中心发送的任务指令，根据所述任务指令获取待处理数据集合，所述任务指令包括执行器总数；/n若完成获取所述待处理数据集合，向分布式管理器发送完成反馈信息，以使所述分布式管理器记录所述执行器的完成状态；/n检测所述分布式管理器是否记录所述任务指令对应的所有执行器的完成状态；/n若检测到所述分布式管理器记录所述任务指令对应的所有执行器的完成状态，根据预设的分片规则将所述待处理数据集合分为多个待处理数据组合；/n确定所述多个待处理数据组合中的一个为目标数据组合，处理所述目标数据组合，将处...
【技术特征摘要】
1.一种数据并行处理方法，其特征在于，用于分布式调度系统中的执行器，所述方法包括：
若接收到调度中心发送的任务指令，根据所述任务指令获取待处理数据集合，所述任务指令包括执行器总数；
若完成获取所述待处理数据集合，向分布式管理器发送完成反馈信息，以使所述分布式管理器记录所述执行器的完成状态；
检测所述分布式管理器是否记录所述任务指令对应的所有执行器的完成状态；
若检测到所述分布式管理器记录所述任务指令对应的所有执行器的完成状态，根据预设的分片规则将所述待处理数据集合分为多个待处理数据组合；
确定所述多个待处理数据组合中的一个为目标数据组合，处理所述目标数据组合，将处理结果输出至接收装置，以使所述接收装置根据所述任务指令对应的所有执行器的处理结果确定所述任务指令的任务结果。
2.根据权利要求1所述的数据并行处理方法，其特征在于，所述分布式管理器包括标识寄存器；
所述向分布式管理器发送完成反馈信息，以使所述分布式管理器记录所述执行器的完成状态，包括：
向分布式管理器发送完成反馈信息，以使所述分布式管理器根据接收的完成反馈信息的次数，对所述标识寄存器进行自增操作。
3.根据权利要求2中所述的数据并行处理方法，其特征在于，所述检测所述分布式管理器是否记录所述任务指令对应的所有执行器的完成状态，包括：
若接收到所述分布式管理器在所述标识寄存器的数值达到所述任务指令对应的执行器总数时发送的确认信息，则判定所述分布式管理器记录所述任务指令对应的所有执行器的完成状态。
4.根据权利要求2中所述的数据并行处理方法，其特征在于，所述检测所述分布式管理器是否记录所述任务指令对应的所有执行器的完成状态，包括：
获取所述标识寄存器中的数值；
若所述标识寄存器中的数值等于所述任务指令对应的执行器总数，则判定所述分布式管理器记录所述任务指令对应的所有执行器的完成状态。
5.根据权利要求1所述的数据并行处理方法，其特征在于，所述方法还包括：
若判定所述分布式管理器未记录所述任务指令对应的所有执行器的完成状态，则阻塞所述执行器处理所述待处理数据集合的进程。
6.根据权利要求1中所述的数据并行处理方法，其特征在于，所述根据预设的分片规则...
【专利技术属性】
技术研发人员：刘文飞，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。