数据处理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种数据处理方法、装置、电子设备及存储介质，所述方法包括：获取多个待处理的任务之间的任务执行关系；根据各个待处理的任务的划分方式，对相应的待处理任务进行划分，得到多个子任务，以利用所述多个子任务之间的关系对所述任务执行关系进行更新；基于更新后的任务执行关系，确定出待执行的任务；对所述待执行的任务进行处理，得到与所述待执行的任务对应的执行结果，以便于后期快速地对某个任务执行结果相关的子任务的确定，继而便于后期在需要重新获取该任务的执行结果时，仅需要执行与该任务相关的子任务，工作量小，且效率高。

Data processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质
本申请涉及信息处理
，具体而言，涉及一种数据处理方法、装置、电子设备及存储介质。
技术介绍
任务调度问题是分布式计算领域中的基本问题。根据被调度的任务之间是否存在相关依赖关系，任务调度可分为独立的任务调度和相关的任务调度。其中，相关的任务是由一组既有前后数据传递约束关系，又有并行关系的多个任务组成，一般可由有向无环图DAG(DirectedAcyclicGraph)任务图来表示。针对多个待处理的任务，现有的数据处理方法通常是确定待处理的任务之间的任务关系，然后，按照任务处理关系依次对所述多个待处理任务进行处理时，若确定目前待处理的任务需要进行任务划分时，将该待处理的任务按照该待处理任务的划分方式划分为至少两个子任务，并分别对所述至少两个子任务进行处理，处理完所述至少两个子任务之后，确定下一个待处理的任务是否需要进行任务划分，在确定所述下一个待处理的任务不需要进行任务划分时，则直接对所述下一个待处理的任务进行处理，然而这种处理方式不便于后期对与某个任务执行结果相关的子任务的确定，继而不便于后期本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获取多个待处理的任务之间的任务执行关系；/n根据各个待处理的任务的划分方式，对相应的待处理任务进行划分，得到多个子任务，以利用所述多个子任务之间的关系对所述任务执行关系进行更新；/n基于更新后的任务执行关系，确定出待执行的任务；/n对所述待执行的任务进行处理，得到与所述待执行的任务对应的执行结果。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获取多个待处理的任务之间的任务执行关系；
根据各个待处理的任务的划分方式，对相应的待处理任务进行划分，得到多个子任务，以利用所述多个子任务之间的关系对所述任务执行关系进行更新；
基于更新后的任务执行关系，确定出待执行的任务；
对所述待执行的任务进行处理，得到与所述待执行的任务对应的执行结果。


2.根据权利要求1所述的方法，其特征在于，所述确定出待执行的任务，包括：
利用预先确定的任务排序方法对所述更新后的任务执行关系中的任务的执行先后顺序进行排序，得到排序结果；
根据所述排序结果，确定出所述待执行的任务。


3.根据权利要求1所述的方法，其特征在于，所述对所述待执行的任务进行处理，得到与所述待执行的任务对应的执行结果，包括：
确定出处于空闲状态的任务执行器；
利用所述处于空闲状态的任务执行器对所述待执行的任务进行处理，得到与所述待执行的任务对应的执行结果。


4.根据权利要求1所述的方法，其特征在于，在所述对所述待执行的任务进行处理之前，所述方法还包括：
确定所述更新后的任务执行关系中存在与所述待执行的任务存在直接关联的已执行任务；
其中，所述对所述待执行的任务进行处理，得到与所述待执行的任务对应的执行结果，包括：
按照所述待执行的任务中的处理策略，对所述直接关联的已执行任务对应的执行结果进行处理，得到与所述待执行任务对应的执行结果。


5.根据权利要求1所述的方法，其特征在于，所述对所述待执行的任务进行处理，得到与所述待执行的任务对应的执行结果，包括：
确定是否存在与所述待执行的任务一致的已执行任务；
在确定存在所述一致的已执行任务时，将所述一致的已执行任务对应的执行结果作为与所述待执行的任务对应的执行结果；或
在确定不存在所述一致的已执行任务时，对所述待执行的任务进行处理，得到与所述待执行的任务对...

【专利技术属性】
技术研发人员：梁雄师，姜福泉，梁哲恒，王向宇，王永平，房鸿朝，易晓博，庞亚菲，石冶，章小明，吴宝佑，
申请(专利权)人：广东南方数码科技股份有限公司，
类型：发明
国别省市：广东;44