【技术实现步骤摘要】
本说明书实施例涉及大数据计算，具体地，涉及计算任务处理方法及装置。
技术介绍
1、在人工智能
中，神经网络学习模型包括若干个计算单元，各个计算单元可以抽象成算子，各个算子对输入数据进行计算处理。当图数据输入神经网络进行计算时，通常需要使用外部数据存储装置作为缓存的扩展，以缓解计算设备的内存压力。
技术实现思路
1、鉴于上述，本说明书实施例提供了基于算子重构的计算任务处理方法及装置。在该任务处理方法中，通过将计算任务的算子逻辑执行图中的适合重构的至少两个算子重构为重构算子，并且在进行重构算子的算子计算时将该重构算子整体作为单一算子与外部数据存储装置进行数据交互，而无需将重构算子的中间计算结果写入外部数据存储装置以及从外部数据存储装置读取，从而减少了任务执行装置与外部数据存储装置之间的数据读写操作次数，提高任务计算的计算效率。
2、根据本说明书实施例的一个方面，提供了一种计算任务处理方法，包括：获取第一计算任务，所述第一计算任务包括用于任务计算的第一算子执行逻辑图；基于所述第...
【技术保护点】
1.一种计算任务处理方法，包括：
2.如权利要求1所述的计算任务处理方法，其中，基于所述第一算子执行逻辑图中的算子依赖关系和算子计算所需数据缓存容量对所述第一算子执行逻辑图进行算子重构包括：
3.如权利要求2所述的计算任务处理方法，其中，所述算子计算所需数据缓存容量根据算子结构中除了作为输出算子之外的其它算子的算子计算的结果数据量确定。
4.如权利要求2所述的计算任务处理方法，其中，所述算子计算所需数据缓存容量根据算子结构中除了作为输出算子之外的其它算子的算子计算的结果数据量以及算子结构中的所有算子的源自外部的输入数据的数据量确定。
5.如...
【技术特征摘要】
1.一种计算任务处理方法，包括：
2.如权利要求1所述的计算任务处理方法，其中，基于所述第一算子执行逻辑图中的算子依赖关系和算子计算所需数据缓存容量对所述第一算子执行逻辑图进行算子重构包括：
3.如权利要求2所述的计算任务处理方法，其中，所述算子计算所需数据缓存容量根据算子结构中除了作为输出算子之外的其它算子的算子计算的结果数据量确定。
4.如权利要求2所述的计算任务处理方法，其中，所述算子计算所需数据缓存容量根据算子结构中除了作为输出算子之外的其它算子的算子计算的结果数据量以及算子结构中的所有算子的源自外部的输入数据的数据量确定。
5.如权利要求2所述的计算任务处理方法，其中，基于所述第一算子执行逻辑图中的算子依赖关系和算子计算所需数据缓存容量，从所述第一算子执行逻辑图中确定出至少一个可重构算子结构包括：
6.如权利要求1所述的计算任务处理方法，其中，基于所述第一算子执行逻辑图中的算子依赖关系和算子计算所需数据缓存容量...
【专利技术属性】
技术研发人员：覃伟，吴侠宝，刘永超，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。