【技术实现步骤摘要】
本专利技术涉及算力开销大的数据开发领域，特别涉及一种dag高性能计算方法。
技术介绍
1、在数据开发中，有一些模型的计算复杂度较高(算力开销大)或者请求频率较高。此时，如果对这些模型进行缓存或预计算，为后续操作的高性能处理提供可能。
2、在处理数据加工dag图时。往往是从叶子节点逐层执行至根节点。虽然无依赖关系的节点之间可以并行执行，但在面对一些有缓存或预计算节点时，需要对整个dag计划进行分析解析改写，才能更好的进行计算漂移，充分利用缓存的计算能力或预计算的结果数据。
3、可以看到，存在如下技术问题：充分利用缓存的计算能力，提升性能；充分利用预计算的结果，降低算力需求。
技术实现思路
1、因此本专利技术提出了如下解决方案：
2、一种dag高性能计算方法，包括如下步骤：
3、步骤1，设置至少一个允许其他节点在此进行运算和保存的预计算节点；
4、步骤2，将所述dag上的与根节点相关的并且决定所述根节点的叶节点漂移至指定的预计算节点或...
【技术保护点】
1.一种DAG高性能计算方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的DAG高性能计算方法，其特征在于，所述指定的预计算节点包括与根节点相关的并且决定所述根节点的叶节点。
3.根据权利要求2所述的DAG高性能计算方法，其特征在于，所述预计算节点还包括保存结果集的缓存和磁盘中的至少一个。
4.根据权利要求3所述的DAG高性能计算方法，其特征在于，所述其他节点包括数据节点、计算节点和预计算节点。
5.根据权利要求4所述的DAG高性能计算方法，其特征在于，与根节点相关的并且决定所述根节点的叶节点是指在该根节点上游的节点。
【技术特征摘要】
1.一种dag高性能计算方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的dag高性能计算方法，其特征在于，所述指定的预计算节点包括与根节点相关的并且决定所述根节点的叶节点。
3.根据权利要求2所述的dag高性能计算方法，其特征在于，所述预计算节点还包括保存...
【专利技术属性】
技术研发人员：杨竞霜，叶壹力，
申请(专利权)人：嘉实远见科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。