【技术实现步骤摘要】
计算图的处理方法、装置和系统
本申请涉及领域,具体而言,涉及一种计算图的处理方法、装置和系统。
技术介绍
近年来,人工智能(ArtificialIntelligence,简称AI)技术在搜索、广告、电商、物流、零售、制造、教育、传媒影视等众多的业务场景得到了广泛应用。从计算的视角,上层业务的需求可被表达为由基本张量操作构成的计算图结构,然后通过系统软件将计算图映射到可在硬件高效执行的代码。因此,从张量操作图到特定硬件平台的编译质量决定了业务和硬件平台二者的适配效能,是影响上层业务落地成本的重要系统因素。目前,针对人工智能业务的计算表达问题,目前主要是基于高级语言的计算图表示,然后通过专门的计算框架映射到底层硬件平台,该设计理念使得计算图不局限于人工智能业务。但为了兼顾用户表达的灵活性和业务多样性要求,图节点粒度在很多场景中比较细碎,且具有复杂的相互依赖结构,从而使得指令融合能力以及代码生成能力具有局限性。其中,对于指令融合能力,由于实际业务的计算图的复杂性,理论上存在的张量操作融合空间很大,在大量可能的融合方案中,现 ...
【技术保护点】
1.一种计算图的处理方法,其特征在于,包括:/n获取计算图对应的融合动作集合,其中,所述融合动作集合包括至少一个融合动作,任意一个所述融合动作用于表示所述计算图中允许被融合的指令构成的指令对;/n查找每个所述融合动作对应的融合空间,得到所述融合动作对应的融合方案,其中,所述融合空间包括允许与所述融合动作融合的其他融合动作;/n从所述融合方案中选择待选择的融合方案,并根据所述待选择的融合方案,确定融合计算图。/n
【技术特征摘要】
1.一种计算图的处理方法,其特征在于,包括:
获取计算图对应的融合动作集合,其中,所述融合动作集合包括至少一个融合动作,任意一个所述融合动作用于表示所述计算图中允许被融合的指令构成的指令对;
查找每个所述融合动作对应的融合空间,得到所述融合动作对应的融合方案,其中,所述融合空间包括允许与所述融合动作融合的其他融合动作;
从所述融合方案中选择待选择的融合方案,并根据所述待选择的融合方案,确定融合计算图。
2.根据权利要求1所述的方法,其特征在于,所述计算图为张量计算图,获取计算图对应的融合动作集合,包括:
将所述张量计算图中的指令按照数据依赖关系进行拓扑排序;
从所述指令中的根指令开始逆序遍历每个指令,并判断所述指令是否允许被融合;
如果所述指令允许被融合,则将所述指令对应的融合动作加入所述融合动作集合。
3.根据权利要求2所述的方法,其特征在于,判断所述指令是否允许被融合,包括:
获取所述指令在所述张量计算图中对应的输入指令,其中,所述指令依赖所述输入指令输出的结果;
判断所述指令与对应的所述输入指令是否允许融合;
如果所述指令与对应的所述输入指令允许融合,则将所述指令与对应的输入指令构成一个融合动作,其中,所述指令对应的融合动作包括指令和对应的所述输入指令构成的指令对。
4.根据权利要求3所述的方法,其特征在于,判断所述指令与对应的所述输入指令是否允许融合,包括:
如果所述指令与对应的输入指令满足如下任意一个条件,确定所述指令与对应的所述输入指令允许融合:
所述指令与对应的所述输入指令的指令类型兼容;
所述指令与对应的所述输入指令之间的拓扑结构允许进行融合。
5.根据权利要求1所述的方法,其特征在于,查找每个所述融合动作对应的融合空间,得到所述融合动作对应的融合方案,包括:
获取每组融合动作对应的收益信息,其中,所述收益信息用于表示所述融合动作所对应的代码的代码性能;
根据所述融合动作,确定所述融合动作对应的衍生融合动作集合,其中,所述衍生融合动作集合用于表示包含所述融合动作中的指令的其他融合动作。
6.根据权利要求5所述的方法,其特征在于,在获取每组融合动作对应的收益信息之后,所述方法还包括:
根据所述融合动作对应的收益信息更新评估缓存,其中,所述评估缓存用于所有融合动作的收益信息。
7.根据权利要求5所述的方法,其特征在于,获取每组融合动作对应的收益信息,包括:
执行与所述融合动作对应的代码,并确定所述代码的代码性能为所述融合动作对应的收益信息;或
通过预设的代价模型预测所述融合动作对应的收益信息。
8.根据权利要求1所述的方法,其特征在于,所述待选择的融合方案为最优融合方案,从所述融合方案中选择待选择的融合方案,包括:
确定用于选择所述待选择的融合方案的目标函数,其中,所述目标函数根据每个融合动作的收益信息构建;
获取约束条件集合,其中,所述约束条件用于指融合...
【专利技术属性】
技术研发人员:龙国平,杨军,林伟,
申请(专利权)人:阿里巴巴集团控股有限公司,
类型:发明
国别省市:开曼群岛;KY
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。