【技术实现步骤摘要】
本专利技术涉及深度学习编译优化，尤其涉及一种跨平台张量程序性能预测方法。
技术介绍
1、深度学习已经在众多领域取得了前所未有的成功，但它巨大的计算量也给模型的落地带来了巨大的挑战。如何充分利用现有的计算资源，最大化提升模型的推理速度，提高模型在实际生产环境中的实时性，是当前深度学习发展的热点问题之一。
2、经验搜索(empirical search)方法被广泛应用于优化深度学习推理，典型的代表工作有基于模板的autotvm和不依赖模板的ansor等。这些方法通过一定策略产生很多等价的张量程序，然后对它们进行性能评估，最终挑选出性能最优的张量程序。
3、近年来，使用基于学习的方式预测张量程序性能越来越流行，这种方式虽然可以简化性能预测模型的开发，并实现较高的预测精度，但依赖目标硬件的大规模性能数据(数百万)。由于不同平台上的程序和硬件是绑定的，跨平台之间的性能测试不能交互使用，增加了张量程序性能预测的成本。
4、一些现有技术使用迁移学习的方法缓解这一问题，例如tenset、tlp、moss等，然而它们依...
【技术保护点】
1.一种跨平台张量程序性能预测方法，其特征在于，基于在目标平台上复用张量程序中与硬件无关的程序特征，实现张量程序的快速性能预测，张量程序性能预测方法包括如下步骤：
2.根据权利要求1所述的跨平台张量程序性能预测方法，其特征在于，在步骤一中，基本块BBij的执行代价Cost(BBij)定义如下：
3.根据权利要求1所述的跨平台张量程序性能预测方法，其特征在于，在步骤一中，基本块BBij的有效执行次数ECount(BBij)定义如下：
4.根据权利要求1所述的跨平台张量程序性能预测方法，其特征在于，在步骤二中，静态程序特征的生成过程如下
5....
【技术特征摘要】
1.一种跨平台张量程序性能预测方法，其特征在于，基于在目标平台上复用张量程序中与硬件无关的程序特征，实现张量程序的快速性能预测，张量程序性能预测方法包括如下步骤：
2.根据权利要求1所述的跨平台张量程序性能预测方法，其特征在于，在步骤一中，基本块bbij的执行代价cost(bbij)定义如下：
3.根据权利要求1所述的跨平台张量程序性能预测方法，其特征在于，在步骤一中，基本块bbij的有效执行次数ecount(bbij)定义如下：
4.根据权利要求1所述的跨平台张量程序性能预测方法，其特征在于，在步骤二中，静态程序特征的生成过程如下：
5.根据权利要求4所述的跨平台张量程序性能预测方法，其特征在于，在对张量程序p的llvm ir进行控制...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。