性能预测和机器学习编译优化方法及装置制造方法及图纸

本发明专利技术提供一种性能预测和机器学习编译优化方法及装置，该方法包括：确定待预测性能的算子规划；以算子规划中每一张量为节点，以各个张量之间的连接关系为边，构建算子规划的描述图；其中，任一节点的节点特征为对应张量的规划信息，任一条边的边特征为该条边连接的点对应张量的尺寸信息；将描述图输入至性能预测模型，得到性能预测模型输出的算子规划的性能预测结果；其中，性能预测模型是基于样本算子规划及其样本性能参数训练得到的。本发明专利技术提供的一种性能预测和机器学习编译优化方法及装置，充分考虑了算子规划内部数据流中各个张量的规划信息，提高了算子规划性能预测的准确性。

【技术实现步骤摘要】
性能预测和机器学习编译优化方法及装置
本专利技术涉及机器学习
，尤其涉及一种性能预测和机器学习编译优化方法及装置。
技术介绍
对算子在编译器上的执行性能进行预测是机器学习编译优化的核心之一，传统的性能预测方法是采用解析表达方法构建性能预测模型，效率较低。构建基于学习的性能预测模型是新兴的应用方向，由于算子在编译优化时其内部构成可以表示为图网络，在此基础上，可以基于图神经网络来构建性能预测模型，目前基于图神经网络对算子进行性能预测的研究较少，现有的基于图神经网络的性能预测方法通常是采用抽象语法树(AbstractSyntaxCode，AST)构建图网络，性能预测的准确性较低。
技术实现思路
本专利技术提供一种性能预测和机器学习编译优化方法及装置，用以解决现有技术中算子性能预测的准确性较低的缺陷。本专利技术提供一种性能预测方法，包括：确定待预测性能的算子规划；以所述算子规划中每一张量为节点，以各个张量之间的连接关系为边，构建所述算子规划的描述图；其中，任一节点的节点特征为对应张量的规划信息，任一条边本文档来自技高网...

【技术保护点】
1.一种性能预测方法，其特征在于，包括：/n确定待预测性能的算子规划；/n以所述算子规划中每一张量为节点，以各个张量之间的连接关系为边，构建所述算子规划的描述图；其中，任一节点的节点特征为对应张量的规划信息，任一条边的边特征为所述任一条边连接的点对应张量的尺寸信息；/n将所述描述图输入至性能预测模型，得到所述性能预测模型输出的所述算子规划的性能预测结果；/n其中，所述性能预测模型是基于样本算子规划及其样本性能参数训练得到的。/n

【技术特征摘要】
1.一种性能预测方法，其特征在于，包括：
确定待预测性能的算子规划；
以所述算子规划中每一张量为节点，以各个张量之间的连接关系为边，构建所述算子规划的描述图；其中，任一节点的节点特征为对应张量的规划信息，任一条边的边特征为所述任一条边连接的点对应张量的尺寸信息；
将所述描述图输入至性能预测模型，得到所述性能预测模型输出的所述算子规划的性能预测结果；
其中，所述性能预测模型是基于样本算子规划及其样本性能参数训练得到的。


2.根据权利要求1所述的性能预测方法，其特征在于，所述张量的规划信息包括张量的规划操作的类型信息、张量的规划操作的数量信息和张量的数据类型中的至少一种。


3.根据权利要求1所述的性能预测方法，其特征在于，所述样本算子规划是基于如下方法确定的：
确定初始样本算子规划；
改变所述初始样本算子规划中任一张量的规划信息和/或任一张量的尺寸信息，生成所述初始样本算子规划对应的若干个衍生算子规划，作为所述样本算子规划。


4.根据权利要求1至3任一项所述的性能预测方法，其特征在于，所述算子规划的性能预测结果包括所述算子规划在编译器上的运行时间和/或所述算子规划在编译器上的运行功耗。


5.一种机器学习编译优化方法，其特征在于，包括：
加载机器学习模型，所述机器学习模型包括至少一种算子，每种算子对应多个算子规划；
采用各种算子的目标算子规划运行所述机器学习模型中的各种算子；
其中，各种算子的目标算子规划是基于对应算子的多个算子规划的性能预测结果确定的；
所述性能预测结果是基于权利要求1至4任一项所述的性能预测方法确定的。


6.根据权利要求5所述的机器学习编译优化方法，其特...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海壁仞智能科技有限公司，
类型：发明
国别省市：上海;31