一种深度学习编译器的图优化序列生成方法及装置制造方法及图纸

本申请公开了一种深度学习编译器的图优化序列生成方法及装置，通过预先训练完成的序列生成模型，根据目标模型的图中间表示，确定各优化策略分别对应的优化特征，再通过序列生成模型的解码器，确定各排位分别对应的排位特征，进而基于各排位特征和各优化特征之间的相关度，确定各排位分别对应的优化策略，以此来确定目标序列。本申请可根据各优化策略确定出各排位分别对应的排位特征，以此来确定出各排位分别匹配的优化策略，使得确定出的目标序列中包含的优化策略与其对应的排位互相匹配，进而保证基于该目标序列优化得到的目标模型的业务执行效率。业务执行效率。业务执行效率。

【技术实现步骤摘要】
一种深度学习编译器的图优化序列生成方法及装置


[0001]本申请涉及计算机
，尤其涉及一种深度学习编译器的图优化序列生成方法及装置。

技术介绍

[0002]目前，随着计算机技术的发展和业务融合的需要，深度学习技术在机器视觉、自然语言处理等多个领域得到了广泛应用，随着而来的是使用模型执行的业务数量的增多，在此情况下，如何提高模型执行业务时的效率，已经成为目前需要解决的技术问题之一。
[0003]一种较为常用的提高模型的业务执行效率的方法是，确定目标模型中包含的各算子，并通过各算子，确定该目标模型对应的图中间表示（Intermediate Representation，IR）。之后，根据预设的若干优化策略，对该图IR进行优化，得到优化结果。最后，根据优化结果生成用于由目标硬件执行的代码，并将代码部署在目标硬件中，由目标硬件执行相应代码来执行业务。
[0004]但是，在对图IR进行优化时，即使使用相同的优化策略相同，在各优化策略的执行顺序不同的情况下，得到的优化结果的性能不同。因此，如何基于预设的优化策略对图IR进行优化是目前亟需解决的问题。
[0005]基于此，本申请提供一种深度学习编译器的图优化序列生成方法及装置。

技术实现思路

[0006]本申请提供一种深度学习编译器的图优化序列调优方法及装置，以部分的解决现有技术存在的上述问题。
[0007]本申请采用下述技术方案：本申请提供一种深度学习编译器的图优化序列生成方法，所述方法包括：响应于优化请求，确定基于目标模型包含的各算子得到的图中间表示；确定预设的各优化策略，并将所述各优化策略和所述图中间表示作为输入，输入预先训练完成的序列生成模型的编码器中，得到所述编码器输出的各优化策略分别对应的优化特征；将所述各优化特征输入序列生成模型的解码器中，得到所述解码器输出的目标序列中各排位分别对应的排位特征，再根据各排位特征和各优化特征之间分别对应的相关度，确定目标序列，所述目标序列包含所述各优化策略和所述各优化策略的执行次序；根据所述优化请求，返回所述目标序列。
[0008]可选地，根据各排位特征和各优化特征之间分别对应的相关度，确定目标序列，具体包括：针对每个优化策略，将该优化策略对应的相关度，作为采样该优化策略的概率；根据采样所述各优化策略的概率，对所述各未分配策略进行采样，将采样到的未分配策略作为该排位对应的优化策略。
[0009]可选地，根据各排位特征和各优化特征之间分别对应的相关度，确定目标序列，具体包括：依次针对所述目标序列中的每个排位，确定所述目标序列中位于该排位前的各其他排位分别对应的优化策略，作为各已分配策略，并将除所述各已分配策略外的其他策略，作为各未分配策略；确定所述排位特征和各未分配策略分别对应的策略特征之间的相关度，并根据各相关度，确定为该排位分配的优化策略。
[0010]可选地，所述序列生成模型采用下述方式训练得到：确定样本模型，并确定基于样本模型包含的各算子得到的样本中间表示，以及确定所述样本模型对应的各样本优化策略；将所述样本中间表示和所述各样本优化策略输入待训练的序列生成模型的编码器中，得到所述编码器输出的所述各样本优化策略分别对应的样本特征；通过所述序列生成模型的解码器，得到指定数量的样本序列；其中，针对每个样本序列，该样本序列中各优化策略与其对应的排位之间的相关度和所述解码器输出该样本序列的概率正相关；针对每个样本序列，根据该样本序列，对所述样本模型进行优化，并确定根据优化结果执行一次模型使用任务所需的时间，作为样本时段；根据该样本序列对应的样本时段和该样本序列中各优化策略与其对应的排位之间的相关度，确定针对该样本序列的评价值；确定各样本序列之间在评价值上的评价值差异程度，以最小化评价值差异度为优化目标，对所述序列生成模型进行训练。
[0011]可选地，根据该样本序列对应的样本时段和该样本序列中各优化策略与其对应的排位之间的相关度，确定针对该样本序列的评价值，具体包括：确定该样本序列中各优化策略与其对应的排位之间的相关度，并确定该样本序列中所述各优化策略分别对应的相关度的乘积，作为该样本序列的输出概率，所述输出概率用于表征所述解码器输出该样本序列的概率；根据该样本序列对应的样本时段和所述输出概率，确定针对该样本序列的评价值，其中，所述评价值和所述样本时段的时长正相关，所述评价值和所述输出概率正相关。
[0012]可选地，所述编码器和所述解码器为循环神经网络结构。
[0013]可选地，根据各相关度，确定为该排位分配的优化策略，具体包括：根据各相关度，从所述各未分配策略中，确定与所述排位特征的相关度最高的未分配策略，作为该排位对应的优化策略。
[0014]本申请提供一种深度学习编译器的图优化序列生成装置，所述装置包括：响应模块，用于响应于优化请求，确定基于目标模型包含的各算子得到的图中间表示；编码模块，用于确定预设的各优化策略，并将所述各优化策略和所述图中间表示作为输入，输入预先训练完成的序列生成模型的编码器中，得到所述编码器输出的各优化策略分别对应的优化特征；解码模块，用于将所述各优化特征输入序列生成模型的解码器中，得到所述解码
器输出的目标序列中各排位分别对应的排位特征，再根据各排位特征和各优化特征之间分别对应的相关度，确定目标序列，所述目标序列包含所述各优化策略和所述各优化策略的执行次序；返回模块，用于根据所述优化请求，返回所述目标序列。
[0015]本申请提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述深度学习编译器的图优化序列生成方法。
[0016]本申请提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述深度学习编译器的图优化序列生成方法。
[0017]本申请采用的上述至少一个技术方案能够达到以下有益效果：本申请提供的深度学习编译器的图优化序列生成方法中，通过预先训练完成的序列生成模型，根据目标模型的图中间表示，确定各优化策略分别对应的优化特征，再通过序列生成模型的解码器，确定各排位分别对应的排位特征，进而基于各排位特征和各优化特征之间的相关度，确定各排位分别对应的优化策略，以此来确定目标序列。
[0018]本申请可根据各优化策略确定出各排位分别对应的排位特征，以此来确定出各排位分别匹配的优化策略，使得确定出的目标序列中包含的优化策略与其对应的排位互相匹配，进而保证基于该目标序列优化得到的目标模型的业务执行效率。
附图说明
[0019]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请中深度学习编译器的图优化序列生成方法的流程示意图；图2为本申请提供的列生成模型的结构示意图；图3为本申请提供的序列生成模型的训练流程示意图；图4为本申请提供的深度学习编译器的图优化序列生成装置的示意图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习编译器的图优化序列生成方法，其特征在于，所述方法包括：响应于优化请求，确定基于目标模型包含的各算子得到的图中间表示；确定预设的各优化策略，并将所述各优化策略和所述图中间表示作为输入，输入预先训练完成的序列生成模型的编码器中，得到所述编码器输出的各优化策略分别对应的优化特征；将所述各优化特征输入序列生成模型的解码器中，得到所述解码器输出的目标序列中各排位分别对应的排位特征，再根据各排位特征和各优化特征之间分别对应的相关度，确定目标序列，所述目标序列包含所述各优化策略和所述各优化策略的执行次序；根据所述优化请求，返回所述目标序列。2.如权利要求1所述的方法，其特征在于，根据各排位特征和各优化特征之间分别对应的相关度，确定目标序列，具体包括：针对每个优化策略，将该优化策略对应的相关度，作为采样该优化策略的概率；确定所述目标序列中位于该排位前的各其他排位分别对应的优化策略，作为各已分配策略，并将除所述各已分配策略外的其他策略，作为各未分配策略；根据采样所述各优化策略的概率，对所述各未分配策略进行采样，将采样到的未分配策略作为该排位对应的优化策略。3.如权利要求1所述的方法，其特征在于，根据各排位特征和各优化特征之间分别对应的相关度，确定目标序列，具体包括：依次针对所述目标序列中的每个排位，确定所述目标序列中位于该排位前的各其他排位分别对应的优化策略，作为各已分配策略，并将除所述各已分配策略外的其他策略，作为各未分配策略；确定所述排位特征和各未分配策略分别对应的策略特征之间的相关度，并根据各相关度，确定为该排位分配的优化策略。4.如权利要求1所述的方法，其特征在于，所述序列生成模型采用下述方式训练得到：确定样本模型，并确定基于样本模型包含的各算子得到的样本中间表示，以及确定所述样本模型对应的各样本优化策略；将所述样本中间表示和所述各样本优化策略输入待训练的序列生成模型的编码器中，得到所述编码器输出的所述各样本优化策略分别对应的样本特征；通过所述序列生成模型的解码器，得到指定数量的样本序列；其中，针对每个样本序列，该样本序列中各优化策略与其对应的排位之间的相关度和所述解码器输出该样本序列的概率正相关；针对每个样本序列，根据该样本序列，对所述样本模型进行优化，并确定根据优化结果执行一次模型使用任务所需的时间，作为样本时段；根据该样本序列对应的样本时段和该样本序列中各优化策略与其对应的排位之间的相关度...

【专利技术属性】
技术研发人员：王鹏程，李勇，曾令仿，陈光，
申请(专利权)人：之江实验室，
类型：发明
国别省市：