本说明书公开了一种代价模型训练的方法、装置、存储介质及电子设备。本方法使用各算子的特征以及各硬件平台的特征构造训练样本，并针对每个算子，将该算子的运行代码在各硬件平台上的实际运行时间作为该算子对应的训练样本的标注。将训练样本输入代价模型的特征提取层，通过各硬件平台对应的门控网络层的加权矩阵，确定训练样本对应各硬件平台的预测运行时间，根据预测运行时间与实际运行时间之间的差异训练代价模型。通过将各硬件平台的特征加入训练样本、在代价模型中增加针对各硬件平台的门控网络以及针对各硬件平台的输出层等创新的方式，训练得到适用于多个硬件平台的代价模型。型。型。
【技术实现步骤摘要】
一种代价模型训练的方法、装置、存储介质及电子设备
[0001]本说明书涉及计算机
，尤其涉及一种代价模型训练的方法、装置、存储介质及电子设备。
技术介绍
[0002]随着计算机技术的飞速发展，深度学习的应用也越来越广泛。
[0003]随着机器学习模型的应用越来越广泛，模型可能会被应用在各种硬件平台上，如不同类型的芯片等。将根据机器学习模型应用的框架以及计算逻辑确定在硬件平台上实现的调度逻辑的过程称为张量编译。现有的张量编译技术通常先预设张量代码模板构造由多个调度逻辑构成的调度空间，再结合搜索算法与代价模型选择合适的调度逻辑来实现自动张量编译。
[0004]其中，代价模型用于预测调度逻辑在硬件平台上执行时长的模型，而预测执行时长准确度，影响到自动张量编译的效果，基于此本说明书提供一种代价模型训练的方法。
技术实现思路
[0005]本说明书提供一种代价模型训练的方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：本说明书提供的一种代价模型训练的方法，所述代价模型包括：特征提取层、各硬件平台对应的门控网络层以及各硬件平台对应的输出层，所述方法包括：确定用于部署在模型中的各算子，并确定各算子的特征以及各硬件平台的特征；针对每个算子，根据该算子的特征以及各硬件平台的特征确定训练样本，并根据该算子的运行代码在各硬件平台执行的实际运行时间，确定所述训练样本对应各硬件平台的标注；将所述训练样本输入所述特征提取层中，对所述训练样包含的算子的特征进行特征提取，确定所述训练样本的中间特征；针对每个门控网络层，将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该门控网络层，确定该门控网络层输出的加权矩阵；针对每个硬件平台，根据对应该硬件平台的门控网络输出的加权矩阵对所述训练样本的中间特征加权的结果，确定所述训练样本对应该硬件平台的第一特征；将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的输出层中，获得该输出层输出的所述训练样本对应该硬件平台的预测运行时间；根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定损失，并以损失最小为优化目标训练所述代价模型。
[0007]可选地，所述特征提取层具有多个子特征提取层；将所述训练样本输入所述特征提取层中，对所述训练样包含的算子的特征进行特
征提取，确定所述训练样本的中间特征，具体包括：将所述训练样本分别输入所述代价模型的所述特征提取层中的各子特征提取层中，确定所述各子特征提取层提取的所述训练样本的中间特征。
[0008]可选地，所述算子的特征包括算子的计算特征与运行代码的特征。
[0009]可选地，所述门控网络层包括：权重确定层与归一化层；针对每个门控网络层，将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该门控网络层，确定该门控网络层输出的加权矩阵，具体包括：将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该目标硬件平台对应的门控网络层中的所述权重确定层确定该门控网络层的初始加权矩阵；将所述初始权重矩阵输入所述归一化层，获得归一化的加权矩阵，其中，所述归一化的加权矩阵中的各权重值是归一化的。
[0010]可选地，所述输出层包括：各硬件平台对应的任务塔，以及各硬件平台对应的预测层；将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的输出层中，获得该输出层输出的所述训练样本对应该硬件平台的预测运行时间，具体包括：将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的任务塔中，获得所述训练样本针对各目标硬件平台的第二特征；将所述各第二特征输入对应该硬件平台的预测层中，通过各预测层输出该算子在各目标硬件平台上预测运行时间。
[0011]可选地，根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定损失，具体包括：根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定所述训练样本对应该硬件平台的损失；根据所述训练样本对应各硬件平台的损失确定最终的损失。
[0012]可选地，所述方法还包括：确定目标模型对应的计算图中的每个算子，根据预设的搜索算法在该算子的所述调度空间中确定预设数量的运行代码；根据该算子的各运行代码，分别确定该算子对应的各算子的特征，并通过训练得到的代价模型，确定该算子的各运行代码分别对应的各预测运行时间；按照所述预测运行时间从短到长，确定用于训练的运行代码；在目标硬件平台运行该算子的各运行代码，确定实际运行时间，以根据预测运行时间与实际运行时间的差异最小，调整代价模型；继续通过预设的搜索算法，根据用于训练的运行代码，从调度空间继续确定预设数量的运行代码，用调整后的代价模型，继续确定各重新确定的运行代码的预测运行时间，重复上述过程直至使用搜索算法的次数达到第一预设阈值或使用搜索算法的时间达到第二预设阈值。
[0013]本说明书提供了一种代价模型训练的装置，所述代价模型包括：特征提取层、各硬件平台对应的门控网络层以及各硬件平台对应的输出层，所述装置包括：第一确定模块，用于确定用于部署在模型中的各算子，并确定各算子的特征以及
各硬件平台的特征；第二确定模块，用于针对每个算子，根据该算子的特征以及各硬件平台的特征确定训练样本，并根据该算子的运行代码在各硬件平台执行的实际运行时间，确定所述训练样本对应各硬件平台的标注；提取模块，用于将所述训练样本输入所述特征提取层中，对所述训练样包含的算子的特征进行特征提取，确定所述训练样本的中间特征；加权模块，用于针对每个门控网络层，将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该门控网络层，确定该门控网络层输出的加权矩阵；加权结果模块，用于针对每个硬件平台，根据对应该硬件平台的门控网络输出的加权矩阵对所述训练样本的中间特征加权的结果，确定所述训练样本对应该硬件平台的第一特征；预测结果模块，用于将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的输出层中，获得该输出层输出的所述训练样本对应该硬件平台的预测运行时间；训练模块，用于根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定损失，并以损失最小为优化目标训练所述代价模型。
[0014]本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述代价模型训练的方法。
[0015]本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法。
[0016]本说明书采用的上述至少一个技术方案能够达到以下有益效果：本方法使用用于部署模型的各算子的特征以及各硬件平台的特征构造训练样本，并针对每个算子，将该算子的运行代码在各硬件平台上的实际运行时间作为该算子对应的训练样本的标注。将训练样本输入代价模型的特征提取层，通过各硬件平台对应的门控网络层的加权矩阵，确定该训练样本对应各硬件平台的第本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种代价模型训练的方法，其特征在于，所述代价模型包括：特征提取层、各硬件平台对应的门控网络层以及各硬件平台对应的输出层，所述方法包括：确定用于部署在模型中的各算子，并确定各算子的特征以及各硬件平台的特征；针对每个算子，根据该算子的特征以及各硬件平台的特征确定训练样本，并根据该算子的运行代码在各硬件平台执行的实际运行时间，确定所述训练样本对应各硬件平台的标注；将所述训练样本输入所述特征提取层中，对所述训练样包含的算子的特征进行特征提取，确定所述训练样本的中间特征；针对每个门控网络层，将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该门控网络层，确定该门控网络层输出的加权矩阵；针对每个硬件平台，根据对应该硬件平台的门控网络输出的加权矩阵对所述训练样本的中间特征加权的结果，确定所述训练样本对应该硬件平台的第一特征；将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的输出层中，获得该输出层输出的所述训练样本对应该硬件平台的预测运行时间；根据所述训练样本对应该硬件平台的预测运行时间与对应该硬件平台的标注的差异，确定损失，并以损失最小为优化目标训练所述代价模型。2.如权利要求1所述的方法，其特征在于，所述特征提取层具有多个子特征提取层；将所述训练样本输入所述特征提取层中，对所述训练样包含的算子的特征进行特征提取，确定所述训练样本的中间特征，具体包括：将所述训练样本分别输入所述代价模型的所述特征提取层中的各子特征提取层中，确定所述各子特征提取层提取的所述训练样本的中间特征。3.如权利要求1所述的方法，其特征在于，所述算子的特征包括算子的计算特征与运行代码的特征。4.如权利要求1所述的方法，其特征在于，所述门控网络层包括：权重确定层与归一化层；针对每个门控网络层，将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该门控网络层，确定该门控网络层输出的加权矩阵，具体包括：将所述训练样本包含的该门控网络层对应的硬件平台的特征，输入该目标硬件平台对应的门控网络层中的权重确定层，确定该门控网络层的初始加权矩阵；将所述初始权重矩阵输入该目标硬件平台对应的门控网络层中的归一化层，获得归一化的加权矩阵，其中，所述归一化的加权矩阵中的各权重值是归一化的。5.如权利要求1所述的方法，其特征在于，所述输出层包括：各硬件平台对应的任务塔，以及各硬件平台对应的预测层；将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的输出层中，获得该输出层输出的所述训练样本对应该硬件平台的预测运行时间，具体包括：将所述训练样本对应该硬件平台的第一特征输入该硬件平台对应的任务塔中，获得所述训练样本针对各目标硬件平台的第二特征；将所述各第二特征输入对应该硬件平台的预测层中，通过各预测层输出该算子在各目标硬件平台上预测运行时间。
6.如权利要求1所述的方...
【专利技术属性】
技术研发人员：陈自强，李勇，王鹏程，陈光，曾令仿，程稳，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。