神经结构搜索模型的训练方法、装置及电子设备制造方法及图纸

本申请公开了神经结构搜索模型的训练方法及装置、电子设备和存储介质，主要技术方案包括：将不同参数组合的神经网络元结构输入神经结构搜索模型，编译器模型包含多种编译器的硬件配置；获取神经网络元结构加载至编译器模型，确定不同的编译器硬件配置推理不同参数组合的神经网络元结构的推理时间，并获得神经网络元结构与推理时间的关联数据；根据神经网络元结构与推理时间的关联数据对神经结构搜索模型进行训练，以得到目标神经结构搜索模型。本申请在神经结构搜索模型中引入编译器模型，确定编译器模型中不同硬件配置编译器推理神经网络元结构的推理时间，更准确的获得神经网络元结构和推理速度(推理时间)之间的关系。络元结构和推理速度(推理时间)之间的关系。络元结构和推理速度(推理时间)之间的关系。

【技术实现步骤摘要】
神经结构搜索模型的训练方法、装置及电子设备


[0001]本申请涉及数据处理
，尤其涉及一种神经结构搜索模型的训练方法、装置、电子设备和存储介质。

技术介绍

[0002]神经结构搜索(Neural architecture search,NAS)旨在以一种自动化的方式,解决高难度的复杂神经网络设计问题，应用中根据专家预先定义的搜索空间(search space),基于神经结构搜索算法在一个庞大的神经网络集合中评估结构性能并寻找到表现最佳的网络结构。
[0003]原始的NAS过程非常耗时，通常需要数千个图形处理器(Graphic Processing Unit)来进行训练和验证，并且对于大型数据集的可扩展性很差。为了降低计算成本，可通过权重共享的方式实现，即训练一个大型的“超级网络”或简称超网络，它涵盖了多个选项，而不是并行训练数千个不同的网络。通过不断放宽搜索空间以采用基于梯度的优化方法，继续完善其适用性。
[0004]上述方法从搜索速度和适用性对NAS进行优化，但该些方法都没有针对神经网络的推理时间进行相应的优化，因此，完善NAS的推理时间的优化是目前亟需解决的问题。

技术实现思路

[0005]本申请提供了一种神经结构搜索模型的训练方法、装置、电子设备和存储介质。主要目的在于引入编译器模型，更准确的获得神经网络元结构和推理时间之间的关系，根据推理时间对神经结构搜索模型进行训练，以更准确的获取神经网络元结构和推理速度之间的关系。
[0006]根据本申请的第一方面，提供了一种神经结构搜索模型的训练方法，其中，包括：
[0007]将不同参数组合的神经网络元结构输入神经结构搜索模型，所述神经结构搜索模型根据编译器模型及神经网络元结构建立，所述编译器模型包含多种编译器的硬件配置；
[0008]获取所述神经网络元结构加载至所述编译器模型，确定不同的编译器硬件配置推理所述不同参数组合的神经网络元结构的推理时间，并获得神经网络元结构与所述推理时间的关联数据；
[0009]根据所述神经网络元结构与推理时间的关联数据对所述神经结构搜索模型进行训练，以得到目标神经结构搜索模型。
[0010]在本实施例一种可能的实现方式中，在将不同参数组合的神经网络元结构输入神经结构搜索模型之后，所述方法还包括：
[0011]对所述神经网络元结构中的各个神经网络层进行编码处理；
[0012]对所述神经网络元结构进行编码处理，得到目标神经网络元结构。
[0013]在本实施例一种可能的实现方式中，所述获取所述神经网络元结构加载至所述编译器模型，确定不同的编译器硬件配置推理所述不同参数组合的神经网络元结构的推理时
间包括：
[0014]将所述目标神经网络元结构输入所述编译器模型，由所述编译器模型根据接收到的目标神经网络元结构的不同参数组合与不同的硬件配置进行排列组合；
[0015]根据排列组合的结果，依次将所述神经网络元结构加载至所述不同硬件配置的编译器中；
[0016]记录运行所述神经网络元结构的推理开始时间，以及记录运行所述神经网络元结构的推理结束时间；
[0017]根据所述推理开始时间及所述推理结束时间，获取完成推理的所述推理时间。
[0018]在本实施例一种可能的实现方式中，所述获得神经网络元结构与所述推理时间的关联数据包括：
[0019]建立所述推理时间与所述神经网络元结构之间的关联关系，得到所述神经网络元结构与所述推理时间的关联数据。
[0020]在本实施例一种可能的实现方式中，所述方法还包括：
[0021]基于神经网络元结构和编译器模型构建所述神经结构搜索模型，以获得神经网络和推理速度之间的非线性关系。
[0022]在本实施例一种可能的实现方式中，所述根据所述神经网络元结构与推理时间的关联数据对所述神经结构搜索模型进行训练，以得到目标神经结构搜索模型包括：
[0023]在搜索空间中定义基础单元，所述基础单元中包含预设数量的节点；
[0024]获取所述神经结构元结构与所述推理时间的关联数据的特征向量；
[0025]基于所述特征向量对所述搜索空间连续松弛化，对所述预设数量的节点之间的路径子操作进行混合；
[0026]对所述路径子操作混合概率的路径参数和无关的网络参数进行优化；
[0027]基于预设损失函数对所述特征向量进行损失处理，并根据损失处理的结果获取概率最大的路径子操作，所述预设损失函数包含针对所述神经网络元结构的损失函数，以及编译器的精度损失函数。
[0028]根据本申请的第二方面，提供了一种神经结构搜索模型的训练装置，包括：
[0029]输入单元，用于将不同参数组合的神经网络元结构输入神经结构搜索模型，所述神经结构搜索模型根据编译器模型及神经网络元结构建立，所述编译器模型包含多种编译器的硬件配置；
[0030]第一获取单元，用于获取所述神经网络元结构加载至所述编译器模型，确定不同的编译器硬件配置推理所述不同参数组合的神经网络元结构的推理时间；
[0031]第二获取单元，用于获得神经网络元结构与所述推理时间的关联数据；
[0032]训练单元，用于根据所述神经网络元结构与推理时间的关联数据对所述神经结构搜索模型进行训练，以得到目标神经结构搜索模型。
[0033]在本实施例一种可能的实现方式中，所述装置还包括：
[0034]编码单元，用于在将不同参数组合的神经网络元结构输入神经结构搜索模型之后，对所述神经网络元结构中的各个神经网络层进行编码处理；
[0035]所述编码单元，还用于对所述神经网络元结构进行编码处理，得到目标神经网络元结构。
[0036]在本实施例一种可能的实现方式中，所述第一获取单元包括：
[0037]输入模块，用于将所述目标神经网络元结构输入所述编译器模型，由所述编译器模型根据接收到的目标神经网络元结构的不同参数组合与不同的硬件配置进行排列组合；
[0038]加载模块，用于根据排列组合的结果，依次将所述神经网络元结构加载至所述不同硬件配置的编译器中；
[0039]记录模块，用于记录运行所述神经网络元结构的推理开始时间，以及记录运行所述神经网络元结构的推理结束时间；
[0040]获取模块，用于根据所述推理开始时间及所述推理结束时间，获取完成推理的所述推理时间。
[0041]在本实施例一种可能的实现方式中，所述第二获取单元，还用于建立所述推理时间与所述神经网络元结构之间的关联关系，得到所述神经网络元结构与所述推理时间的关联数据。
[0042]在本实施例一种可能的实现方式中，所述装置还包括：
[0043]搭建单元，用于基于神经网络元结构和编译器模型构建所述神经结构搜索模型，以获得神经网络和推理时间之间的非线性关系。
[0044]在本实施例一种可能的实现方式中，所述训练单元包括：
[0045]定义模块，用于在搜索本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经结构搜索模型的训练方法，其特征在于，包括：将不同参数组合的神经网络元结构输入神经结构搜索模型，所述神经结构搜索模型根据编译器模型及神经网络元结构建立，所述编译器模型包含多种编译器的硬件配置；获取所述神经网络元结构加载至所述编译器模型，确定不同的编译器硬件配置推理所述不同参数组合的神经网络元结构的推理时间，并获得神经网络元结构与所述推理时间的关联数据；根据所述神经网络元结构与推理时间的关联数据对所述神经结构搜索模型进行训练，以得到目标神经结构搜索模型。2.根据权利要求1所述的方法，其特征在于，在将不同参数组合的神经网络元结构输入神经结构搜索模型之后，所述方法还包括：对所述神经网络元结构中的各个神经网络层进行编码处理；对所述神经网络元结构进行编码处理，得到目标神经网络元结构。3.根据权利要求2所述的方法，其特征在于，所述获取所述神经网络元结构加载至所述编译器模型，确定不同的编译器硬件配置推理所述不同参数组合的神经网络元结构的推理时间包括：将所述目标神经网络元结构输入所述编译器模型，由所述编译器模型根据接收到的目标神经网络元结构的不同参数组合与不同的硬件配置进行排列组合；根据排列组合的结果，依次将所述神经网络元结构加载至所述不同硬件配置的编译器中；记录运行所述神经网络元结构的推理开始时间，以及记录运行所述神经网络元结构的推理结束时间；根据所述推理开始时间及所述推理结束时间，获取完成推理的所述推理时间。4.根据权利要求3所述的方法，其特征在于，所述获得神经网络元结构与所述推理时间的关联数据包括：建立所述推理时间与所述神经网络元结构之间的关联关系，得到所述神经网络元结构与所述推理时间的关联数据。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，所述方法还包括：基于神经网络元结构和编译器模型构建所述神经结构搜索模型，以获得神经网络和推理速度之间的非线性关系。6.根据权利要求1所述的方法，其特征在于，根据所述神经网络元结构与推理时间的关联数据对所述神经结构搜索模型进行训练，以得到目标神经结构搜索模型包括：在搜索空间中定义基础单元，所述基础单元中包含预设数量的节点；获取所述神经结构元结构与所述推理时间的关联数据的特征向量；基于所述特征向量对所述搜索空间连续松弛化，对所述预设数量的节点之间的路径子操作进行混合；对所述路径子操作混合概率的路径参数和无关的网络参数进行优化；基于预设损失函数对所述特征向量进行损失处理，并根据损失处理的结果获取概率最大的路径子操作，所述预设损失函数包含针对所述神经网络元结构的损失函数，以及编译器的精度损失函数。
7.一种神经结构搜索模型的训练装置，其特征在于，包括：输入单元，用于将不同参数组合的神经网络元结构输入神经结构搜索模型，所述神经结构搜索模型根据编译器模型及神经网络元结构建立，所述编译器模型包含多种编译器的硬件配置；第一获取单元，用于获取所述神经网络元结构加载至所述编译器模型，确定不同的编译器硬件配置推理所述不同参数...

【专利技术属性】
技术研发人员：张恒，
申请(专利权)人：上海玄戒技术有限公司，
类型：发明
国别省市：