一种结构搜索方法及结构搜索装置制造方法及图纸

本申请公开了人工智能领域的一种结构搜索方法及结构搜索装置，用于神经网络构建，以构建单元在硬件上的预测延迟作为约束条件，确定出符合时延要求的神经网络，实现人工智能中的神经网络构建。该方法包括：获取用于请求创建在预设硬件上运行的神经网络的目标任务；随后根据目标任务获取超级单元，该超级单元包括多个节点，该多个节点中的任意两个节点之间通过多种基础运算连接；随后延迟预测模型的输出作为约束条件对超级单元进行搜索，确定出至少一个第一构建单元，该延迟预测模型用于输出预测延迟，该预测延迟为超级单元所包括的构建单元在预设硬件上运行时的预测延迟；对至少一个第一构建单元进行堆叠，得到神经网络。

【技术实现步骤摘要】
一种结构搜索方法及结构搜索装置
本申请涉及人工智能领域，尤其涉及一种结构搜索方法及结构搜索装置。
技术介绍
深度神经网络近年来在图像、视频和语音等多种媒体信号的处理与分析任务中取得了卓越的成就。一个性能良好的神经网络往往拥有精妙的网络结构，需要具有高超技能和丰富经验的人类专家花费大量精力进行设计。神经网络结构搜索改变了这种手工的设计模式，自动化地搜索神经网络结构，得到性能优异的神经网络结构，在图像识别、图像语义分割和自然语言处理等任务上取得了优异的成绩。通常，神经网络结构搜索具体可以包括，在搜索空间搜索构建单元，然后通过堆叠搜索到的构建单元来搭建得到深度神经网络。然而，在搜索神经网络结构时，除了需要考虑神经网络的输出准确性，还要考虑神经网络在硬件上运行的延迟。尤其是在一些对于时延要求较高的场景，若神经网络运行的延迟较大，则输出结果所花费的时间也越长，影响用户体验。
技术实现思路
本申请公开了人工智能领域的一种结构搜索方法及结构搜索装置，用于神经网络构建，以构建单元在硬件上的预测延迟作为约束条件，确定出符合时延要求的神本文档来自技高网...

【技术保护点】
1.一种结构搜索方法，其特征在于，包括：/n获取目标任务，所述目标任务用于请求创建在预设硬件上运行的神经网络；/n根据所述目标任务获取超级单元，所述超级单元包括多个节点，所述多个节点中的任意两个节点之间通过多种基础运算连接；/n以延迟预测模型的输出作为约束条件对所述超级单元进行搜索，确定出至少一个第一构建单元，所述延迟预测模型用于输出预测延迟，所述预测延迟为所述超级单元所包括的构建单元在所述预设硬件上运行时得到输出结果的预测时长，所述延迟预测模型为根据多个第二构建单元的信息进行训练得到，所述多个第二构建单元的信息包括所述多个第二构建单元中每个第二构建单元的结构和所述每个第二构建单元的运行延迟，...

【技术特征摘要】
1.一种结构搜索方法，其特征在于，包括：
获取目标任务，所述目标任务用于请求创建在预设硬件上运行的神经网络；
根据所述目标任务获取超级单元，所述超级单元包括多个节点，所述多个节点中的任意两个节点之间通过多种基础运算连接；
以延迟预测模型的输出作为约束条件对所述超级单元进行搜索，确定出至少一个第一构建单元，所述延迟预测模型用于输出预测延迟，所述预测延迟为所述超级单元所包括的构建单元在所述预设硬件上运行时得到输出结果的预测时长，所述延迟预测模型为根据多个第二构建单元的信息进行训练得到，所述多个第二构建单元的信息包括所述多个第二构建单元中每个第二构建单元的结构和所述每个第二构建单元的运行延迟，所述运行延迟为所述每个第二构建单元在所述预设硬件上运行得到输出结果的时长，所述至少一个第一构建单元中的每个第一构建单元、所述超级单元所包括的构建单元和所述每个第二构建单元包括所述多个节点，所述多个节点中的任意两个节点之间通过所述多种基础运算中的至多一种连接，且所述多个节点中的每个节点连接有所述多种基础运算中的至少一种；
对所述至少一个第一构建单元进行堆叠，得到所述神经网络。


2.根据权利要求1所述的方法，其特征在于，在以延迟预测模型的输出作为约束条件对所述超级单元进行搜索之前，所述方法还包括：
获取所述每个第二构建单元的结构；
测试所述每个第二构建单元的所述运行延迟；
基于所述每个第二构建单元的结构、所述每个第二构建单元的运行延迟和预设回归模型进行训练，得到所述延迟预测模型。


3.根据权利要求2所述的方法，其特征在于，所述基于所述每个第二构建单元的结构、所述每个第二构建单元的运行延迟和预设回归模型进行训练，包括：
将所述多个第二构建单元分为两类，得到第一类构建单元和第二类构建单元；
基于所述预设回归模型，根据所述第一类构建单元的结构、所述第二类构建单元的结构和所述预设回归模型进行M次迭代训练，得到所述延迟预测模型，所述M为正整数；
其中，所述M次迭代中的第K次包括：
根据所述第一类构建单元的结构和所述第一类构建单元中的每个第二构建单元的运行延迟，对第K-1次训练得到的延迟预测模型进行训练，得到所述第K次训练的临时延迟预测模型，所述K为不大于所述M的正整数；
根据所述第二类构建单元包括的每个第二构建单元的结构和所述第二类构建单元中的每个第二构建单元的运行延迟对所述临时延迟预测模型进行验证，并根据验证结果更新所述临时延迟预测模型，得到第K次训练的所述延迟预测模型。


4.根据权利要求1-3中任一项所述的方法，其特征在于，所述以延迟预测模型的输出作为约束条件对所述超级单元进行搜索，确定出至少一个第一构建单元，包括：
以所述延迟预测模型的输出作为约束条件对所述超级单元的结构参数集合进行N次迭代更新，所述N为正整数；
根据第N次迭代更新后的所述超级单元的结构参数集合，确定所述至少一个第一构建单元。


5.根据权利要求4所述的方法，其特征在于，所述N次迭代中的第P次包括：
根据所述超级单元的结构参数集合对所述超级单元进行采样，得到多个第三构建单元，所述结构参数集合中包括多个结构参数，所述多个结构参数中的每个结构参数为连接所述超级单元的两个节点的基础运算的权重；
通过所述延迟预测模型，输出所述多个第三构建单元的预测延迟；
以所述多个第三构建单元的预测延迟作为约束条件，对第P-1次更新得到的结构参数集合进行更新，得到第P次更新的所述结构参数集合，所述P为不大于所述N的正整数。


6.根据权利要求5所述的方法，其特征在于，所述以所述多个第三构建单元的预测延迟作为约束条件，对第P-1次更新得到的结构参数集合进行更新，包括：
根据所述多个第三构建单元的预测延迟计算所述超级单元的期望延迟；
将所述期望延迟作为所述约束条件更新所述超级单元的联合损失函数；
根据所述联合损失函数更新所述结构参数集合。


7.根据权利要求6所述的方法，其特征在于，
所述联合损失函数，包括：Ltotal(α)＝Lval(α)+λ.LPM(α)，其中，所述Lval(α)为预设的损失函数，所述LPM(α)为所述期望延迟，所述α为所述结构参数集合，所述λ为延迟约束力度，所述λ为根据所述目标任务确定。


8.根据权利要求5-7中任一项所述的方法，其特征在于，所述通过所述延迟预测模型，输出所述多个第三构建单元的延迟，包括：
对所述多个第三构建单元的结构进行编码，得到所述多个第三结构单元的编码数据；
将所述多个第三构建单元的编码数据输入至所述延迟预测模型，得到所述多个第三构建单元中每个第三构建单元的预测延迟。


9.根据权利要求1-8中任一项所述的方法，其特征在于，所述方法还包括：
基于搜索空间进行构建，得到所述超级单元，所述搜索空间中包括多种基础运算，所述多种基础运算包括与所述目标任务对应的运算。


10.根据权利要求9所述的方法，其特征在于，所述搜索空间为可微分搜索空间。


11.一种结构搜索装置，其特征在于，包括：
任务获取模块，用于获取目标任务，所述目标任务用于请求创建在预设硬件上...

【专利技术属性】
技术研发人员：肖安，徐宇辉，谢凌曦，张晓鹏，魏龙辉，田奇，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44