基于硬件性能的神经架构搜索方法和设备技术

提供了基于硬件性能的神经架构搜索方法和设备。所述方法包括：获取包括在预训练的神经网络中的神经网络块所对应的硬件性能；从神经网络块选择用于硬件性能改善的至少一个目标块；基于任意输入数据和目标块的基于输入数据生成的输出数据，训练与目标块对应的候选块的权重和架构参数；和通过基于训练的架构参数使用候选块之一替换预训练的神经网络中的目标块，来更新预训练的神经网络。来更新预训练的神经网络。来更新预训练的神经网络。

【技术实现步骤摘要】
基于硬件性能的神经架构搜索方法和设备
[0001]本申请要求于2020年9月8日在韩国知识产权局提交的第10
‑
2020
‑
0114703号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。


[0002]下面的描述涉及基于硬件性能的神经架构搜索方法和设备。

技术介绍

[0003]神经架构搜索(NAS)可以是用于自动搜索神经网络的结构(即，架构)的技术。NAS可优化在各种领域(诸如，图像分类和语音识别)中具有高识别率的神经网络，以具有适合于硬件的结构。NAS可通过学习来设计最优架构。NAS技术可包括：基于强化学习来预测确定神经网络的架构的元素的值的训练RNN控制器的方法、使用知识蒸馏方案(knowledge distillation scheme)搜索新的神经网络结构的方法、以及搜索用于替换不必要的操作的结构的方法。这样的方法可能需要用于搜索和学习新架构的操作。NAS可能需要大量的计算资源和时间来进行计算。

技术实现思路

[0004]提供本专利
技术实现思路
以简化的形本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器实现的基于硬件性能的神经架构搜索方法，包括：获取包括在预训练的神经网络中的神经网络块所对应的硬件性能；从神经网络块选择用于硬件性能改善的至少一个目标块；基于任意输入数据和目标块的基于输入数据生成的输出数据，训练与目标块对应的候选块的权重和架构参数；和通过基于训练的架构参数使用候选块之一替换预训练的神经网络中的目标块，更新预训练的神经网络。2.根据权利要求1所述的神经架构搜索方法，其中，针对相应候选块中的每个，训练的步骤包括：基于相应候选块的输出数据与目标块的输出数据之间的匹配程度以及相应候选块所对应的硬件性能来生成损失函数，其中，相应候选块的输出数据和目标块的输出数据基于同一输入数据被生成；和基于损失函数训练相应候选块的权重和架构参数。3.根据权利要求1所述的神经架构搜索方法，其中，针对相应候选块中的每个，训练的步骤包括：基于相应候选块的架构参数来确定相应候选块是否是待训练的目标；和响应于相应候选块被确定为待训练的目标，训练相应候选块。4.根据权利要求3所述的神经架构搜索方法，其中，确定的步骤包括：响应于相应候选块的架构参数大于或等于预定阈值，确定相应候选块是待训练的目标。5.根据权利要求1所述的神经架构搜索方法，其中，获取神经网络块所对应的硬件性能的步骤包括：基于执行神经网络块的操作的实际硬件的性能的测量值来确定神经网络块所对应的硬件性能。6.根据权利要求1所述的神经架构搜索方法，其中，获取神经网络块所对应的硬件性能的步骤包括：基于学习了执行神经网络块的操作的硬件的性能的预测模型来估计神经网络块所对应的硬件性能。7.根据权利要求1所述的神经架构搜索方法，其中，获取神经网络块所对应的硬件性能的步骤包括：基于执行神经网络块的操作的硬件的性能的模拟来估计神经网络块所对应的硬件性能。8.根据权利要求1至权利要求7中任意一项所述的神经架构搜索方法，其中，选择目标块的步骤包括以下中的任意一者或两者：按照神经网络块所对应的硬件性能的升序选择神经网络块中的至少一个作为目标块；和将神经网络块所对应的硬件性能与阈值进行比较，并且选择神经网络块中的对应于低于阈值的硬件性能的至少一个作为目标块。9.根据权利要求1至权利要求7中任意一项所述的神经架构搜索方法，其中，训练的步骤包括：
生成输入数据并通过将输入数据输入到目标块来生成输出数据，作为训练数据；基于训练数据来训练候选块中的至少一个；和响应于基于训练数据执行的训练的完成而移除训练数据。10.根据权利要求1至权利要求7中任意一项所述的神经架构搜索方法，其中，训练的步骤包括：获取具有与目标块的输入维度和输出维度相同的输入维度和输出维度的块，作为候选块。11.根据权利要求1至权利要求7中任意一项所述的神经架构搜索方法，其中，替换目标块的步骤包括：从候选块选择候选块中的具有最大架构参数的候选块；和使用选择的候选块替换目标块。12.根据权利要求1至权利要求7中任意一项所述的神经架构搜索方法，其中，选择目标块的步骤还包括：基于硬件限制条件从神经网络块选择目标块。13.根据权利要求12所述的神经架构搜索方法，其中，针对相应候选块中的每个，训练的步骤包括：基于相应候选块的输出数据与目标块的输出数据之间的匹配程度、相应候选块所对应的硬件性能以及硬件限制条件来生成损失函数，其中，相应候选块的输出数据与目标块的输出数据基于同一输入数据被生成；和基于损失函数训练相应候选块的权重和架构参数。14.根据权利要求12所述的神经架构搜索方法，其中，硬件限制条件对应于由被配置为执行神经网络的硬件支持的神经网络操作类型和/或所述硬件的存储器容量。15.根据权利要求12所述的神经架构搜索方法，其中，基于硬件限制条件选择目标块的步骤...

【专利技术属性】
技术研发人员：崔赛纶，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：