本公开涉及用于生成神经网络的方法和装置。根据本公开的用于生成神经网络的方法包括：针对多个性能参数训练多个神经网络从而为每个性能参数获得多个参数值；基于所述参数值和神经网络训练多个神经网络预测器；以及使用经训练的神经网络预测器确定目标神经网络。根据本公开的用于生成神经网络的技术，可以在网络结构的搜索空间中实现满足预设约束条件的网络结构的自动搜索。网络结构的自动搜索。网络结构的自动搜索。
【技术实现步骤摘要】
用于生成神经网络的方法和装置
[0001]本公开总体上涉及神经网络的
，更具体地，涉及用于生成神经网络的方法和装置。
技术介绍
[0002]近年来，随着深度学习的快速发展，对神经网络的精度，参数量，运行速度等性能参数都有了更高的要求。然而，神经网络的人工设计需要设计人员具有一定的专业知识，同时也需要大量的实验来验证神经网络的性能。因此，自动设计高效的神经网络在近几年得到了关注，其中神经网络架构搜索(Neural Architecture Search，NAS)因其高性能、高度自动化等优点逐渐受到青睐。
[0003]NAS通常需要在搜索空间中采样并训练候选网络结构，然后针对候选网络结构的单个性能参数进行评估，并根据获得的数据针对该单个性能参数确定目标神经网络，没有实现约束条件下的搜索。
技术实现思路
[0004]本公开提出了一种用于生成神经网络的技术，可以实现约束条件下的搜索。
[0005]在下文中将给出关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。应当理解，此概述并非是关于本公开的穷举性概述，也并非意图确定本公开的关键或重要部分或者限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
[0006]根据本公开的一个方面，提供了一种用于生成神经网络的方法，其包括：针对多个性能参数训练多个神经网络从而为每个性能参数获得多个参数值；基于所述参数值和神经网络训练多个神经网络预测器；以及使用经训练的神经网络预测器确定目标神经网络。
[0007]根据本公开的另一方面，提供了一种用于生成神经网络的装置，其包括：第一训练单元，被配置成针对多个性能参数训练多个神经网络从而为每个性能参数获得多个参数值；第二训练单元，被配置成基于所述参数值和神经网络训练多个神经网络预测器；以及确定单元，被配置成使用经训练的神经网络预测器确定目标神经网络。
[0008]根据本公开的另一方面，提供了一种能够实现上述的用于生成神经网络的方法的计算机程序。此外，还提供了具有至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述的用于生成神经网络的方法的计算机程序代码。
[0009]根据本公开的另一方面，提供了一种电子装置，其包括处理器以及存储器，存储器上存储有程序，该程序在被处理器执行时使得处理器执行上述的用于生成神经网络的方法。
[0010]根据本公开的另一方面，提供了一种数据处理方法，其包括：接收数据；以及使用上述的用于生成神经网络的方法确定的目标神经网络对数据进行处理以实现数据分类、语义分割和目标检测中的至少一个。
[0011]根据本公开的用于生成神经网络的技术，为了确定目标神经网络可以训练多个神经网络预测器，该多个神经网络预测器中的一个或多个可以表示约束条件(表示约束条件的一个或多个神经网络预测器也称作辅预测器)，从而能够在网络结构的搜索空间中实现满足预设约束条件的网络结构的自动搜索。
附图说明
[0012]参照下面结合附图对本公开实施方式的说明，会更加容易地理解本公开的以上和其它目的、特点和优点，在附图中：
[0013]图1A是示出根据本公开的实施方式的用于生成神经网络的方法的流程图；
[0014]图1B是示出根据本公开的实施方式的用于生成神经网络的方法中一个步骤的另一种实现方式；
[0015]图2是示出根据本公开的实施方式的用于生成神经网络的方法的示意图；
[0016]图3是示出根据本公开的实施方式的由有向无环图表示的网络结构的示例的示意图；
[0017]图4是示出根据本公开的实施方式的用于生成神经网络的装置的框图；以及
[0018]图5是示出可用来实现根据本公开的实施方式的用于生成神经网络的方法和装置的通用机器的结构简图。
具体实施方式
[0019]在下文中，将参照所附的说明性示图详细描述本公开的一些实施方式。在用附图标记指示附图的元件时，尽管相同的元件在不同的附图中示出，但相同的元件将由相同的附图标记表示。此外，在本公开的以下描述中，在有可能使本公开的主题不清楚的情况下，将省略对并入于本文中的已知功能和配置的详细描述。
[0020]本文中使用的术语仅用于描述特定实施方式的目的，而非旨在限制本公开。如本文所使用的，除非上下文另外指出，否则单数形式旨在也包括复数形式。还将理解的是，说明书中使用的术语“包括”、“包含”和“具有”旨在具体说明所陈述的特征、实体、操作和/或部件的存在，但是并不排除一个或更多个其他的特征、实体、操作和/或部件的存在或添加。
[0021]除非另有限定，否则本文中使用的包括技术术语和科学术语的所有术语具有与本专利技术构思所属领域技术人员通常理解的含义相同的含义。将进一步理解的是，诸如在常用词典中限定的那些术语应该被解释为具有与其在相关领域的上下文中的含义一致的含义，除非在此明确限定否则不应以理想化或过于正式的意义来解释。
[0022]在下面的描述中，阐述了许多具体细节以提供对本公开的全面理解。本公开可以在没有这些具体细节中的一些或所有具体细节的情况下实施。在其他实例中，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的部件，而省略了与本公开关系不大的其他细节。
[0023]下面，将参照附图结合根据本公开的实施方式详细描述本公开的用于生成神经网络的技术。
[0024]图1A示出了根据本公开的实施方式的用于生成神经网络的方法100的流程图。图2示出了根据本公开的实施方式的用于生成神经网络的方法100的示意图。
[0025]根据本公开的实施方式，方法100可以包括：
[0026]步骤S110，针对多个性能参数训练多个神经网络从而为每个性能参数获得多个参数值；
[0027]步骤S120，基于所述参数值和神经网络训练多个神经网络预测器；以及
[0028]步骤S130，使用经训练的神经网络预测器确定目标神经网络。
[0029]根据本公开的实施方式，方法100可以可选地包括如虚线框所示的步骤S105，确网络结构集合，所述网络结构集合中的每个网络结构表征一个神经网络。
[0030]神经网络，又称人工神经网络(Artificial Neural Networks，ANN)是一种模仿动物神经网络行为特征来进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。鉴于神经网络及其网络结构对于本领域技术人员是已知的，因此为简洁起见，本文不对神经网络及其网络结构的细节进行更详细的描述。此外，在本文中，术语“神经网络结构”和“网络结构”具有相同的含义，均用于表征神经网络，因此在说明书中混合使用。
[0031]下面结合图2对方法100的各个步骤S105、S110、S120和S130分别进行更详细的描述。
[0032]根据本公开的实施方式，在方法100的步骤S105本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于生成神经网络的方法，包括：针对多个性能参数训练多个神经网络从而为每个性能参数获得多个参数值；基于所述参数值和所述神经网络训练多个神经网络预测器；以及使用经训练的神经网络预测器确定目标神经网络。2.根据权利要求1所述的方法，其中，所述神经网络预测器包括主预测器和辅预测器，所述主预测器和辅预测器分别用于为神经网络预测所述多个性能参数中的不同性能参数。3.根据权利要求1所述的方法，其中，所述多个性能参数包括神经网络针对特定目标任务的精度、参数量、运行时的延迟量和运行时所需的计算量中的至少两个。4.根据权利要求1所述的方法，还包括：确定网络结构集合，所述网络结构集合中的每个网络结构表征一个神经网络，其中，训练所述多个神经网络包括：从所述网络结构集合中选择表征所述多个神经网络的多个网络结构。5.根据权利要求4所述的方法，其中，所述网络结构集合包括由有向无环图表示的网络结构，其中，所述有向无环图的每个节点表示一个操作，其中，所述有向无环图的每个边表示两个对应节点之间的连接关系。6.根据权利要求5所述的方法，其中，每个操作是输入、卷积、池化、求和、跳跃、补零和输出中的一个。7.根据权利要求5所述的方法，其中，所述网络结构集合还包括由一维向量表示的网络结构。8.根据权利要求4所述的方法，其中，使用经训练的神经网络预测器确定目标神经网络包括：使用经训练的神经网络预测器进行多次迭代以得到一组网络结构，其中，对于每次迭代：使用经训练的神经网络预测器基于前一次迭代得到的网络结构，确定多个梯度结构，基于前一次迭代得到的网络结构以及所述梯度结构得到本次迭代的网络结构。9.根据权利要求8所述的方法，其中，使用经训练的神经网络预测器确定目标神经网络还包括：从该组网络结构中按照预定规则选择一个表征所述目标神经网络的网络结构。10.根据权利要求4所述的方法，其中，使用经训练的神经网络预测器确定目标神经网络包括：进行多次迭代以重复训练神经网络预测器，其中，对于每次迭代：使用经训练的神经网络预测器得到一组网络结构，针对所述多个性能参数训练该组网络结构中的至少一个网络结构表征的神经网络以为每个性能参数获得一组参数值；至少基于该组参数值以及该组网络结构，训练所述神经网络预测器。11.根据权利要求10所述的方法，其中，使用经训练的神经网络预测器得到一组网络结构包括：使用经训练的神...
【专利技术属性】
技术研发人员：袁柳春，黄泽昊，王乃岩，
申请(专利权)人：北京图森智途科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。