使用性能预测神经网络的神经架构搜索制造技术

描述了一种用于确定配置为执行特定的机器学习任务的任务神经网络的架构的方法。该方法包括：获得数据，该数据指定用于任务神经网络的候选架构的当前集合；对于当前集合中的每个候选架构：使用具有多个性能预测参数的性能预测神经网络来处理指定候选架构的数据，性能预测神经网络被配置为根据性能预测参数的当前值处理指定候选架构的数据以生成性能预测，该性能预测表征具有候选架构的神经网络在关于特定的机器学习任务的训练之后将执行得有多好；以及通过基于当前集合中的候选架构的性能预测来选择当前集合中的一个或多个候选架构来生成候选架构的更新集合。

【技术实现步骤摘要】
【国外来华专利技术】使用性能预测神经网络的神经架构搜索相关申请的交叉引用本申请是2017年11月30日提交的美国临时专利申请第62/593,213号的非临时申请并要求享有其优先权，该临时专利申请的全部内容通过引用合并于此。
技术介绍
本说明书涉及确定神经网络的架构。神经网络是机器学习模型，其采用一层或多层非线性单元来预测接收到的输入的输出。一些神经网络除了包括输出层之外还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一个层(即下一个隐藏层或输出层)的输入。网络的每一层根据参数的相应集合的当前值从接收到的输入生成输出。一些神经网络是循环神经网络。循环神经网络是接收输入序列并从输入序列生成输出序列的神经网络。特别地，循环神经网络可以在计算当前时间步长处的输出时使用网络的来自先前时间步长的内部状态的一些或全部。循环神经网络的示例是包括一个或多个长短期记忆(LSTM)存储器块的LSTM神经网络。每个LSTM存储器块可以包括一个或多个单元，每个单元包括输入门、遗忘门和输出门，输入门、遗忘门和输出门允许该单元存储该单元的先前状态，以例如用于生成当前激活或被提供给LSTM本文档来自技高网...

【技术保护点】
1.一种由一个或多个计算机执行的方法，该方法包括：/n确定被配置为执行特定的机器学习任务的任务神经网络的架构，包括：/n获得数据，该数据指定任务神经网络的候选架构的当前集合；/n对于当前集合中的每个候选架构：/n使用具有多个性能预测参数的性能预测神经网络来处理指定候选架构的数据，其中，性能预测神经网络被配置为根据性能预测参数的当前值处理指定候选架构的数据，以生成性能预测，该性能预测表征具有候选架构的神经网络在关于特定的机器学习任务的训练之后将执行得有多好；以及/n通过基于对于当前集合中的候选架构的性能预测选择当前集合中的一个或多个候选架构来生成候选架构的更新集合。/n

【技术特征摘要】
【国外来华专利技术】20171130 US 62/593,2131.一种由一个或多个计算机执行的方法，该方法包括：
确定被配置为执行特定的机器学习任务的任务神经网络的架构，包括：
获得数据，该数据指定任务神经网络的候选架构的当前集合；
对于当前集合中的每个候选架构：
使用具有多个性能预测参数的性能预测神经网络来处理指定候选架构的数据，其中，性能预测神经网络被配置为根据性能预测参数的当前值处理指定候选架构的数据，以生成性能预测，该性能预测表征具有候选架构的神经网络在关于特定的机器学习任务的训练之后将执行得有多好；以及
通过基于对于当前集合中的候选架构的性能预测选择当前集合中的一个或多个候选架构来生成候选架构的更新集合。


2.根据权利要求1所述的方法，其中，特定的机器学习任务包括图像处理。


3.根据权利要求1或权利要求2所述的方法，其中，特定的机器学习任务包括图像分类或视频分类。


4.根据权利要求1所述的方法，其中，特定的机器学习任务包括语音识别。


5.根据前述权利要求中的任一项所述的方法，还包括：
训练具有所确定的架构的任务神经网络；以及
使用具有所确定的架构的训练后的任务神经网络对接收到的网络输入执行特定的机器学习任务。


6.根据权利要求1至5中的任一项所述的方法，还包括：
对于更新集合中的每个候选架构：
生成具有候选架构的任务神经网络的实例；
训练所述实例以执行特定的机器学习任务；以及
评估训练后的实例关于特定的机器学习任务的性能，以确定训练后的实例的实际性能；以及
使用训练后的实例的实际性能来调整性能预测神经网络的性能预测参数的当前值。


7.根据权利要求6所述的方法，还包括：
对于更新集合中的每个候选架构：
通过针对每个新候选架构将一个或多个运算的相应集合添加到候选架构来从候选架构生成多个新候选架构；
对于每个新候选架构：
使用性能预测神经网络并根据性能预测参数的更新值来处理指定新候选架构的数据，以生成对于新候选架构的性...

【专利技术属性】
技术研发人员：W华，B佐夫，J什伦斯，刘晨曦，J黄，李佳，FF李，KP墨菲，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US