用于卷积神经网络的神经架构搜索制造技术

技术编号:41100911 阅读:28 留言:0更新日期:2024-04-25 13:57
本申请公开了用于卷积神经网络的神经架构搜索。包括被编码在计算机存储介质上的计算机程序、用于确定神经网络架构的方法、系统以及装置。该方法中的一个包括使用具有控制器参数的控制器神经网络并根据控制器参数的当前值生成一批输出序列。该方法包括,对于该批中的每个输出序列:生成子卷积神经网络(CNN)的实例,其中该子卷积神经网络的实例包括具有由输出序列限定的架构的第一卷积单元的多个实例;训练子CNN的实例以执行图像处理任务;以及评估子CNN的经训练的实例在任务上的性能,以确定子CNN的经训练的实例的性能度量;并且使用子CNN的经训练的实例的性能度量来调节控制器神经网络的控制器参数的当前值。

【技术实现步骤摘要】

本说明书涉及确定用于卷积神经网络的架构。


技术介绍

1、神经网络是采用一层或多层非线性单元层以预测所接收的输入的输出的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层(即下一个隐藏层或输出层)的输入。网络的每一层根据相应的一组参数的当前值从所接收的输入中生成输出。

2、一些神经网络是递归神经网络。递归神经网络是接收输入序列并从该输入序列生成输出序列的神经网络。具体地,递归神经网络可以在当前时间步长处计算输出时使用来自先前时间步长的网络的一些或全部内部状态。递归神经网络的示例是包括一个或多个lstm记忆块的长短期(lstm)神经网络。每个lstm记忆块可以包括一个或多个单元,该一个或多个单元各自包括输入门、遗忘门和输出门,这些门允许单元存储该单元的先前状态,例如,用于生成电流激活或被提供给lstm神经网络的其他组件。


技术实现思路

1、本说明书描述了在一个或多个位置中的一个或多个计算机上被实施为计算机程序的系统,该系统通过确定用于在整个网络架构中重本文档来自技高网...

【技术保护点】

1.一种神经网络系统,包括:

2.根据权利要求1所述的神经网络系统,其中,所述第一卷积单元具有已经使用计算机实现的方法生成的最终架构,所述计算机实现的方法包括:

3.根据权利要求2所述的神经网络系统,其中,对于所述一个或多个操作块中的每一个,所述批中的每个输出序列限定:

4.根据权利要求3所述的神经网络系统,其中,对于所述第一卷积单元中的所述一个或多个操作块中的每个操作块,所述批中的每个输出序列还限定:

5.根据权利要求2所述的神经网络系统,还包括一个或多个第二卷积单元,所述一个或多个第二卷积单元中的每个第二卷积单元被配置为接收第二单元输入...

【技术特征摘要】

1.一种神经网络系统,包括:

2.根据权利要求1所述的神经网络系统,其中,所述第一卷积单元具有已经使用计算机实现的方法生成的最终架构,所述计算机实现的方法包括:

3.根据权利要求2所述的神经网络系统,其中,对于所述一个或多个操作块中的每一个,所述批中的每个输出序列限定:

4.根据权利要求3所述的神经网络系统,其中,对于所述第一卷积单元中的所述一个或多个操作块中的每个操作块,所述批中的每个输出序列还限定:

5.根据权利要求2所述的神经网络系统,还包括一个或多个第二卷积单元,所述一个或多个第二卷积单元中的每个第二卷积单元被配置为接收第二单元输入并从所述第二单元输入生成具有更小高度、更小宽度或两者的第二单元输出,并且其中,对于每个输出序列的子卷积神经网络的所述实例还包括具有由所述输出序列限定的架构的所述第二卷积单元的多个实例。

6.根据权利要求1所述的神经网络系统,其中,所述第一卷积单元被配置为:通过组合未被选择为对所述第一卷积单元中的任何块的输入的所述第一卷积单元中的块的输出隐藏状态,生成所述单元输出。

7.根据权利要求2所述的神经网络系统,其中,使用所述子卷积神经网络的所述经训练的实例的性能度量来调节所述控制器神经网络的所述控制器参数的所述当前值包括:

8....

【专利技术属性】
技术研发人员:V瓦萨德万B佐夫J施伦斯QV勒
申请(专利权)人:谷歌有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1