增强神经网络以生成附加输出制造技术

技术编号:37120085 阅读:17 留言:0更新日期:2023-04-01 05:15
用于增强神经网络以生成附加输出的方法、系统和装置,包括在计算机程序介质上编码的计算机程序。该系统之一包括神经网络和序列处理子系统,其中,该序列处理子系统被配置为对系统输入序列中的每个系统输入,执行包括下述的操作:接收系统输入;根据系统输入生成初始神经网络输入;使神经网络处理初始神经网络输入以生成对于系统输入的初始神经网络输出;以及根据对于系统输入的初始神经网络输入的第一部分,确定是否使神经网络生成对于该系统输入的一个或多个附加神经网络输出。的一个或多个附加神经网络输出。的一个或多个附加神经网络输出。

【技术实现步骤摘要】
增强神经网络以生成附加输出
[0001]分案说明
[0002]本申请属于申请日为2015年12月21日的中国专利技术专利申请201580034576.2的分案申请。


[0003]本说明书涉及神经网络系统架构。

技术介绍

[0004]神经网络是采用非线性单元的一个或多个层来预测对所接收的输入的输出的机器学习模型。一些神经网络除输出层外,还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层的输入,网络中的下一层即为下一隐藏层或输出层。网络的每个层根据相应的参数集的当前值,根据接收的输入来生成输出。
[0005]一些神经网络是递归神经网络。递归神经网络是接收输入序列并且根据该输入序列生成输出序列的神经网络。具体地,递归神经网络能够在计算当前时间步骤的输出中,使用来自前一时间步骤的网络的一些或全部内部状态。递归神经网络的示例是包括一个或多个长短期记忆(LSTM)的记忆块的LSTM神经网络。每个LSTM记忆块可以包括一个或多个单元,每个单元包括输入门、遗忘门、和输出门,这允许该单元存储该单元的先前状态,例如用于生成当前活动或被提供给LSTM神经网络的其它组件。

技术实现思路

[0006]本说明书描述涉及增强的神经网络系统的技术。通常,增强的神经网络系统包括被配置为接收神经网络输入并且对每个神经网络输入生成相应的神经网络输出的神经网络。增强的神经网络系统还包括序列处理子系统,其被配置为对系统输入序列中的每个系统输入,接收该系统输入并且根据该系统输入生成初始神经网络输入。序列处理子系统还被配置为使神经网络处理该初始神经网络输入以对该系统输入生成初始神经网络输出并且根据对于该系统输入的初始神经网络输入的第一部分,确定是否使神经网络生成对于该系统输入的一个或多个附加神经网络输出。
[0007]对被配置为执行特定操作或动作的一个或多个计算机的系统,是指该系统已经在其上安装软件、固件、硬件或它们的组合,在操作中,软件、固件、硬件或它们的组合使该系统执行操作或动作。对被配置为执行特定操作或动作的一个或多个计算机程序,是指该一个或多个程序包括指令,当由数据处理装置执行该指令时,该指令使该装置执行该操作或动作。
[0008]能够在特定实施例中实施本说明书中所述的主题以便实现下述一个或多个优点。通过允许增强的神经网络系统确定何时对给定的系统输入生成最终系统输出,通过允许神经网络对困难输入生成更精确输出,能够提高神经网络的性能。另外,在训练期间,或训练后,在运行时,在不显著地增加神经网络所需的处理时间或由其使用的计算资源的情况下,
提高神经网络的性能。另外,增强的神经网络系统被配置为当由该系统生成的输出是最终系统输出时进行信号告知。通过这样做,该系统被给予准确地产生更复杂系统输出的时间,例如,以确保当还未完成时,不会为进一步处理而发出不完整的可变长度输出,从而提高了系统的性能。
[0009]在附图和下述描述中,阐述本说明书的主题的一个或多个实施例的细节。从说明书、附图和权利要求,该主题的其他特征、方面和优点将变得显而易见。
附图说明
[0010]图1示出示例增强的神经网络系统。
[0011]图2是用于根据系统输入生成系统输出的示例过程的流程图。
[0012]图3是用于对系统输入生成一个或多个神经网络输出的示例过程的流程图。
[0013]图4是用于根据系统输入生成系统输出的示例过程的流程图。
[0014]图5是用于根据神经网络输出的指定部分确定存储器存取权重的示例过程的流程图。
[0015]图6是用于对外部存储器的位置生成基于内容的权重的示例过程的流程图。
[0016]图7是用于将基于位置的调整应用于基于内容的权重的示例过程的流程图。
[0017]图8是根据擦除权重从外部存储器擦除的示例过程的流程图。
[0018]图9是根据写入权重写入到外部存储器的示例过程的流程图。
[0019]图10是根据读取权重从外部存储器读取的示例过程的流程图。
[0020]不同图中相同的数字和名称表示相同的元件。
具体实施方式
[0021]图1示出示例增强的神经网络系统100。该增强的神经网络系统100是被实现为一个或多个位置中的一个或多个计算机上的计算机程序的系统的示例,其中,实现下文所述的系统、组件和技术。
[0022]增强的神经网络系统100是接收系统输入序列并且根据该系统输入生成系统输出的序列的机器学习系统。例如,增强的神经网络系统100能够将系统输入x接收为输入序列的一部分并且生成包括在该系统输出的序列中的系统输出y。增强的神经网络系统100能够将生成的输出序列存储在输出数据库中或提供输出序列,以用于一些其他直接目。
[0023]增强的神经网络系统100能够被配置成接收任何种类的数字数据输入,并且基于输入生成任何种类的得分或分类输出。例如,如果增强的神经网络系统100的输入是已经从图像提取的图像或特征,由增强的神经网络系统100对于给定图像而生成的输出可以是对象类别集中的每个的得分,其中每个得分表示图像包含属于该类别的对象的图像的估计可能性。如另一示例,如果增强的神经网络系统100的输入是互联网资源(例如网页)、文档或文档的一部分或从互联网资源、文档或文档的一部分提取的特征,由增强的神经网络系统100对于给定的互联网资源、文档或文档的一部分而生成的输出可以是主题集中的每个的得分,其中每个得分表示互联网资源、文档或文档部分是有关该主题的估计可能性。如另一示例,如果增强的神经网络系统100的输入是用于特定广告的印象场境的特征,由增强的神经网络系统100生成的输出可以是表示将点击特定广告的估计可能性。如另一示例,如果增
强的神经网络系统100的输入是对于用户的个性化推荐的特征,例如,特征化推荐场境的特征,例如,特征化由用户采取的在前动作的特征,由增强的神经网络系统100生成的输出可以是内容项集中的每个的得分,其中每个得分表示用户将顺利地响应被推荐的内容项的估计可能性。如另一示例,如果增强的神经网络系统100的输入是以一种语言的文本,由增强的神经网络系统100生成的输出可以是以另一种语言的几篇文本的集合中的每个的得分,其中每个得分表示以该另一语言的一篇文本是将输入文本适当翻译成该另一语言的估计可能性。如另一示例,如果增强的神经网络系统100的输入是说出的话语、说出的话语序列或由上述两个中的一个导出的特征,由增强的神经网络系统100生成的输出可以是几篇文本的集合中的每个的得分,每个得分表示一篇文本是话语或话语序列的正确转录的估计可能性。如另一示例,增强的神经网络系统100能够是语音合成系统的一部分。如另一示例,增强的神经网络系统100能够是视频处理系统的一部分。如另一示例,增强的神经网络系统100能够是对话系统的一部分。如另一示例,增强的神经网络系统100能够是自动完成系统的一部分。如另一示例,增强的神经网络系统100能够是文本处理系统的一部分。如另一示例,增强的神经网络系统100能够是强化学习系本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种用于处理系统输入序列以生成系统输出序列的增强的神经网络系统,其中:对所述增强的神经网络系统的所述系统输入序列是图像或从所述图像中提取的特征,并且所述增强的神经网络系统的所述系统输出序列是针对所述图像的对象类别集合中的每个对象类别的得分,每个得分表示每个图像包含属于一类别的对象的图像的估计可能性,或对所述增强的神经网络系统的所述系统输入序列是互联网资源、文档或所述文档的部分、或从所述互联网资源、所述文档或所述文档的部分中提取的特征,并且所述增强的神经网络系统的所述系统输出序列是主题集合中的每个主题的得分,每个得分表示所述互联网资源、所述文档或所述文档的部分是关于一主题的估计可能性,或对所述增强的神经网络系统的所述系统输入序列是特定广告的闪现场境的特征,并且所述增强的神经网络系统的所述系统输出序列是表示所述特定广告将被点击的估计可能性的得分,或对所述增强的神经网络系统的所述系统输入序列是针对用户的个性化推荐或针对所述用户的所述个性化推荐的特征、或表征所述用户采取的先前动作的特征,并且所述增强的神经网络系统的所述系统输出序列是内容项集合中每个内容项的得分,每个得分表示所述用户将对被推荐一内容项做出积极响应的估计可能性,或对所述增强的神经网络系统的所述系统输入序列是一种语言的文本,并且所述增强的神经网络系统的所述系统输出序列是另一种语言的文本段集合中的每个文本段的得分,每个得分表示所述另一种语言的该文本段是输入文本到所述另一种语言的适当翻译的估计可能性,或对所述增强的神经网络系统的所述系统输入序列是说出的话语或说出的话语序列,或从所述说出的话语或所述说出的话语序列中提取的特征,并且所述增强的神经网络系统的所述系统输出序列是文本段集合中的每个文本段的得分,每个得分表示该文本段是所述说出的话语或所述说出的话语序列的正确转录的估计可能性,所述增强的神经网络系统包括:神经网络,其中,所述神经网络被配置为:接收神经网络输入,以及处理每个所述神经网络输入,以生成每个神经网络输入的相应的神经网络输出;以及序列处理子系统,其中,所述序列处理子系统被配置为对所述系统输入序列中的每个所述系统输入执行包括下述的操作:接收所述系统输入;根据所述系统输入生成初始神经网络输入;使所述神经网络处理所述初始神经网络输入,以生成所述系统输入的初始神经网络输出;以及根据所述系统输入的所述初始神经网络输出的第一部分,确定是否使所述神经网络生成所述系统输入的一个或多个附加神经网络输出,其中:在确定不使所述神经网络生成所述系统输入的一个或多个附加神经网络输出的情况下,根据所述系统输入的所述初始神经网络输出的第二部分,生成所述系统输入的系统输出,并且在确定使所述神经网络生成...

【专利技术属性】
技术研发人员:亚历山大
申请(专利权)人:渊慧科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1
相关领域技术
  • 暂无相关专利