当前位置: 首页 > 专利查询>辉达公司专利>正文

使用一个或更多个神经网络进行语法迁移制造技术

技术编号:26378604 阅读:33 留言:0更新日期:2020-11-19 23:47
公开了使用一个或更多个神经网络进行语法迁移。用于在句子之间迁移语法的装置、系统和技术。在至少一个实施例中,使用一个或更多个神经网络将一个或更多个第一句子翻译成具有不同语法的一个或更多个第二句子。

【技术实现步骤摘要】
使用一个或更多个神经网络进行语法迁移
技术介绍
越来越多的内容在以电子方式生成、存储和修改。在某些情况下,可能想要获取(take)某些内容并以不同的方式表达该内容。例如,可能想要获取句子的一般内容或思想并以不同的方式表达出来,例如以传达不同的意图或以不同的格式呈现内容。虽然存在常规的、基于规则的方法来进行特定类型的更改,但这些方法在执行此类转换的能力方面非常有限。附图说明将参考附图描述根据本公开的各种实施例,其中:图1示出了根据至少一个实施例的使用一个或更多个神经网络生成输入句子的示例语法翻译;图2A和图2B示出了根据至少一个实施例的使用内容和风格代码执行语法翻译的示例方法;图3A和图3B示出了根据至少一个实施例的可用于执行语法翻译的示例组件;图4示出了根据至少一个实施例的可用于执行语法翻译的示例组件;图5示出了根据至少一个实施例的用于将句子翻译为具有可利用的不同语法表达的示例过程;图6示出了根据至少一个实施例的用于使用可以利用的经训练的神经网络来生成推理的示例过程;图7示出了可以在其中实现各个实施例的各方面的示例环境;图8示出了根据至少一个实施例的用于训练可以利用的图像合成网络的示例系统;图9示出了根据至少一个实施例的可以利用的示例统计模型的各层;图10示出了根据至少一个实施例的推理和/或训练逻辑;图11示出了根据至少一个实施例的推理和/或训练逻辑;图12示出了根据至少一个实施例的深度神经网络的训练和部署;图13示出了根据至少一个实施例的示例数据中心系统;图14是示出了根据至少一个实施例的计算机系统的框图;图15是示出了根据至少一个实施例的计算机系统的框图;图16示出了根据至少一个实施例的计算机系统;图17示出了根据至少一个实施例的计算机系统;图18示出了根据本文所述的各个实施例的示例性集成电路和相关的图形处理器,其可以使用一个或更多个IP核心来制造。图19A-图19B示出了根据本文所述的各个实施例的示例性集成电路和相关的图形处理器,其可以使用一个或更多个IP核心来制造。图20A-图20B示出了根据本文所述实施例的附加的示例性图形处理器逻辑;图21示出了根据至少一个实施例的计算机系统;图22示出了根据至少一个实施例的并行处理器;图23示出了根据至少一个实施例的分区单元;图24示出了根据至少一个实施例的处理集群;图25示出了根据至少一个实施例的图形多处理器;图26是示出根据至少一个实施例的用于处理器的处理器微架构的框图;图27示出了根据至少一个实施例的深度学习应用处理器;图28是示出根据至少一个实施例的示例神经形态处理器的框图;图29示出了根据一个或更多个实施例的图形处理器的至少部分;图30是根据至少一个实施例的图形处理器核心的至少部分的框图;图31A和图31B示出了根据至少一个实施例的线程执行逻辑;图32示出了根据至少一个实施例的并行处理单元(“PPU”);图33示出了根据至少一个实施例的通用处理集群(“GPC”);图34示出了根据至少一个实施例的并行处理单元(“PPU”)的内存分区单元;以及图35示出了根据至少一个实施例的流式多处理器。具体实施方式在下面的描述中,将描述各个实施例。出于说明的目的,阐述了具体的配置和细节,以便提供对实施例的彻底理解。然而,对于本领域技术人员也显而易见的是,实施例可以在没有具体细节的情况下实践。此外,为了不使所描述的实施例模糊,可以省略或简化众所周知的特征。根据各个实施例的方法提供了机器学习的训练和使用,例如可涉及一个或更多个神经网络,用于诸如语法迁移(grammartransfer)之类的任务。根据各个实施例的方法可以接受输入句子或其他文本表达,并生成一个或更多个输出句子或其他文本表达,每个输出句子或其他文本表达具有不同的语法。输入句子的内容可以用神经网络来确定,不同的风格代码可以与内容相结合,生成一组潜在表示,每个潜在表示将内容与不同的风格相关联。风格可以包括不同方式的表达内容,也可以包括不同的文本风格、情感、句子结构等。解码器网络可以获取(take)该潜在表示,同时生成一个或更多个输出句子,这些输出句子使用对应于各种风格代码的不同表达的不同语法来表达输入句子的内容。各种其他功能可以在各个实施例中实现,并且在本文的其他地方也可以讨论和建议。数字内容可以以许多不同的方式进行操纵。例如,通过应用各种过滤器或基于规则的转换,可以修改图像以提供不同的外观或具有不同的风格。操纵文本内容可能更具挑战性,因为这些方法必须能够区分内容和表达。图1示出了可以为同一输入句子生成的表达的示例集100。在本例中,输入句子102表示“我再也不会去这家餐厅了”。例如,这可能是刚刚访问过这家餐厅并在社交媒体上发表评论的用户提供的句子。这也可能来自不同的其他来源,如媒体公司或出版商。出于多种原因,可能想要更改该句的表达。例如,可能想要将陈述句改为疑问句,例如可能会说“我会再去这家餐厅吗?”。可以看出,基本内容是一样的,但表达不同。另一个可能的表达106是“我迫不及待地想回到这家餐厅!”。在这个示例中,表达不仅从消极情感变成了积极情感,而且由于感叹号和短语的使用,也从一个相对没有感情的陈述句变成了一个充满兴奋的句子。第三个表达108可能更适合用于对餐厅的评论,它可以获取输入句子,而不是陈述诸如“这家餐厅需要改进才能有回头客”之类的事情。这种转换保持了情感,但改变了表达的结构。另一个示例表达110是将输入的风格转换为诗歌风格的结果。可以看出,基本内容是由输入句子确定的,然后,内容可以以多种不同的方式表达,包括表达的不同方面,可以包括如风格、情感和结构等。这在本文中通常被称为使用不同的“语法(grammar)”来表达内容,这可能导致任何这些或其他的影响所用单词的设置和顺序的变化。在各个实施例中,文本迁移(transfer)或转换(transform)是指使用不同的语言语法对给定文本重新措辞的任务。转换框架可用于从非平行文本学习文本语法迁移模型。与以往学习将输入句子转化为一个输出句子的一对一映射的方法不同,这种框架可以学习可以将输入句子转化为多个输出句子或表达的一对多映射。虽然讨论将集中于作为示例的句子,但是应当理解,单词和字符的各种其他分组可以与在本文中别处讨论和建议的各个实施例一起使用,并且根据本文所包含的教导和建议,对于本领域普通技术人员来说是显而易见的。在一些实施例中,通过将对抗训练与潜在分解方案相结合,可以实现学习一对多映射的能力。具体地说,输入句子的潜在表示可以被分解为捕获其语言风格变化的“风格”代码和编码与风格无关的内容的内容代码。本文中使用的“风格”将广泛地包括可能影响用于表达具体内容的语法的任何事物,例如可包括句子类型、情感、结构等。然后,内容代码可以与目标域中的一个或更多个句子(即,随机抽样或指定的)的本文档来自技高网...

【技术保护点】
1.一种处理器,包括:/n一个或更多个算术逻辑单元(ALU),所述一个或更多个ALU被配置为使用一个或更多个神经网络将一个或更多个第一句子翻译成一个或更多个第二句子,所述一个或更多个第二句子具有与所述一个或更多个第一句子不同的语法。/n

【技术特征摘要】
20190515 US 16/413,2931.一种处理器,包括:
一个或更多个算术逻辑单元(ALU),所述一个或更多个ALU被配置为使用一个或更多个神经网络将一个或更多个第一句子翻译成一个或更多个第二句子,所述一个或更多个第二句子具有与所述一个或更多个第一句子不同的语法。


2.根据权利要求1所述的处理器,其中所述一个或更多个ALU进一步被配置为:
使用所述一个或更多个神经网络中的至少一个,确定所述一个或更多个第一句子中的每一个的内容代码,所述内容代码提供各自的第一句子的内容的与风格无关的表达。


3.根据权利要求2所述的处理器,其中所述一个或更多个ALU进一步被配置为:
使用所述一个或更多个神经网络中的至少一个,确定用于所述一个或更多个第二句子的风格代码,所述风格代码从各自的句子推断出。


4.根据权利要求3所述的处理器,其中所述一个或更多个ALU进一步被配置为:
使用所述内容代码和所述风格代码生成所述一个或更多个第二句子的潜在表示;以及
使用至少一个解码神经网络,将所述潜在表示解码成所述一个或更多个第二句子。


5.根据权利要求4所述的处理器,其中所述一个或更多个ALU进一步被配置为:
使用传递函数生成所述潜在表示,所述传递函数将所述风格代码的偏差应用于所述内容代码的归一化均值。


6.根据权利要求1所述的处理器,其中所述不同的语法对应于所述一个或更多个第一句子的内容的不同表达,所述不同表达在风格、情感、结构或类型中的至少一个方面不同。


7.根据权利要求1所述的处理器,其中所述一个或更多个第一句子中的至少一个被接收为音频数据并转换为文本数据,或者所述一个或更多个第二句子中的至少一个被提供为使用对应于各自的风格代码的数字语音生成的音频数据。


8.根据权利要求1所述的处理器,其中所述一个或更多个ALU进一步被配置为:
在训练所述一个或更多个神经网络的至少子集期间,最小化循环一致性损失。


9.一种系统,包括:
一个或更多个处理器,所述一个或更多个处理器被配置为至少部分地基于一个或更多个神经网络将一个或更多个第一句子翻译成一个或更多个第二句子,所述一个或更多个第二句子具有与所述一个或更多个第一句子不同的语法;以及
一个或更多个内存,用于存储所述一个或更多个神经网络。


10.根据权利要求9所述的系统,其中所述一个或更多个处理器进一步被配置为:
使用所述一个或更多个神经网络中的至少一个,确定所述一个或更多个第一句子中的每一个的内容代码,所述内容代码提供各自的第一句子的内容的与风格无关的表达。


11.根据权利要求10所述的系统,其中所述一个或更多个处理器进一步被配置为:
使用所述一个或更多个神经网络中的至少一个确定将用于所述一个或更多个第二句子的风格代码,所述风格代码从各自的句子推断出。


12.根据权利要求11所述的系统,其中所述一个或更多个处理器进一步被配置为:
使用所述内容代码和所述风格代码生成所述一个或更多个第二句子的潜在表示;以及
使用至少一个解码神经网络,将所述潜在表示解码成所述一个或更多个第二句子。


13.根据权利要求12所述的系统,其中所述一个或更多个处理器进一步被配置为:
使用传递函数生成所述潜在表示,所述传递函数将所述风格代码的偏差应用于所述内容代码的归一化均值。


14.根据权利要求9所述的系统,其中所述不同的语法对应于所述一个或更多个第一句子的内容的不同表达,所述不同表达在风格、情感、结构或类型中的至少一个方面不同。


15.根据权利要求9所述的系统,其中所述一个或更多个第一句子中的至少一个被接收为音频数据并转换为文本数据,或者所述一个或更多个第二句子中的至少一个被提供为使用对应于各自的风格代码的数字语音生成的音频数据。


16.根据权利要求9所述的系统,其中所述一个或更多个处理器进一步被配置为:
在训练所述一个或更多个神经网络的至少子集期间,最小化循...

【专利技术属性】
技术研发人员:刘洺堉K·林
申请(专利权)人:辉达公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1