自然语言处理模型的提早退出制造技术

本公开涉及自然语言处理模型的提早退出。本公开提供了一种自然语言处理(NLP)模型，该NLP模型被布置成以两个词典运行，其中一个词典为另一词典的子集。该NLP模型可被布置成基于子集词典而生成输出并且退出NLP模型的处理以潜在地节省计算周期。

【技术实现步骤摘要】
自然语言处理模型的提早退出
本公开涉及人工智能领域，更具体地，涉及自然语言处理模型的提早退出。
技术介绍
计算设备渐增地用于处理“自然语言”或人类语言。然而，许多自然语言处理任务的计算要求由于自然语言的词汇表(vocabulary)的大小而尤为显著。
技术实现思路
根据本公开的实施例，提供了一种装置，包括：处理器；和存储器，所述存储器存储指令和自然语言处理(NLP)推断模型，所述指令当由所述处理器执行时使得所述处理器执行以下操作：经由所述NLP推断模型生成中间结果和与所述中间结果相关联的置信度；将所述置信度与阈值相比较；和基于所述比较执行以下操作之一：基于所述中间结果生成输出，并停止经由所述NLP推断模型的计算；或经由所述NLP推断模型生成所述输出。根据本公开的实施例，提供了一种非暂态计算机可读存储介质，包括指令，所述指令当由处理器执行时使得所述处理器执行以下操作：经由NLP推断模型生成中间结果和与所述中间结果相关联的置信度；将所述置信度与阈值相比较；和基于所述比较执行以下操作之一：基于所述中间结果生成输出，并停止经本文档来自技高网...

【技术保护点】
1.一种装置，包括：/n处理器；和/n存储器，所述存储器存储指令和自然语言处理(NLP)推断模型，所述指令当由所述处理器执行时使得所述处理器执行以下操作：/n经由所述NLP推断模型生成中间结果和与所述中间结果相关联的置信度；/n将所述置信度与阈值相比较；和/n基于所述比较执行以下操作之一：/n基于所述中间结果生成输出，并停止经由所述NLP推断模型的计算；或/n经由所述NLP推断模型生成所述输出。/n

【技术特征摘要】
20190514 US 16/411,7631.一种装置，包括：
处理器；和
存储器，所述存储器存储指令和自然语言处理(NLP)推断模型，所述指令当由所述处理器执行时使得所述处理器执行以下操作：
经由所述NLP推断模型生成中间结果和与所述中间结果相关联的置信度；
将所述置信度与阈值相比较；和
基于所述比较执行以下操作之一：
基于所述中间结果生成输出，并停止经由所述NLP推断模型的计算；或
经由所述NLP推断模型生成所述输出。


2.根据权利要求1所述的装置，所述存储器存储指令，所述指令当由所述处理器执行时使得所述处理器执行以下操作：
确定所述置信度是否大于或等于所述阈值；和
基于确定所述置信度大于或等于所述阈值，而基于所述中间结果生成所述输出并停止经由所述NLP推断模型的计算。


3.根据权利要求2所述的装置，所述存储器存储指令，所述指令当由所述处理器执行时使得所述处理器执行以下操作：
基于确定所述置信度不大于或等于所述阈值，而经由所述NLP推断模型生成所述输出。


4.根据权利要求1所述的装置，所述NLP模型包括多个编码器、与第一词典相关联的第一分类器和与第二词典相关联的第二分类器，其中所述第一词典为所述第二词典的子集，所述存储器存储指令，所述指令当由所述处理器执行时使得所述处理器执行以下操作：
基于所述多个编码器的第一部分和所述第一分类器而得到所述中间结果和所述置信度。


5.根据权利要求4所述的装置，所述存储器存储指令，所述指令当由所述处理器执行时使得所述处理器执行以下操作：
基于所述多个编码器和所述第二分类器而得到所述输出。


6.根据权利要求4所述的装置，所述存储器存储指令，所述指令当由所述处理器执行时使得所述处理器执行以下操作：
不处理所述多个编码器的第二部分，以停止经由所述NLP推断模型的计算，其中所述多个编码器的所述第二部分与所述多个编码器的所述第一部分是互相排斥的。


7.根据权利要求4所述的装置，其中所述第二词典包括具有多个记号的词汇表，并且所述第一词典包括具有所述多个记号的子集的词汇表。


8.根据权利要求7所述的装置，其中所述第一词典的词汇表是部分地基于对所述第二词典的词汇表中的记号的使用的统计测量来选择的。


9.根据权利要求1所述的装置，...

【专利技术属性】
技术研发人员：巴拉克·巴塔什，阿米特·布莱维斯，哈伊姆·巴拉德，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US