自然语言处理模型的提早退出制造技术

本公开涉及自然语言处理模型的提早退出。本公开提供了一种自然语言处理(NLP)模型，该NLP模型被布置成以两个词典运行，其中一个词典为另一词典的子集。该NLP模型可被布置成基于子集词典而生成输出并且退出NLP模型的处理以潜在地节省计算周期。

【技术实现步骤摘要】
自然语言处理模型的提早退出
本公开涉及人工智能领域，更具体地，涉及自然语言处理模型的提早退出。
技术介绍
计算设备渐增地用于处理“自然语言”或人类语言。然而，许多自然语言处理任务的计算要求由于自然语言的词汇表(vocabulary)的大小而尤为显著。
技术实现思路
根据本公开的实施例，提供了一种装置，包括：处理器；和存储器，所述存储器存储指令和自然语言处理(NLP)推断模型，所述指令当由所述处理器执行时使得所述处理器执行以下操作：经由所述NLP推断模型生成中间结果和与所述中间结果相关联的置信度；将所述置信度与阈值相比较；和基于所述比较执行以下操作之一：基于所述中间结果生成输出，并停止经由所述NLP推断模型的计算；或经由所述NLP推断模型生成所述输出。根据本公开的实施例，提供了一种非暂态计算机可读存储介质，包括指令，所述指令当由处理器执行时使得所述处理器执行以下操作：经由NLP推断模型生成中间结果和与所述中间结果相关联的置信度；将所述置信度与阈值相比较；和基于所述比较执行以下操作之一：基于所述中间结果生成输出，并停止经由所述NLP推断模型的计算；或经由所述NLP推断模型生成所述输出。根据本公开的实施例，提供了一种由计算机实现的方法，包括：经由NLP推断模型生成中间结果和与所述中间结果相关联的置信度；将所述置信度与阈值相比较；和基于所述比较执行以下操作之一：基于所述中间结果生成输出，并停止经由所述NLP推断模型的计算；或经由所述NLP推断模型生成所述输出。附图说明>图1示出了计算设备。图2示出了NLP模型。图3示出了逻辑流程。图4示出了NLP模型。图5示出了逻辑流程。图6示出了NLP模型。图7示出了存储介质。图8示出了计算系统。具体实施方式本文所公开的实施方式提供了自然语言处理(NLP)的提早退出机制。即，本公开提供了被布置成执行NLP模型的系统，其中NLP模型的执行可在完成和输出生成之前停止。例如，本公开提供了被布置成执行NLP模型的计算设备。计算设备可布置成利用第一词汇表在执行期间(例如，在完成NLP模型的执行之前)从NLP模型生成输出。计算设备可被布置成基于所生成的输出而退出NLP模型的执行(例如，提早，即在完成之前)。另选地，计算设备可被布置成完成NLP模型的执行并且利用第二词汇表来生成输出，其中第二词汇表大于第一词汇表或包括第一词汇表。本公开可利用由多个编码器构成的NLP模型来实现，这些编码器被布置成处理NLP任务。应当注意，这种类型的NLP模型是本公开可应用于的许多不同NLP模型中的一种。NLP模型还可包括第一分类器和第二分类器，该第一分类器被布置成利用第一词汇表生成输出，该第二分类器被布置成利用第二词汇表生成输出，其中第二词汇表大于第一词汇表。在一些情况下，第一词汇表可以是第二词汇表的子集。例如，第一词汇表可包括语言的“常用”或较频繁使用的记号(token)(例如，符号、字母、数字、词语等)，而第二词汇表可包括这些常用记号以及该词汇表的其它记号。伴随着对本文所用的标记和命名的通用参考，下述具体实施方式的一个或多个部分可按照在计算机或计算机网络上执行的程序过程来呈现。这些过程描述和表示被本领域的技术人员用于将他们工作的实质最有效地传达给本领域的其他技术人员。此处的过程通常被认为是产生期望结果的自洽操作序列。这些操作是需要对物理量的物理操纵的那些操作。通常，但非必然地，这些量采取能够进行存储、传输、组合、比较和以其它方式操纵的电、磁或光学信号的形式。主要出于通用目的，有时将这些信号称为比特、值、元素、符号、字符、项、数字等被证明是方便的。但是，应注意，这些术语和类似术语应与适当的物理量相关联，并且它们仅仅是应用于这些量的方便标签。另外，这些操纵可以用通常与逻辑操作相关联的术语(例如，添加或比较)来提及。用于执行这些逻辑操作的可用机器可包括如通过计算机程序来选择性地激活或配置的通用数字计算机，该计算机程序是根据本文的教导写入的；和/或可包括出于所需目的而特别构造的装置。各种实施例还涉及用于执行这些操作的装置或系统。这些装置可出于所需目的而特别构造，或可包括通用计算机。多种这些机器的所需结构将根据所给出的描述而清晰。现参考附图，其中类似的附图标号始终用于指代类似的元件。在下面的描述中，出于说明的目的，解释了许多具体细节以提供对本专利技术的全面理解。然而，显而易见的是，新颖的实施例可在没有这些具体细节的情况下付诸实践。在其它情况下，周知的结构和设备以框图形式示出以促进本专利技术的描述。其目的在于涵盖落入权利要求书的范围内的所有修改、等同物和替代。图1示出了计算设备100。计算设备100表示任何数量和类型的设备，这些设备被布置成处理推断模型，尤其是自然语言处理(NLP)模型。计算设备100包括处理器110、存储器120和接口130。处理器110可包括电路或处理器逻辑，例如各种市售处理器中的任一者。在一些示例中，处理器110可包括多个处理器、多线程处理器、多核处理器(无论多个核是共存于相同晶粒上还是分立晶粒上)，和/或一些其它种类的多处理器架构(多个物理分立的处理器藉此以一些方式进行链接)。另外，在一些示例中，处理器110可包括图形处理部分，并且可包括专用存储器、多线程处理和/或一些其它并行处理能力。在一些实施例中，处理器110可以是专用集成电路(ASIC)或现场可编程集成电路(FPGA)。在一些实施方式中，处理器110可以是被布置成执行与人工智能(AI)相关的计算的电路，有时称为加速器或AI加速器。存储器120可包括逻辑，该逻辑的一部分包括集成电路的阵列，从而形成用以持久地存储数据的非易失性存储器或非易失性存储器和易失性存储器的组合。应当理解，存储器120可基于各种技术中的任何技术。特别地，存储器120所包括的集成电路的阵列可布置成形成一种或多种类型的存储器，例如，动态随机存取存储器(DRAM)、NAND存储器、NOR存储器，等等。接口130可包括逻辑和/或特征以支持通信接口。例如，接口130可包括一个或多个接口，该一个或多个接口根据各种通信协议或标准进行操作以在直接或网络通信链路上进行通信。利用一种或多种工业标准(包括子代和变体)中所描述的通信协议或标准，可发生直接通信。例如，接口130可促进在总线上的通信，例如，外围组件快速互连(PCIe)、非易失性存储器快速(NVMe)、通用串行总线(USB)、系统管理总线(SMBus)、SAS(例如，串行附接小型计算机系统接口(SCSI))接口、串行AT附接(SATA)接口，等等。在一些示例中，接口130可布置成支持无线通信协议或标准，例如，Wi-Fi、蓝牙、ZigBee、LTE、5G等。存储器120存储指令122、自然语言处理器(NPL)模型140、输入数据121、输出数据123、中间结果125、置信度127和阈值129。NLP模型140布置成在词典(lexicon)A142和词典B144上进行操作。本文档来自技高网...

【技术保护点】
1.一种装置，包括：/n处理器；和/n存储器，所述存储器存储指令和自然语言处理(NLP)推断模型，所述指令当由所述处理器执行时使得所述处理器执行以下操作：/n经由所述NLP推断模型生成中间结果和与所述中间结果相关联的置信度；/n将所述置信度与阈值相比较；和/n基于所述比较执行以下操作之一：/n基于所述中间结果生成输出，并停止经由所述NLP推断模型的计算；或/n经由所述NLP推断模型生成所述输出。/n

【技术特征摘要】
20190514 US 16/411,7631.一种装置，包括：
处理器；和
存储器，所述存储器存储指令和自然语言处理(NLP)推断模型，所述指令当由所述处理器执行时使得所述处理器执行以下操作：
经由所述NLP推断模型生成中间结果和与所述中间结果相关联的置信度；
将所述置信度与阈值相比较；和
基于所述比较执行以下操作之一：
基于所述中间结果生成输出，并停止经由所述NLP推断模型的计算；或
经由所述NLP推断模型生成所述输出。


2.根据权利要求1所述的装置，所述存储器存储指令，所述指令当由所述处理器执行时使得所述处理器执行以下操作：
确定所述置信度是否大于或等于所述阈值；和
基于确定所述置信度大于或等于所述阈值，而基于所述中间结果生成所述输出并停止经由所述NLP推断模型的计算。


3.根据权利要求2所述的装置，所述存储器存储指令，所述指令当由所述处理器执行时使得所述处理器执行以下操作：
基于确定所述置信度不大于或等于所述阈值，而经由所述NLP推断模型生成所述输出。


4.根据权利要求1所述的装置，所述NLP模型包括多个编码器、与第一词典相关联的第一分类器和与第二词典相关联的第二分类器，其中所述第一词典为所述第二词典的子集，所述存储器存储指令，所述指令当由所述处理器执行时使得所述处理器执行以下操作：
基于所述多个编码器的第一部分和所述第一分类器而得到所述中间结果和所述置信度。


5.根据权利要求4所述的装置，所述存储器存储指令，所述指令当由所述处理器执行时使得所述处理器执行以下操作：
基于所述多个编码器和所述第二分类器而得到所述输出。


6.根据权利要求4所述的装置，所述存储器存储指令，所述指令当由所述处理器执行时使得所述处理器执行以下操作：
不处理所述多个编码器的第二部分，以停止经由所述NLP推断模型的计算，其中所述多个编码器的所述第二部分与所述多个编码器的所述第一部分是互相排斥的。


7.根据权利要求4所述的装置，其中所述第二词典包括具有多个记号的词汇表，并且所述第一词典包括具有所述多个记号的子集的词汇表。


8.根据权利要求7所述的装置，其中所述第一词典的词汇表是部分地基于对所述第二词典的词汇表中的记号的使用的统计测量来选择的。


9.根据权利要求1所述的装置，...

【专利技术属性】
技术研发人员：巴拉克·巴塔什，阿米特·布莱维斯，哈伊姆·巴拉德，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US