一种上下文选择方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种上下文选择方法、装置、电子设备及存储介质，该方法包括：获取源句子相应的源端向量表示序列；根据当前时刻需预测的目标元素，假定所述目标元素在源句子中对齐的目标源词；根据所述目标源词，从源句子中分隔出当前时刻相应的短语结构和半短语结构，其中，所述短语结构至少为确定性的；至少根据所述目标源词、所述短语结构、半短语结构和所述源端向量表示序列，确定当前时刻相应的上下文。本发明专利技术实施例可提升所捕捉的上下文的全面性，提升上下文选择的精度，为提升句法分析等结果的精度提供可能。

A Context Selection Method, Device, Electronic Equipment and Storage Media

【技术实现步骤摘要】
一种上下文选择方法、装置、电子设备及存储介质
本专利技术涉及人工智能
，具体涉及一种上下文选择方法、装置、电子设备及存储介质。
技术介绍
上下文选择是句法分析、机器翻译等过程的一个阶段，主要用于在解码器每次预测一个目标元素时，从源端的向量表示中选择上下文，以实现目标元素的预测。以编码器和解码器架构的句法分析模型为例，在进行句法分析时，源句子(需进行句法分析的自然语言句子可称为源句子)输入句法分析模型后，编码器可生成源句子相应的源端向量表示序列(该源端向量表示序列包含源句子中的每个源词的向量表示)，解码器每次预测一个元素时(元素为句法分析结果的组成，由各个素构成的序列可形成句法分析结果)，句法分析模型中的注意力层可从源端的向量表示中选择上下文，以辅助元素的预测，从而在完成各个元素的预测后，生成句法分析结果。上下文的选择主要通过注意力层实现，目前注意力层主要依赖基于概率的注意力机制，其通过生成一个离散概率分布，来表示当前预测的目标元素与源句子中源词的对齐概率，来实现上下文的选择。然而，本专利技术的专利技术人发现，基于概率的注意力机制并不能全面的捕捉上下文，如对句法分析场景中一些启发式的上下文并不能捕捉，导致上下文选择结果的精度降低，影响句法分析等结果的精度。
技术实现思路
有鉴于此，本专利技术实施例提供一种上下文选择方法、装置、电子设备及存储介质，以提升上下文选择的精度。为实现上述目的，本专利技术实施例提供如下技术方案：一种上下文选择方法，包括：获取源句子相应的源端向量表示序列；根据当前时刻需预测的目标元素，假定所述目标元素在源句子中对齐的目标源词；根据所述目标源词，从源句子中分隔出当前时刻相应的短语结构和半短语结构；其中，所述短语结构至少为确定性的；至少根据所述目标源词、所述短语结构、半短语结构和所述源端向量表示序列，确定当前时刻相应的上下文。本专利技术实施例还提供一种上下文选择装置，包括：源端向量序列获取模块，用于获取源句子相应的源端向量表示序列；目标源词确定模块，用于根据当前时刻需预测的目标元素，假定所述目标元素在源句子中对齐的目标源词；分隔模块，用于根据所述目标源词，从源句子中分隔出当前时刻相应的短语结构和半短语结构；其中，所述短语结构至少为确定性的；上下文输出模块，用于至少根据所述目标源词、所述短语结构、半短语结构和所述源端向量表示序列，确定当前时刻相应的上下文。本专利技术实施例还提供一种电子设备，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述程序，以实现上述所述的上下文选择方法的步骤。本专利技术实施例还提供一种存储介质，所述存储介质存储有适于处理器执行的程序，以实现上述所述的上下文选择方法的步骤。基于上述技术方案，本专利技术实施例提供的上下文选择方法，包括：获取源句子相应的源端向量表示序列；根据当前时刻需预测的目标元素，假定所述目标元素在源句子中对齐的目标源词；根据所述目标源词，从源句子中分隔出当前时刻相应的短语结构和半短语结构，其中，所述短语结构至少为确定性的；至少根据所述目标源词、所述短语结构、半短语结构和所述源端向量表示序列，确定当前时刻相应的上下文。本专利技术实施例在确定当前时刻相应的短语结构及半短语结构后，当前时刻相应的短语结构是可知的、确定性的，且当前时刻相应的半短语结构的起始词是可知的；因此根据所述目标源词、所述确定性的当前时刻相应短语结构、半短语结构中确定性的起始词、以及所述源端向量表示序列，确定当前时刻选择的上下文，可提升当前时刻选择的上下文的确定性，提升所捕捉的上下文的全面性，为提升句法分析结果的精度提供可能。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1现有技术基于概率注意力机制选择上下文的示例图；图2为本专利技术实施例提供的上下文选择方法的流程图；图3为本专利技术实施例提供的上下文选择方法的另一流程图；图4为本专利技术实施例基于确定性注意力机制选择上下文的示例图；图5为本专利技术实施例提供的句法分析模型的结构示例图；图6为本专利技术实施例提供的句法分析模型的另一结构示例图；图7为本专利技术实施例提供的句法分析方法的流程图；图8为句法树序列的示例图；图9为本专利技术实施例提供的句法分析模型的训练方法流程图；图10为本专利技术实施例提供的句法分析的场景示例图；图11为本专利技术实施例提供的上下文选择装置的结构框图；图12为本专利技术实施例提供的上下文选择装置的另一结构框图；图13为本专利技术实施例提供的上下文选择装置的再一结构框图；图14为电子设备的硬件结构框图。具体实施方式为便于理解现有技术存在的问题，以图1所示为例，源句子为“Johnhasadog.”，在编码器对源句子生成相应的源端向量表示序列后，现有技术中注意力层基于概率注意力机制对于上下文的选择可如图1所示虚线，虚线表示的是一个离散概率分布；该离散概率分布具有数量与源句子中的源词数量相应的取值(如图1中离散概率分布具有5个取值)，每个取值对应于源句子中的一个源词；其中，一个概率取值表示解码器当前需预测的目标元素(如图1所示当前进行y5的预测)，与该概率取值对应的源句子中的源词的对齐概率；而本专利技术的专利技术人发现，在句法分析等场景中，具有一些启发式的上下文，比如图1中的y3应该对齐到John，以此来辅助y3预测时上下文的选择；然而，基于概率注意力机制的注意力层对于这种启发式的上下文往往缺乏捕捉，而由于缺乏这些很有信息量的启发式的上下文，将导致所选择的上下文的精度较低，影响句法分析结果的精度；这也是现有技术中普遍的基于概率注意力机制选择上下文，所存在的问题。基于此，本专利技术实施例考虑在解码器预测生成每一元素时，使用基于确定性注意力机制的注意力层进行上下文的选择，以提升对于捕捉的上下文的全面性，提升上下文选择的精度。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图2为本专利技术实施例提供的上下文选择方法的流程图，该方法可应用于电子设备，电子设备可选用服务器(如在服务器侧实现句法分析过程等)，也可选用终端实现(如在终端侧实现句法分析过程等)；作为一种示例，图2所示的上下文选择方法可通过句法分析模型中的注意力层实现，该句法分析模型可能设置于服务器侧，由服务器实现句法分析过程，也可能设置于终端侧，由终端实现句法分析过程；参照图2，本专利技术实施例提供的上下文选择方法可以包括：步骤S100、根据当前时刻需预测的目标元素，假定所述目标元素在源句子中对齐的目标源词。可选的，将源句子输入编码器，编码器对源句子中的各源词逐一进行向量生成，可得到源句子相应的源端向量表示序列；从而注意力层得到源句子相应的源端向量表示序列后，本专利技术实施例提供的基于确定性注意力机制的注意力层，可通过图2所示方法在各个时刻进行上下文的选择，一个时刻解码器一般可预测一个元素。可选的，在当本文档来自技高网...

【技术保护点】
1.一种上下文选择方法，其特征在于，包括：获取源句子相应的源端向量表示序列；根据当前时刻需预测的目标元素，假定所述目标元素在源句子中对齐的目标源词；根据所述目标源词，从源句子中分隔出当前时刻相应的短语结构和半短语结构；其中，所述短语结构至少为确定性的；至少根据所述目标源词、所述短语结构、半短语结构和所述源端向量表示序列，确定当前时刻相应的上下文。

【技术特征摘要】
1.一种上下文选择方法，其特征在于，包括：获取源句子相应的源端向量表示序列；根据当前时刻需预测的目标元素，假定所述目标元素在源句子中对齐的目标源词；根据所述目标源词，从源句子中分隔出当前时刻相应的短语结构和半短语结构；其中，所述短语结构至少为确定性的；至少根据所述目标源词、所述短语结构、半短语结构和所述源端向量表示序列，确定当前时刻相应的上下文。2.根据权利要求1所述的上下文选择方法，其特征在于，所述根据当前时刻需预测的目标元素，假定所述目标元素在源句子中对齐的目标源词包括：假定所述目标元素的值类型为终结符，确定所述目标元素在所述源句子中对齐的目标源词；其中，所述目标元素可能的值类型包括：终结符，左括号和右括号。3.根据权利要求2所述的上下文选择方法，其特征在于，所述假定所述目标元素的值类型为终结符，确定所述目标元素在所述源句子中对齐的目标源词包括：在假定所述目标元素的值类型为终结符时，确定所述目标元素在已预测出的值类型为终结符的元素中所对应的序数；以所确定的序数，从源句子中确定相应序数的源词为所述目标源词。4.根据权利要求2-3任一项所述的上下文选择方法，其特征在于，所述根据所述目标源词，从源句子中分隔出当前时刻相应的短语结构包括：假定所述目标元素的值类型为右括号，从所述源句子中确定当前时刻相应的短语结构的起始词，将所述目标源词的前一词作为所述短语结构的末尾词，根据所述短语结构的起始词和末尾词确定当前时刻相应的短语结构。5.根据权利要求4所述的上下文选择方法，其特征在于，所述假定所述目标元素的值类型为右括号，从所述源句子中确定当前时刻相应的短语结构的起始词包括：在假定所述目标元素的值类型为右括号时，从已预测的元素中确定与所述目标元素最近的左括号开始的短语元素；确定该左括号开始的短语元素的后一预测出的值类型为终结符的元素，及确定所述后一预测出的值类型为终结符的元素，在已预测出的值类型为终结符的元素中所对应的序数，从源句子中确定该序数相应的源词为所述短语结构的起始词。6.根据权利要求2-3任一项所述的上下文选择方法，其特征在于，所述根据所述目标源词，从源句子中分隔出当前时刻相应的半短语结构包括：假定所述目标元素的值类型为左括号，以所述目标源词为所述半短语结构的起始词，设置所述半短语结构的末尾词为所述目标源词后任一未知的源词，形成所述半短语结构。7.根据权利要求1所述的上下文选择方法，其特征在于，所述至少根据所述目标源词、所述短语结构、半短语结构和所述源端向量表示序列，确定当前时刻相应的上下文包括：根据公式ct＝φ(ρ(xb，xt-1),ρ(xt，？),xt,Ex)确定当前时刻相应的上下文；其中，ct表示当前时刻相应的上下文，xt为所述目标源词，xb为所述短语结构的起始词，Ex为所述源句子相应的源端向量表示序列，ρ(xb，xt-1)为当前时刻相应的短语结构，ρ(xt，？)为当前时刻相应的半短语结构。8.根据权利要求7所述的上下文选择方法，其特征在于，所述φ的定义包括：其中，θc表示基于确定性注意力机制的注意力层的参数，表示当前时刻相应的短语结构的起始词xb的向量表示，表示当前时刻相应的短语结构的末尾词的向量表示，表示所述目标源词的向量表示或，或，9.根据权利要求1所述的上下文选择方法，其特征在于，所述上下文选择方法由句法分析模型中的基于确定性注意力机制的注意...

【专利技术属性】
技术研发人员：刘乐茂，史树明，
申请(专利权)人：深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：广东,44