文本语义编码方法及系统技术方案

本发明专利技术实施例提供一种文本语义编码方法。该方法包括：分别利用字编码器、词编码器对文本进行语义编码，对文本的字编码的结果拼接以及对文本的词编码的结果拼接，获得包含上下文的字语义编码和词语义编码；将拼接后得到的字语义编码和词语义编码导入基于多头注意力机制的交互匹配层；将交互匹配层得到的融合字词语义编码确定为文本的字词语义编码。本发明专利技术实施例还提供一种文本语义编码系统。本发明专利技术实施例提出了一种基于多层字词融合的编码器，该编码器在对字、词进行语义编码后，对得到的字、词语义编码进行交互，然后通过自适应训练的门控单元对交互后的字、词语义编码进行融合，蕴含了更深度的字词语义信息，作为最终的文本语义表示。

【技术实现步骤摘要】
文本语义编码方法及系统
本专利技术涉及智能语音领域，尤其涉及一种文本语义编码方法及系统。
技术介绍
随着神经网络模型的不断发展，越来越多的自然语言处理任务都使用了神经网络模型。而文本语义编码器作为基于神经网络模型的自然语言处理任务的第一步，编码效果的好坏直接影响了模型的性能。现有基于神经网络的文本语义编码器通常按词(例如：信用|额度|要|怎样|才|可以|增加)来对输入文本进行切分，然后根据词表将不同的词语映射为对应的id，然后进一步对输入文本进行语义编码。在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：按词切分文本存在以下两个缺陷：1.分词算法可能出错，而错误的分词将会严重影响后续的自然语言处理任务，导致模型出错。例如：南京市长江大桥。正确分词：南京市|长江大桥。错误分词：南京|市长|江大桥。2.词表过大且无法包含所有词。当输入文本分词得到的词语不在词表中时，一般会使用同一个特殊标识来替代(例如<UNK>)，因此对于不在词表中的词语，模型无法区分，从而影响模型性能。以问题匹配任务为例，如下例子，当王大明和李二强不在词典中时，基于词的编码器对两个文本的编码输出是相同的，导致后续的问题匹配模型无法区别两个句子的语义是否相似。例如：句一：王大明是谁＝＝》王大明|是|谁＝＝》<UNK>|是|谁。句二：李二强是谁＝＝》李二强|是|谁＝＝》<UNK>|是|谁。3.分别对字和词进行语义编码后，将词语中包含的字的语义编码和该词的语义编码进行拼接，作为最终的语义编码。例：南京市|长江大桥＝＝》(E南京市|E南|E京|E市)|(E长江大桥|E长|E江|E大|E桥)其中，Ea代表词a对应的语义编码。该方法虽然可以缓解按字或按词分割的缺陷，但是仅仅将字、词语义编码进行拼接，没有对字、词语义编码进行交互，而有效的交互可以更好的融合字、词语义编码的特点。
技术实现思路
为了至少解决现有技术中分词算法可能出错，词表过大且无法包含所有词，拼接无法融合字词语义编码的特点，使得分词效果差的问题。第一方面，本专利技术实施例提供一种文本语义编码方法，包括：分别利用字编码器、词编码器对文本进行语义编码，对所述文本的字编码的结果拼接以及对所述文本的词编码的结果拼接，获得包含上下文的字语义编码和词语义编码；将拼接后得到的所述字语义编码和所述词语义编码导入基于多头注意力机制的交互匹配层；将所述交互匹配层得到的融合字词语义编码确定为所述文本的字词语义编码。第二方面，本专利技术实施例提供一种文本语义编码系统，包括：语义编码确定程序模块，用于分别利用字编码器、词编码器对文本进行语义编码，对所述文本的字编码的结果拼接以及对所述文本的词编码的结果拼接，获得包含上下文的字语义编码和词语义编码；交互匹配程序模块，用于将拼接后得到的所述字语义编码和所述词语义编码导入基于多头注意力机制的交互匹配层；语义编码程序模块，用于将所述交互匹配层得到的融合字词语义编码确定为所述文本的字词语义编码。第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例的文本语义编码方法的步骤。第四方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本专利技术任一实施例的文本语义编码方法的步骤。本专利技术实施例的有益效果在于：本方法提出了一种基于多层字词融合的编码器，该编码器在对字、词进行语义编码后，通过一个匹配层对得到的字、词语义编码进行交互，然后通过一个自适应训练的门控单元对交互后的字、词语义编码进行融合，蕴含了更深度的字词语义信息，作为最终的文本语义表示。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例提供的一种文本语义编码方法的流程图；图2是本专利技术一实施例提供的一种文本语义编码方法的基于多层字词融合的文本语义编码器的示意图；图3是本专利技术一实施例提供的一种文本语义编码方法的多头注意力机制的示意图；图4是本专利技术一实施例提供的一种文本语义编码系统的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示为本专利技术一实施例提供的一种文本语义编码方法的流程图，包括如下步骤：S11：分别利用字编码器、词编码器对文本进行语义编码，对所述文本的字编码的结果拼接以及对所述文本的词编码的结果拼接，获得包含上下文的字语义编码和词语义编码；S12：将拼接后得到的所述字语义编码和所述词语义编码导入基于多头注意力机制的交互匹配层；S13：将所述交互匹配层得到的融合字词语义编码确定为所述文本的字词语义编码。在本实施方式中，为了融合字词的语义编码，本方法提出了基于多层字词融合的文本语义编码器，如图2所示，其主要包含三个组件字编码器、词编码器和字词融合单元。可以将文本语义编码器适配到智能电子设备中，例如智能音响。对于步骤S11，智能电子设备分别利用文本语义编码器中的字编码器、词编码器对用户输入的文本进行语义编码，字编码器按照自身的结构对用户输入的文本进行解码拼接，同样的词编码器也按照自身的结构对用户输入的文本进行解码拼接，进而获得了包含上下文的字语义编码和词语义编码。作为一种实施方式，在本实施例中，步骤S11还包括：将文本分别输入至字编码器以及词编码器，其中所述字编码器、词编码器包括：输入层、嵌入层以及卷积层；基于所述字编码器、词编码器的输入层和嵌入层确定所述文本的字嵌入向量、词嵌入向量；基于所述字编码器、词编码器的卷积层内单个卷积层对所述字嵌入向量、词嵌入向量进行编码，确定第一字语义编码、第一词语义编码，基于所述字编码器、词编码器的卷积层内多个卷积层对所述第一字语义编码、第一词语义编码进行二次编码，将所述多个卷积层的输出拼接，获得为包含所述文本的上下文的第二字语义编码以及第二词语义编码。在本实施方式中，具体的：字编码器主要包含输入层、嵌入层、包含多卷积核的多卷基层和一个门控单元。输入层：将文本按字分割后得到字序列(c1,c2,…,cn本文档来自技高网...

【技术保护点】
1.一种文本语义编码方法，包括：/n分别利用字编码器、词编码器对文本进行语义编码，对所述文本的字编码的结果拼接以及对所述文本的词编码的结果拼接，获得包含上下文的字语义编码和词语义编码；/n将拼接后得到的所述字语义编码和所述词语义编码导入基于多头注意力机制的交互匹配层；/n将所述交互匹配层得到的融合字词语义编码确定为所述文本的字词语义编码。/n

【技术特征摘要】
1.一种文本语义编码方法，包括：
分别利用字编码器、词编码器对文本进行语义编码，对所述文本的字编码的结果拼接以及对所述文本的词编码的结果拼接，获得包含上下文的字语义编码和词语义编码；
将拼接后得到的所述字语义编码和所述词语义编码导入基于多头注意力机制的交互匹配层；
将所述交互匹配层得到的融合字词语义编码确定为所述文本的字词语义编码。


2.根据权利要求1所述的方法，其中，所述基于多头注意力机制的交互匹配层至少包括：字-词-字注意力机制的匹配交互层；
通过所述字-词-字注意力机制的匹配交互层对所述字语义编码和所述词语义编码进行线性变换；
在所述线性变换后进行预设数量的缩放点积注意力机制，将得到预设数量的缩放点积结果进行拼接，将拼接后的缩放点积结果进行线性变换，得到所述字-词-字注意力机制的匹配交互层的融合结果。


3.根据权利要求1所述的方法，其中，所述分别利用字编码器、词编码器对文本进行语义编码，对所述文本的字编码的结果拼接以及对所述文本的词编码的结果拼接，获得包含上下文的字语义编码和词语义编码包括：
将文本分别输入至字编码器以及词编码器，其中所述字编码器、词编码器包括：输入层、嵌入层以及卷积层；
基于所述字编码器、词编码器的输入层和嵌入层确定所述文本的字嵌入向量、词嵌入向量；
基于所述字编码器、词编码器的卷积层内单个卷积层对所述字嵌入向量、词嵌入向量进行编码，确定第一字语义编码、第一词语义编码，
基于所述字编码器、词编码器的卷积层内多个卷积层对所述第一字语义编码、第一词语义编码进行二次编码，将所述多个卷积层的输出拼接，获得为包含所述文本的上下文的第二字语义编码以及第二词语义编码。


4.根据权利要求3所述的方法，其中，所述字编码器、词编码器还包括门控单元；
基于所述字编码器、词编码器的门控单元将所述第一字语义编码以及所述第二字语义编码、所述第一词语义编码以及所述第二词语义编码融合，确定包含字和上下文的第三字语义编码以及包含词和上下文的第三词语义编码。


5.一种文本语义编码系统，包括：
语义编码确定程序模块，用于分别利用字编码器、词编码器对文本进行语义编码，对所述文本的字编码的结果拼接以及对所述文本的词编码的结果拼接，获...

【专利技术属性】
技术研发人员：吴仁守，
申请(专利权)人：苏州思必驰信息科技有限公司，
类型：发明
国别省市：江苏;32