一种确定文本标签的方法和系统技术方案

本说明书的实施例公开了一种确定文本标签的方法和系统，所述方法包括：获取文本，所述文本对应至少一个候选标签；基于文本和至少一个候选标签中的一个组成文本标签对；将文本标签对输入判断模型，所述判断模型包含至少一个交互模型，判断模型基于交互模型输出的文本标签对中候选标签的交互编码，确定候选标签是否为文本的真实标签；其中，所述交互模型包含第一编码模型，所述第一编码模型基于第一多头注意力机制，得到候选标签的交互编码；其中：文本的编码作为第一多头注意力机制中计算K和V的输入，候选标签的编码作为第一多头注意力机制中计算Q的输入。

A method and system for determining text label

【技术实现步骤摘要】
一种确定文本标签的方法和系统
本申请涉及自然语言处理领域，特别涉及一种确定文本标签的方法和系统。
技术介绍
文本标签抽取是自然语言处理（NLP，NaturalLanguageProcessing）领域的常见任务之一。文本标签抽取具有很高的实用价值，例如，从博客或者新闻中抽取语义标签，可以辅助人工管理和理解文本，又例如，可以给知识文档添加标签，建立多维度知识分类体系等。因此，希望提供一种能够准确确定文本标签的方法和系统。
技术实现思路
本说明书一个方面提供一种确定文本标签的方法，所述方法包括：获取文本，所述文本对应至少一个候选标签；基于文本和至少一个候选标签中的一个组成文本标签对；将文本标签对输入判断模型，所述判断模型包含至少一个交互模型，判断模型基于所述交互模型输出的文本标签对中候选标签的交互编码，确定候选标签是否为文本的真实标签；其中，所述交互模型包含第一编码模型，第一编码模型基于第一多头注意力机制，得到候选标签的交互编码；其中：文本的编码作为第一多头注意力机制中计算K和V的输入，候选标签的编码作为第一多头注意力机制中计算Q的输入。本说明书另一个方面提供一种确定文本标签的系统，所述系统包括：文本获取模块，用于获取文本，所述文本对应至少一个候选标签；文本标签对生成模块，用于基于所述文本和所述至少一个候选标签中的一个组成文本标签对；判断模块，用于将所述文本标签对输入判断模型，所述判断模型包含至少一个交互模型，所述判断模型基于所述交互模型输出的所述文本标签对中候选标签的交互编码，确定所述候选标签是否为所述文本的真实标签；其中，所述判断模块包括交互模块，用于所述交互模型包含第一编码模型，所述交互模块包括第一编码模块，用于所述第一编码模型基于第一多头注意力机制，得到所述候选标签的交互编码；其中：所述文本的编码作为所述第一多头注意力机制中计算K和V的输入，所述候选标签的编码作为所述第一多头注意力机制中计算Q的输入。本说明书另一个方面提供一种确定文本标签的装置，包括至少一个存储介质和至少一个处理器；所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现确定文本标签的方法。附图说明本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1是根据本说明书一些实施例所示的示例性确定文本标签的系统的应用场景示意图；图2是根据本说明书一些实施例所示的确定文本标签的方法的示例性流程图；图3是根据本说明书一些实施例所示的示例性交互模型确定候选标签的交互编码的示意图；图4是根据本说明书一些实施例所示的N个交互模型的示意图。具体实施方式为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。图1是根据本说明书一些实施例所示的示例性确定文本标签系统的应用场景示意图。如图1所示，本说明书所涉及的应用场景可以包括第一计算系统130和/或第二计算系统160。第一计算机系统130可以用于为文本确定具有代表性的标签。例如，第一计算机系统130可以自动为博客、新闻和资讯确定语义标签，辅助用户管理和理解长文本。又例如，第一计算机系统130可以为知识文档确定标签，建立知识多维度分类体系。第一计算系统130可以获取待分析数据120，待分析数据120包含待分析的文本和待分析文本的候选标签。待分析数据120可以通过终端110获取。待分析数据120可以通过各种常见的方式进入第一计算系统130。通过第一计算系统130中的模型132，可以输出判别结果140，判断候选标签是否是可以代表待分析文本的真实标签。模型132的参数可以通过训练得到。第二计算系统160可以获取多组训练样本150，每组训练样本包含文本及文本的候选标签，第二计算系统160通过多组训练样本150更新模型162的参数，得到训练好的模型。模型132的参数来自于训练好的模型162。其中，参数可以以任何常见的方式传递。模型（例如，模型132或/和模型162）可以指基于处理设备而进行的若干方法的集合。这些方法可以包括大量的参数。在执行模型时，所使用的参数可以是被预先设置好的，也可以是可以动态调整的。一些参数可以通过训练的方法获得，一些参数可以在执行的过程中获得。关于本说明书中涉及模型的具体说明，可参见本说明书的相关部分。第一计算系统130和第二计算系统160可以相同也可以不同。第一计算系统130和第二计算系统160是指具有计算能力的系统，可以包括各种计算机，比如服务器、个人计算机，也可以是由多台计算机以各种结构连接组成的计算平台。第一计算系统130和第二计算系统160中可以包括处理设备，处理设备可以执行程序指令。处理设备可以包括各种常见的通用中央处理器(centralprocessingunit，CPU)，图形处理器(GraphicsProcessingUnit，GPU)，微处理器，特殊应用集成电路(application-specificintegratedcircuit，ASIC)，或其他类型的集成电路。第一计算系统130和第二计算系统160中可以包括存储介质，存储介质可以存储指令，也可以存储数据。存储介质可包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器（ROM）等或其任意组合。第一计算系统130和第二计算系统160还可以包括用于内部连接和与外部连接的网络。也可以包括用于输入或输出的终端110。网络可以是有线网络或无线网络中的任意一种或多种。终端110可以包括各类具有信息接收和/或发送功能的设备，如手机110-1、平板电脑110-2、计算机110-3、文字扫描设备（未示出）、显示设备（未示出）、打印机（未示出）等。本文档来自技高网...

【技术保护点】
1.一种确定文本标签的方法，包括：/n获取文本，所述文本对应至少一个候选标签；/n基于所述文本和所述至少一个候选标签中的一个组成文本标签对；/n将所述文本标签对输入判断模型，所述判断模型包含至少一个交互模型，所述判断模型基于所述交互模型输出的所述文本标签对中候选标签的交互编码，确定所述候选标签是否为所述文本的真实标签；/n其中，所述交互模型包含第一编码模型，所述第一编码模型基于第一多头注意力机制，得到所述候选标签的交互编码；其中：所述文本的编码作为所述第一多头注意力机制中计算K和V的输入，所述候选标签的编码作为所述第一多头注意力机制中计算Q的输入。/n

【技术特征摘要】
1.一种确定文本标签的方法，包括：
获取文本，所述文本对应至少一个候选标签；
基于所述文本和所述至少一个候选标签中的一个组成文本标签对；
将所述文本标签对输入判断模型，所述判断模型包含至少一个交互模型，所述判断模型基于所述交互模型输出的所述文本标签对中候选标签的交互编码，确定所述候选标签是否为所述文本的真实标签；
其中，所述交互模型包含第一编码模型，所述第一编码模型基于第一多头注意力机制，得到所述候选标签的交互编码；其中：所述文本的编码作为所述第一多头注意力机制中计算K和V的输入，所述候选标签的编码作为所述第一多头注意力机制中计算Q的输入。


2.如权利要求1所述的方法，所述交互模型还包括第二编码模型和第三编码模型；
所述第二编码模型对所述文本进行编码，得到所述文本的编码；
所述第三编码模型对所述候选标签进行编码，得到所述候选标签的编码。


3.如权利要求2所述的方法，所述第二编码模型基于第二多头注意力机制对所述文本进行编码，所述第三编码模型基于第三多头注意力机制对所述候选标签进行编码。


4.如权利要求2所述的方法，所述方法还包括：
当所述交互模型为N个时，第t-1个交互模型中第二编码模型的输出为第t个交互模型中第二编码模型的输入；第t-1个交互模型中第一编码模型的输出为第t个交互模型中第三编码模型的输入；
其中，，N为大于1的整数。


5.如权利要求1所述的方法，所述判断模型还包括聚合模型和分类模型，所述分类模型基于所述聚合模型输出的所述文本标签对中候选标签的特征向量，确定所述候选标签是否为所述文本的真实标签；
其中，所述聚合模型对所述候选标签中每个字对应的交互编码进行处理，得到所述候选标签的特征向量；所述候选标签中每个字对应的交互编码来源于所述候选标签的交互编码。


6.如权利要求5所述的方法，所述聚合模型对所述候选标签中每个字对应的交互编码进行处理，得到所述候选标签的特征向量，包括：
所述聚合模型基于第四多头注意力机制确定所述候选标签的特征向量，其中，以所述候选标签的交互编码作为所述第四多头注意力机制计算K和V的输入，以所述第四多头注意力机制的权重参数作为所述第四多头注意力机制计算Q的输入。


7.如权利要求2所述的方法，所述第一编码模型和所述第二模型还包括前馈神经网络。


8.如权利要求2所述的方法，所述第一编码模型、第二编码模型和第三模型还包括残差网络。


9.一种确定文本标签的系统，包括：
文本获取模块，用于获取文本，所述文本对应至少一个候选标签；
文本标签对生成模块...

【专利技术属性】
技术研发人员：梁忠平，温祖杰，张家兴，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33