一种文本处理方法、装置、介质和电子设备制造方法及图纸

本公开的实施方式提供了一种文本处理方法。该方法可以包括：获取文本样本与对应的样本标签序列，所述样本标签序列包括的多个样本标签的排列顺序指示所述层级关系。将所述文本样本与所述样本标签序列输入标签预测模型，基于所述文本样本，以及所述样本标签序列中前N

【技术实现步骤摘要】
一种文本处理方法、装置、介质和电子设备


[0001]本公开的实施方式涉及自然语言处理领域，更具体地，本公开的实施方式涉及一种文本处理方法、装置、介质和电子设备。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是相关技术。
[0003]文本层级分类任务，是自然语言处理中的一种多标签分类任务。在该任务中，需要利用神经模型，对输入的文本数据进行处理，预测出与该文本数据对应的多标签。
[0004]所述标签可以用于指示文本数据在预设分类体系中对应的具体类型。例如，在新闻分类体系中，所述标签可以指示文本数据对应的新闻类型。需要说明的是，本公开记载的预设分类体系不仅局限于新闻分类体系，还可以是其它分类体系。
[0005]所述多标签之间具有层级关系。所述层级关系可以包括分类体系中的上下层级关系与同级关系。例如，在新闻分类体系中，可以包括三个层级。其中，三个层级表现为递进式的类型划分，即层级越低，类型划分的越精细。同一层级的标签即具有同级关系。跨层级的两个标签即具有上下层级关系。
[0006]目前，在文本层级分类任务中，主要依靠展平模型，局部模型或者全局模型进行标签预测。

技术实现思路

[0007]但是，这些方法在预测标签时，都不能很好的利用标签之间的层级关系，很难达到很好的预测效果。
[0008]因此在相关技术中，并不能很好的进行文本层级分类任务。这非常令人烦恼。
[0009]为此，非常需要一种改进的文本处理方法，以结合多标签之间的层级关系，准确的对输入文本进行标签预测。
[0010]在本上下文中，本公开的实施方式期望提供一种文本处理方法、装置、介质和电子设备。
[0011]在本公开实施方式的第一方面中，提供了一种文本处理方法，包括：获取文本样本，以及与所述文本样本对应的样本标签序列，所述样本标签序列包括具有层级关系的多个样本标签，所述多个样本标签的排列顺序指示所述层级关系；将所述文本样本与所述样本标签序列作为输入，利用标签预测模型，基于所述文本样本，以及所述样本标签序列中前N
‑
1个样本标签中的至少部分样本标签，得到与所述文本样本对应的预测标签序列中的第N个预测标签，以逐级预测所述预测标签序列中的各预测标签；所述N表示所述样本标签序列或者所述预测标签序列中的标签顺位；基于所述样本标签序列，以及所述预测标签序列，对所述标签预测模型的参数进行调整。
[0012]在一些实施例中，所述基于所述文本样本，以及所述样本标签序列中前N
‑
1个样本
标签中的至少部分样本标签，得到与所述文本样本对应的预测标签序列中的第N个预测标签，包括：基于注意力机制，得到所述样本标签序列中前N
‑
1个样本标签中的至少部分样本标签分别对应的权重；基于所述文本样本，所述部分样本标签，以及所述部分样本标签分别对应的权重，得到与所述文本样本对应的预测标签序列中的第N个预测标签。
[0013]在一些实施例中，在基于所述样本标签序列，以及所述预测标签序列，对所述标签预测模型的参数进行调整之前，还包括：根据所述样本标签序列包括的各样本标签之间的祖先与后代关系，维护各样本标签与其祖先标签之间的对应关系；基于所述对应关系，筛选出所述预测标签序列中各预测标签的祖先标签分别对应的权重；将所述各预测标签的祖先标签分别对应的权重输入第二损失函数，得到第二损失信息；所述第二损失函数用于在所述标签预测模型的训练阶段，增大预测标签的祖先标签对应的权重。
[0014]在一些实施例中，所述基于所述样本标签序列，以及所述预测标签序列，对所述标签预测模型的参数进行调整，包括：将所述样本标签序列与所述预测标签序列输入第一损失函数，得到第一损失信息；所述第一损失函数指示所述预测标签序列与所述样本标签序列之间的误差；获取所述第二损失信息；基于所述第一损失信息与所述第二损失信息，对所述标签预测模型的参数进行调整。
[0015]在一些实施例中，获取所述样本标签序列的方法包括：获取标签树；所述标签树包括与多种标签分别对应多个标签节点；所述多个标签节点之间的层级关系指示所述多种标签之间的层级关系；逐级遍历所述多个标签节点，得到与所述文本样本对应的目标标签节点以得到所述样本标签序列。
[0016]在一些实施例中，所述逐级遍历包括广度优先遍历。
[0017]在一些实施例中，所述标签预测模型包括转换模型。
[0018]在一些实施例中，所述自然语言处理模型包括文本到文本传输转换模型。
[0019]在一些实施例中，所述方法还包括：获取目标文本；将所述目标文本输入训练完成的所述标签预测模型，得到所述目标文本对应的预测标签序列。
[0020]在本公开实施方式的第二方面中，提供了一种文本处理装置，包括：获取模块，用于获取文本样本，以及与所述文本样本对应的样本标签序列；所述样本标签序列包括具有层级关系的多个样本标签；所述多个样本标签的排列顺序指示所述层级关系；第一预测模块，用于将所述文本样本与所述样本标签序列作为输入，利用标签预测模型，基于所述文本样本，以及所述样本标签序列中前N
‑
1个样本标签中的至少部分样本标签，得到与所述文本样本对应的预测标签序列中的第N个预测标签，以逐级预测所述预测标签序列中的各预测标签；所述N表示所述样本标签序列或者所述预测标签序列中的标签顺位；调整模块，基于所述样本标签序列，以及所述预测标签序列，对所述标签预测模型的参数进行调整。
[0021]在本公开实施方式的第三方面中，提供了一种计算机可读存储介质，所述介质存储有计算机程序，所述计算机程序用于使处理器执行如前述任一实施例示出的文本处理方法。
[0022]在本公开实施方式的第四方面中，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现如前述任一实施例示出的文本处理方法。
[0023]在前述记载的技术方案中，可以将获取的文本样本与样本标签序列作为输入，利
用标签预测模型，基于所述文本样本，以及所述样本标签序列中前N
‑
1个样本标签中的至少部分样本标签，得到与所述文本样本对应的预测标签序列中的第N个预测标签，以逐级预测所述预测标签序列中的各预测标签；其中，所述样本标签序列包括具有层级关系的多个样本标签，所述多个样本标签的排列顺序指示所述层级关系。然后，再基于所述样本标签序列，以及所述预测标签序列，对所述标签预测模型的参数进行调整。
[0024]由此，在标签预测模型训练过程中，使模型可以学习到文本样本到各样本标签之间的对应关系，以及在得到第N个标签时候，能够充分利用该标签之前标签信息的能力，从而在利用该模型进行标签预测时，可以结合多标签之间的层级关系，达到更好的标签预测效果。
附图说明
[0025]通过参考附图阅读下文的详细描述，本公开示例性实施方式的前述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本处理方法，包括：获取文本样本，以及与所述文本样本对应的样本标签序列，所述样本标签序列包括具有层级关系的多个样本标签，所述多个样本标签的排列顺序指示所述层级关系；将所述文本样本与所述样本标签序列作为输入，利用标签预测模型，基于所述文本样本，以及所述样本标签序列中前N
‑
1个样本标签中的至少部分样本标签，得到与所述文本样本对应的预测标签序列中的第N个预测标签，以逐级预测所述预测标签序列中的各预测标签；所述N表示所述样本标签序列或者所述预测标签序列中的标签顺位；基于所述样本标签序列，以及所述预测标签序列，对所述标签预测模型的参数进行调整。2.根据权利要求1所述的方法，所述基于所述文本样本，以及所述样本标签序列中前N
‑
1个样本标签中的至少部分样本标签，得到与所述文本样本对应的预测标签序列中的第N个预测标签，包括：基于注意力机制，得到所述样本标签序列中前N
‑
1个样本标签中的至少部分样本标签分别对应的权重；基于所述文本样本，所述部分样本标签，以及所述部分样本标签分别对应的权重，得到与所述文本样本对应的预测标签序列中的第N个预测标签。3.根据权利要求2所述的方法，在基于所述样本标签序列，以及所述预测标签序列，对所述标签预测模型的参数进行调整之前，还包括：根据所述样本标签序列包括的各样本标签之间的祖先与后代关系，维护各样本标签与其祖先标签之间的对应关系；基于所述对应关系，筛选出所述预测标签序列中各预测标签的祖先标签分别对应的权重；将所述各预测标签的祖先标签分别对应的权重输入第二损失函数，得到第二损失信息；所述第二损失函数用于在所述标签预测模型的训练阶段，增大预测标签的祖先标签对应的权重。4.根据权利要求3所述的方法，所述基于所述样本标签序列，以及所述预测标签序列，对所述标签预测模型的参数进行调整，包括：将所述样本标签序列与所述预测标签序列输入第一损失函数，得到...

【专利技术属性】
技术研发人员：刘宸，赵屹华，
申请(专利权)人：网易传媒科技北京有限公司，
类型：发明
国别省市：