文本数据的处理方法、神经网络的训练方法以及相关设备技术

本申请实施例公开一种文本数据的处理方法、神经网络的训练方法以及相关设备，该方法可用于人工智能领域的文本数据的处理领域中。方法包括：获取待处理文本，待处理文本包括多个字符；通过目标模型对待处理文本进行处理，得到预测结果，预测结果用于指示将待处理文本拆分为多个目标字符集合，预测结果还包括多个第一标签，一个第一标签用于指示一个目标字符集合的语义，多个第一标签用于确定待处理文本的意图。可以将叠字或语气助词拆分至另一个目标字符集合中，即使整个待处理文本中存在叠字或语气助词等，也能够实现对待处理文本的意图的理解，也即提供了一种更具有泛化能力的自然语言理解的方法。语言理解的方法。语言理解的方法。

【技术实现步骤摘要】
文本数据的处理方法、神经网络的训练方法以及相关设备


[0001]本申请涉及人工智能领域，尤其涉及一种文本数据的处理方法、神经网络的训练方法以及相关设备。

技术介绍

[0002]人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0003]利用模型进行自然语言处理(natural language processing，NLP)是实现人工智能的重要手段之一，目前采用的自然语言理解的方法有基于模板匹配的方式，具体的，执行设备上可以配置有多个模板语句，以及每个模板语句所对应的意图，执行设备在获取到用户输入的待处理文本后，可以与多个模板语句进行匹配，若能够匹配到一致的语句，则能够获取到待处理文本的意图；若不能够匹配到一致的语句，则匹配失败。
[0004]但目前采取的模板匹配的方式比较死板，若用户输入的待处理文本是与模板语句近似的一种说法，例如比模板语句多一些叠字或语气助词等，都会导致匹配失败，继而无法获取到待处理文本的意图，因此，一种更具有泛化能力的自然语言理解的方法亟待推出。

技术实现思路

[0005]本申请实施例提供了一种文本数据的处理方法、神经网络的训练方法以及相关设备，在一个目标字符集合中可以不包括叠字或语气助词等，也即可以将叠字或语气助词拆分至另一个目标字符集合中，从而即使整个待处理文本中存在叠字或语气助词等，也能够实现对待处理文本的意图的理解，也即提供了一种更具有泛化能力的自然语言理解的方法。
[0006]为解决上述技术问题，本申请实施例提供以下技术方案：
[0007]第一方面，本申请实施例提供一种文本数据的处理方法，可用于人工智能领域的文本数据的处理领域中。执行设备获取待处理文本，待处理文本包括一个或多个字符；执行设备通过目标模型对待处理文本进行处理，得到目标模型生成的预测结果。其中，该预测结果可以为目标模型最终输出的结果，也可以为目标模型在处理过程中生成的中间结果；预测结果用于指示将待处理文本拆分为多个目标字符集合，每个目标字符集合包括至少一个字符，预测结果还包括一个或多个第一标签，前述至少一个第一标签中的一个第一标签用于指示一个目标字符集合的语义，预测结果中的所有第一标签用于确定待处理文本的意图。
[0008]本实现方式中，通过目标模型对待处理文本进行语义理解，得到目标模型输出的预测结果，预测结果用于指示将待处理文本拆分为多个目标字符集合，预测结果还包括与
至少一个目标字符集合匹配的第一标签，以通过匹配到的所有第一标签来反映待处理文本的意图；由于本方案中是为待处理文本中的字符匹配标签，在一个目标字符集合中可以不包括叠字或语气助词等，也即可以将叠字或语气助词拆分至另一个目标字符集合中，从而即使整个待处理文本中存在叠字或语气助词等，也能够实现对待处理文本的意图的理解，也即提供了一种更具有泛化能力的自然语言理解的方法；且由于预测结果指示如何将整个待处理文本进行拆分，且还包括与待处理文本对应的至少一个标签，也即预测结果中携带了更为丰富的信息，有利于提高对待处理文本进行意图理解过程的准确率。
[0009]在第一方面的一种可能实现方式中，多个第一标签包括至少两级标签，至少两级标签包括父标签和子标签，父标签和子标签之间具有归属关系；预测结果还用于指示父标签和子标签之间的归属关系，也即预测结果还用于指示多个第一标签包括的至少两级标签所对应的级别数量、每个第一标签属于哪个级别以及不同标签之间的对应关系。
[0010]本实现方式中，多个第一标签包括至少两级标签，至少两级标签包括父标签和子标签，父标签和子标签之间具有归属关系；也即预测结果携带的信息更为丰富，有利于进一步提高对待处理文本进行意图理解过程的准确率。
[0011]在第一方面的一种可能实现方式中，与待处理文本对应有N种拆分方式，N为大于或等于1的整数，预测结果用于指示与待处理文本对应的一种目标拆分方式，目标拆分方式归属于N种拆分方式，预测结果基于多个目标字符集合与多个第一标签之间的匹配度得到。进一步地，预测结果基于与每个目标字符集合对应的第一评分得到，与目标字符集合对应的第一评分用于指示目标字符集合与第一标签之间的匹配度。与目标拆分方式对应的目标总评分值为与目标拆分方式对应的至少一个第一评分的总和，目标拆分方式可以为N种拆分方式中目标总评分值最高的一种拆分方式；或者，与目标拆分方式对应的目标总评分值大于或等于第一阈值。
[0012]本实现方式中，最终输出的预测结果用于指示与待处理文本对应的一种目标拆分方式，而该预测结果基于每个目标字符集合与第一标签之间的匹配度；目标字符集合与第一标签之间的匹配度越高，证明第一标签越能准确的反映目标字符集合的语义，通过前述方案，能够得到更能反映待处理文本的意图的至少一个第一标签。
[0013]在第一方面的一种可能实现方式中，执行设备通过目标模型对待处理文本进行处理，得到预测结果，包括：执行设备将每个目标字符集合与第一数据集合中的多个字符串进行匹配，以确定与每个目标字符集合匹配的目标字符串，并从第一数据集合中获取与目标字符串对应的至少一个第二标签，一个字符串包括至少一个字符。执行设备根据每个目标字符集合和至少一个第二标签，通过目标模型中的第一模型将每个目标字符集合与第一数据集合中的多个标签进行匹配，以得到与每个目标字符集合匹配的第一标签。进一步地，训练设备根据每个目标字符集合和至少一个第二标签，可以通过目标模型生成每个目标字符集合与第一数据集合中每个标签之间的匹配度，以得到与每个目标字符集合对应的多个第二评分，该多个第二评分中的一个第二评分用于指示每个目标字符集合与第一数据集合中的一个标签之间的匹配度；训练设备根据多个第二评分，通过目标模型确定与每个目标字符集合匹配的第一标签。
[0014]本申请实施例中，由于在生成目标字符集合所匹配的第一标签的过程中，是将目标字符集合与第一数据集合中的多个字符串进行匹配，以确定与目标字符集合匹配的至少
一个目标字符串，进而获取与至少一个目标字符串对应的至少一个第二标签，并通过目标模型将目标字符集合与第一数据集合中的多个标签进行匹配，以得到与目标字符集合匹配的第一标签。也即当第一数据库中与第二标签匹配的字符串进行更新时，不需要对目标模型重新进行训练，避免了对目标模型进行重新训练时所产生的时间成本，且便于结合实际应用场景的变化，对第一数据集合中的字符串进行及时的修改，有利于提高对待处理文本的意图的理解的准确性。
[0015]在第一方面的一种可能实现方式中，在至少一个第二标签包括至少两个第二标签的情况下，执行设备从第一数据集合中获取与目标字符串对应的至少一个第二标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本数据的处理方法，其特征在于，所述方法包括：获取待处理文本，所述待处理文本包括多个字符；通过目标模型对所述待处理文本进行处理，得到预测结果，其中，所述预测结果用于指示将所述待处理文本拆分为多个目标字符集合，每个所述目标字符集合包括至少一个字符，所述预测结果还包括多个第一标签，一个所述第一标签用于指示一个所述目标字符集合的语义，所述多个第一标签用于确定所述待处理文本的意图。2.根据权利要求1所述的方法，其特征在于，所述多个第一标签包括至少两级标签，所述至少两级标签包括父标签和子标签，所述父标签和所述子标签之间具有归属关系。3.根据权利要求1或2所述的方法，其特征在于，与所述待处理文本对应有N种拆分方式，所述N为大于或等于1的整数，所述预测结果用于指示与所述待处理文本对应的一种目标拆分方式，所述目标拆分方式归属于所述N种拆分方式，所述预测结果基于所述多个目标字符集合与所述多个第一标签之间的匹配度得到。4.根据权利要求3所述的方法，其特征在于，所述通过目标模型对所述待处理文本进行处理，得到预测结果，包括：将所述每个目标字符集合与第一数据集合中的多个字符串进行匹配，以确定与所述每个目标字符集合匹配的目标字符串，并从所述第一数据集合中获取与所述目标字符串对应的至少一个第二标签，一个字符串包括至少一个字符；根据所述每个目标字符集合和所述至少一个第二标签，通过所述目标模型将所述每个目标字符集合与所述第一数据集合中的多个标签进行匹配，以得到与所述每个目标字符集合匹配的所述第一标签。5.根据权利要求4所述的方法，其特征在于，在所述至少一个第二标签包括至少两个第二标签的情况下，所述从所述第一数据集合中获取与所述目标字符串对应的至少一个第二标签之后，所述方法还包括：根据所述待处理文本、所述目标字符集合和所述至少两个第二标签，通过所述目标模型生成目标指示信息，所述目标指示信息用于指示每个所述第二标签与所述目标字符集合匹配或不匹配；根据所述目标指示信息对所述至少两个第二标签进行筛选，得到至少一个筛选后的标签；所述根据所述目标字符集合和所述第二标签，通过所述目标模型将所述目标字符集合与所述第一数据集合中的多个标签进行匹配，包括：根据所述目标字符集合和所述至少一个筛选后的标签，通过所述目标模型将所述目标字符集合与所述第一数据集合中的多个标签进行匹配。6.一种神经网络的训练方法，其特征在于，所述方法包括：通过目标模型对待处理文本进行处理，得到预测结果，所述待处理文本包括多个字符，所述预测结果用于指示将所述待处理文本拆分为多个第一字符集合，每个所述第一字符集合包括至少一个字符，所述预测结果还包括多个第一标签，一个所述第一标签用于指示一个所述目标字符集合的语义，所述多个第一标签用于确定所述待处理文本的预测意图；根据目标损失函数，对所述目标模型进行训练，得到训练后的目标模型；其中，所述目标损失函数用于指示所述预测结果和与所述待处理文本对应的期望结果
之间的相似度，所述与所述待处理文本对应的期望结果用于指示将所述待处理文本拆分为多个第二字符集合，每个所述第二字符集合包括至少一个字符，所述与所述待处理文本对应的期望结果还包括多个期望标签，一个所述期望标签用于指示一个所述第二字符集合的语义，所述多个期望标签用于确定所述待处理文本的正确意图。7.根据权利要求6所述的方法，其特征在于，所述多个第一标签包括至少两级标签，所述至少两级标签包括父标签和子标签，所述父标签和所述子标签之间具有归属关系。8.根据权利要求6或7所述的方法，其特征在于，所述通过目标模型对待处理文本进行处理之前，所述方法还包括：获取目标数据子集合，所述目标数据子集合包括第一子集合和第二子集合，所述第一子集合包括第一字符串以及与所述第一字符串对应的第一期望标签，所述第二子集合包括第二字符串以及与所述第二字符串对应的第二期望标签；根据所述目标数据子集合，确定所述待处理文本和与所述待处理文本对应的所述期望结果，其中，所述待处理文本包括所述第一字符串和所述第二字符串，所述期望结果包括与所述第一字符串对应的所述第一期望标签和与所述第二字符串对应的所述第二期望标签。9.根据权利要求8所述的方法，其特征在于，与所述待处理文本对应的第三评分满足预设条件，所述第三评分用于指示所述待处理文本的质量。10.一种文本数据的处理方法，其特征在于，所述方法包括：获取目标数据子集合，所述目标数据子集合包括第一子集合和第二子集合，所述第一子集合包括第一字符串以及与所述第一字符串对应的第一期望标签，所述第二子集合包括第二字符串以及与所述第二字符串对应的第二期望标签；根据所述目标数据子集合，确定与目标模型对应的第二数据集合，其中，所述目标模型用于对输入的待处理文本进行语义理解，所述第二数据集合包括多个所述目标数据子集合，所述第二数据集合用于所述目标模型的训练阶段和/或所述目标模型的推理阶段；所述目标数据子集合用于指示与所述待处理文本对应的期望结果，所述期望结果用于指示将所述待处理文本拆分成至少两组字符串，所述至少两组字符串中包括所述第一字符串和所述第二字符串，所述正确结果还包括与所述第一字符串对应的所述第一期望标签和与所述第二字符串对应的所述第二期望标签。11.根据权利要求10所述的方法，其特征在于，所述方法还包括：通过显示界面获取与所述目标数据子集合对应的修改操作，所述修改操作包括如下任一种或多种操作：删除所述目标数据子集合中的字符串、更新所述目标数据子集合中的字符串的内容或者在所述目标数据子集合中增加新的字符串。12.根据权利要求10或11所述的方法，其特征在于，所述方法还包括：获取待处理文本，所述待处理文本包括多个字符；通过目标模型对所述待处理文本进行处理，得到预测结果，其中，所述预测结果用于指示将所述待处理文本拆分为多个目标字符集合，每个所述目标字符集合包括至少一个字符，所述预测结果还包括多个第一标签，一个所述第一标签用于指示一个所述目标字符集合的语义，所述多个第一标签用于确定所述待处理文本的意图。13.一种文本数据的处理装置，其特征在于，所述装置包括：获取模块，用于获取待处理文本，所述待处理文本包括多个字符；
处理模块，用于通过目标模型对所述待处理文本进行处理，得到预测结果，其中，所述预测结果用于指示将所述待处理文本拆分为多个目标字符集合，每个所述目标字符集合包括至少一个字符，所述预测结果还包括多个第一标签，一个所述第一标签用于指示一个所述目标字符集合的语义，所述多个第一标签用于确定所述待处理文本的意图。14.根据权利要求13所...

【专利技术属性】
技术研发人员：孟笑君，王雅圣，蒋欣，刘群，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：