自然语言处理方法、训练方法及数据处理设备技术

本申请公开了人工智能领域中的一种自然语言处理方法、训练方法及数据处理设备，该方法包括：获得待处理的自然语言文本；利用训练得到的深度神经网络对所述自然语言文本做处理，输出处理所述自然语言文本得到的目标结果；其中，所述深度神经网络包括：粒度标注网络、第一特征网络、第二特征网络、第一处理网络、第二处理网络以及融合网络。本申请中，数据处理设备利用相互解耦的网络来处理自然语言文本中不同粒度的词语，可以有效提高处理自然处理任务的性能。

【技术实现步骤摘要】
自然语言处理方法、训练方法及数据处理设备
本申请涉及自然语言处理领域，特别涉及一种自然语言处理方法、训练方法及数据处理设备。
技术介绍
人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。随着人工智能技术的不断发展，越来越多的自然语言处理任务可以采用人工智能技术来实现，例如采用人工智能技术来实现翻译任务。自然语言处理任务可以分为不同的粒度，一般分为字符级(characterlevel)、词语级(wordlevel)、短语级(phraselevel)、句子级(sentencelevel)、篇章级(discourselevel)等，这些粒度依次变粗。例如词性标注是词语级任务，命名实体识别(namedentityrecognition)是短语本文档来自技高网...

【技术保护点】
1.一种自然语言处理方法，其特征在于，包括：获得待处理的自然语言文本；利用训练得到的深度神经网络对所述自然语言文本做处理，输出处理所述自然语言文本得到的目标结果；其中，所述深度神经网络包括：粒度标注网络、第一特征网络、第二特征网络、第一处理网络、第二处理网络以及融合网络，所述处理包括：利用所述粒度标注网络确定所述自然语言文本中各词语的粒度；利用所述第一特征网络对所述自然语言文本中第一粒度的词语进行特征提取，将得到的第一特征信息输出至所述第一处理网络；利用所述第二特征网络对所述自然语言文本中第二粒度的词语进行特征提取，将得到的第二特征信息输出至所述第二处理网络；利用所述第一处理网络对所述第一特征...

【技术特征摘要】
1.一种自然语言处理方法，其特征在于，包括：获得待处理的自然语言文本；利用训练得到的深度神经网络对所述自然语言文本做处理，输出处理所述自然语言文本得到的目标结果；其中，所述深度神经网络包括：粒度标注网络、第一特征网络、第二特征网络、第一处理网络、第二处理网络以及融合网络，所述处理包括：利用所述粒度标注网络确定所述自然语言文本中各词语的粒度；利用所述第一特征网络对所述自然语言文本中第一粒度的词语进行特征提取，将得到的第一特征信息输出至所述第一处理网络；利用所述第二特征网络对所述自然语言文本中第二粒度的词语进行特征提取，将得到的第二特征信息输出至所述第二处理网络；利用所述第一处理网络对所述第一特征信息做处理，将得到的第一处理结果输出至所述融合网络；利用所述第二处理网络对所述第二特征信息做处理，将得到的第二处理结果输出至所述融合网络；利用所述融合网络融合所述第一处理结果和所述第二处理结果得到所述目标结果；所述第一粒度和所述第二粒度不同。2.根据权利要求1所述的方法，其特征在于，所述第一特征网络和所述第二特征网络的架构不同，和/或，所述第一处理网络和所述第二处理网络的架构不同。3.根据权利要求1或2所述的方法，其特征在于，所述粒度标注网络的输入为所述自然语言文本，所述利用所述粒度标注网络确定所述自然语言文本中各词语的粒度包括：利用所述粒度标注网络按照N种粒度确定所述自然语言文本中每个词语的粒度以得到所述自然语言文本的标注信息，向所述第一特征网络和所述第二特征网络输出所述标注信息；其中，所述标注信息用于描述所述每个词语的粒度或者所述每个词语分别属于所述N种粒度的概率；N为大于1的整数；所述利用所述第一特征网络对所述自然语言文本中第一粒度的词语进行特征提取包括：利用所述第一特征网络处理所述第一粒度的词语以得到所述第一特征信息，所述第一特征信息为表示所述第一粒度的词语的向量或矩阵；所述利用所述第二特征网络对所述自然语言文本中第二粒度的词语进行特征提取包括：利用所述第二特征网络处理所述第二粒度的词语以得到所述第二特征信息，所述述第二特征信息为表示所述第二粒度的词语的向量或矩阵。4.根据权利要求3所述的方法，其特征在于，所述第一处理结果为包含一个或多个词语的序列，所述利用所述第一处理网络对所述第一特征信息做处理包括：利用所述第一处理网络对输入的所述第一特征信息和所述第一处理网络在处理所述第一特征信息的过程中已输出的词语做处理以得到所述第一处理结果。5.根据权利要求4所述的方法，其特征在于，所述融合网络输出的所述目标结果为包含一个或多个词语的序列，所述利用所述融合网络融合所述第一处理结果和所述第二处理结果得到所述目标结果包括：利用所述融合网络处理所述第一处理结果、所述第二处理结果以及所述融合网络在处理所第一处理结果和所述第二处理结果的过程中已输出的词语以确定待输出目标词语，输出所述目标词语。6.一种训练方法，其特征在于，包括：将训练样本输入至深度神经网络做处理，得到预测处理结果；其中，所述深度神经网络包括：粒度标注网络、第一特征网络、第二特征网络、第一处理网络、第二处理网络以及融合网络，所述处理包括：利用所述粒度标注网络确定所述训练样本中各词语的粒度；利用所述第一特征网络对所述训练样本中第一粒度的词语进行特征提取，将得到的第三特征信息输出至所述第一处理网络；利用所述第二特征网络对所述训练样本中第二粒度的词语进行特征提取，将得到的第四特征信息输出至所述第二处理网络；利用所述第一处理网络对所述第三特征信息做目标处理，将得到的第三处理结果输出至所述融合网络；利用所述第二处理网络对所述第四特征信息做所述目标处理，将得到的第四处理结果输出至所述融合网络；利用所述融合网络融合所述第三处理结果和所述第四处理结果得到所述预测处理结果；所述第一粒度和所述第二粒度不同；根据所述预测处理结果和标准结果，确定所述训练样本对应的损失；所述标准结果为利用所述深度神经网络处理所述训练样本期望得到的处理结果；利用所述训练样本对应的损失，通过优化算法更新所述深度神经网络的参数。7.根据权利要求6所述的方法，其特征在于，所述第一特征网络和所述第二特征网络的架构不同，和/或，所述第一处理网络和所述第二处理网络架构的不同。8.根据权利要求6或7所述的方法，其特征在于，所述粒度标注网络的输入为所述自然语言文本，所述利用所述粒度标注网络确定所述自然语言文本中各词语的粒度包括：利用所述粒度标注网络按照N种粒度确定所述自然语言文本中每个词语的粒度以得到所述自然语言文本的标注信息，向所述第一特征网络和所述第二特征网络输出所述标注信息；其中，所述标注信息用于描述所述每个词语的粒度或者所述每个词语分别属于所述N种粒度的概率；N为大于1的整数；所述利用所述第一特征网络对所述自然语言文本中第一粒度的词语进行特征提取包括：利用所述第一特征网络处理所述第一粒度的词语以得到所述第三特征信息，所述第三特征信息为表示所述第一粒度的词语的向量或矩阵；所述利用所述第二特征网络对所述自然语言文本中第二粒度的词语进行特征提取包括：利用所述第二特征网络处理所述第二粒度的词语以得到所述第四特征信息，所述述第四特征信息为表示所述第二粒度的词语的向量或矩阵。9.根据权利要求8所述的方法，其特征在于，所述第一处理结果为包含一个或多个词语的序列，所述利用所述第一处理网络对所述第三特征信息做处理包括：利用所述第一处理网络对输入的所述第三特征信息和所述第一处理网络在处理所述第三特征信息的过程中已输出的词语做处理以得到所述第三处理结果。10.根据权利要求9所述的方法，其特征在于，所述融合网络输出的所述目标结果为包含一个或多个词语的序列，所述利用所述融合网络融合所述第三处理结果和所述第四处理结果得到所述目标结果包括：利用所述融合网络处理所述第三处理结果、所述第四处理结果以及所述融合网络在处理所第三处理结果和所述第四处理结果的过程中已输出的词语以确定待输出目标词语，输出所述目标词语。11.根据权利要求6至10任一项所述的方法，其特征在于，所述利用所述训练样本对应的损失，通过优化算法更新所述深度神经网络的参数包括：利用损失函数相对于所述深度神经网络包括的至少一个网络的梯度值，更新所述至少一个网络的参数；所述损失函数用于计算所述预测处理结果和所述标准结果之间的损失；其中，所述第一特征网络、所述第二特征网络、所述第一处理网络、所述...

【专利技术属性】
技术研发人员：李梓超，蒋欣，刘群，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44