【技术实现步骤摘要】
自然语言处理方法、装置、设备和介质
[0001]本公开一般涉及自然语言处理领域，并且更具体地涉及一种自然语言处理方法、自然语言处理装置和设备、计算机可读存储介质以及计算机程序产品。
技术介绍
[0002]自然语言处理(Nature Language Processing，NLP)是计算机科学领域与人工智能(Artificial Intelligence，AI)领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
[0003]近年来自然语言处理技术迅猛发展，诸如BERT、XLNET、GPT等的自然语言处理模型先后涌现，随之而来的是模型体量不断增大，以至高达百亿甚至千亿参数量。传统的机器学习模型已经无法满足这种大模型的庞大计算量，基于海量无标注数据的预训练...
【技术保护点】
【技术特征摘要】
1.一种自然语言处理方法，其基于自然语言处理模型，所述模型包括多个编码块，所述多个编码块中的每个编码块包括编码层和动态路由层，所述方法包括：接收输入文本，并将所述输入文本转换为对应的多个输入向量；对于所述多个输入向量中的每个输入向量，将所述输入向量输入至所述多个编码块；由所述多个编码块中的当前编码块的动态路由层接收所述输入向量，并确定所述输入向量在所述当前编码块处的目标跳跃次数，所述目标跳跃次数表示所述模型在针对所述输入向量执行到所述当前编码块处时将跳过的编码块的数量；由所述动态路由层将所述输入向量路由至所述目标跳跃次数指示的目标编码块处，并从所述目标编码块处继续执行所述模型；以及在所述模型执行结束时，输出与所述输入文本对应的自然语言处理结果。2.根据权利要求1所述的方法，其中，确定所述输入向量在所述当前编码块处的跳跃次数包括：基于所述输入向量和多个跳跃向量确定所述输入向量在所述当前编码块处的跳跃次数，其中所述多个跳跃向量中的不同跳跃向量对应于不同的跳跃次数。3.根据权利要求2所述的方法，其中，基于所述输入向量和多个跳跃向量确定所述输入向量在所述当前编码块处的跳跃次数包括：对所述输入向量进行非线性激活以生成激活向量；将所述激活向量分别与所述多个跳跃向量进行内积，以得到分别与所述多个跳跃向量对应的多个跳跃分数；以及基于所述多个跳跃分数确定所述目标跳跃次数。4.根据权利要求3所述的方法，其中，基于所述多个跳跃分数确定所述目标跳跃次数包括：将所述多个跳跃分数中的各个跳跃分数相对于所述多个跳跃分数之和进行归一化，以得到分别与所述多个跳跃分数对应的多个跳跃概率；以及将所述多个跳跃概率中的最大跳跃概率对应的跳跃次数确定为所述目标跳跃次数。5.根据权利要求1所述的方法，其中，所述模型还包括多个第一适配层，所述多个第一适配层中的每个第一适配层位于相应的编码块的输入处，其中，在所述目标编码块不同于所述当前编码块时，从所述目标编码块处继续执行所述模型包括：由所述目标编码块对应的第一适配层接收从所述当前编码块路由的输入向量；对所述输入向量进行第一适配处理，以得到处理后的输入向量，所述处理后的输入向量与所述输入向量的维度相同但数值不同；以及将所述处理后的输入向量输入至所述目标编码块的动态路由层，并从所述目标编码块的动态路由层处继续执行所述模型。6.根据权利要求5所述的方法，其中，对所述输入向量进行第一适配处理以得到处理后的输入向量包括：对所述输入向量进行维度变换处理，以得到变换后的输入向量；将所述变换后的输入向量与所述输入向量之和进行层归一化，以得到所述处理后的输入向量。
7.根据权利要求1所述的方法，其中，在所述目标编码块与所述当前编码块相同时，从所述目标编码块处继续执行所述模型包括：将所述输入向量输入至所述当前编码块的编码层，并从所述当前编码块的编码层处继续执行所述模型。8.根据权利要求1所述的方法，其中，所述...
【专利技术属性】
技术研发人员：杨韬，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。