自然语言处理的方法和产品技术

本公开的实施例涉及自然语言处理的方法和产品。在该方法中，包括：基于第一语言的语料的表示，生成第一语义编码向量；基于与第一语言不同的第二语言的语料的表示，生成第二语义编码向量。该方法还包括：通过混合第一语义编码向量和第二语义编码向量，生成混合语义向量。该方法还包括：基于混合语义向量，生成第二语言的语料的混合表示。本公开的实施例还涉及一种训练自然语言模型的方法、装置。通过使用这种方法，有效地提高了不同语言之间的转换的准确性，降低了语义学习的成本，从而既使得下游任务的执行结果更准确，也降低了计算资源的开销。开销。开销。

【技术实现步骤摘要】
自然语言处理的方法和产品


[0001]本公开的各实施例涉及自然语言处理
，更具体地，涉及不同语言的语义转换的方法、装置、设备、介质和程序产品。

技术介绍

[0002]一些经过预训练的自然语言模型可以处理跨不同语言的语料之间的转换任务。但是，源语言和目标语言都需要是常见的语言，并且目标语言的语料依然会丢失语义信息。特别是当两种语言是跨语系的语言时，这种丢失语义信息的情况会非常明显，甚至影响到下游任务的继续执行。而且，当没有足够多的预先标注的语料作为样本数据时，根本不可能训练出对应的自然语言模型。
[0003]为了提升自然语言模型的准确性，可以使用更多的预先标注的语料来训练模型。但是，获取预先标注的语料的成本通常较高。而且，更多的训练数据也使模型变得复杂，带来的计算资源的开销也很大。类似问题也存在于其他需要执行跨语言转换任务的模型中。

技术实现思路

[0004]本公开的实施例提供了一种自然语言处理的方法、装置、设备、介质和程序产品。
[0005]在本公开的第一方面中，提供了一种用于自然语言处理的方法。该方法包括：基于第一语言的语料的表示，生成第一语义编码向量；基于与第一语言不同的第二语言的语料的表示，生成第二语义编码向量；通过混合第一语义编码向量和第二语义编码向量，生成混合语义向量；以及基于混合语义向量，生成第二语言的语料的混合表示。
[0006]在本公开的第二方面中，提供了一种用于训练自然语言处理模型的方法。该方法包括：获取样本数据，样本数据包括第一语言的语料的表示以及第二语言的语料的表示；获取针对第一语言的语料和第二语言的语料预先标注的样本标签；以及利用样本数据和样本标签训练自然语言处理模型。
[0007]在本公开的第三方面中，提供了一种用于自然语言处理的装置。该装置包括：第一语义向量模块，被配置为基于第一语言的语料的表示，生成第一语义编码向量；第二语义向量模块，被配置为基于与第一语言不同的第二语言的语料的表示，生成第二语义编码向量；混合语义向量模块，被配置为通过混合第一语义编码向量和第二语义编码向量，生成混合语义向量；以及混合表示模块，被配置为基于混合语义向量，生成第二语言的语料的混合表示。
[0008]在本公开的第四方面中，提供了一种用于训练自然语言处理模型的装置。该装置包括：样本数据模块，被配置为获取样本数据，样本数据包括第一语言的语料的表示以及第二语言的语料的表示；样本标签模块，被配置为获取针对第一语言的语料和第二语言的语料预先标注的样本标签；以及训练模块，被配置为利用样本数据和样本标签训练自然语言处理模型。
[0009]在本公开的第五方面中，提供了一种电子设备。该电子设备包括：存储器和处理
器；其中存储器用于存储一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据第一方面或者第二方面所述的方法。
[0010]在本公开的第六方面中，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据第一方面或者第二方面所述的方法。
[0011]在本公开的第七方面中，提供了一种计算机程序产品。该计算机程序产品包括一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据第一方面或者第二方面所述的方法。
[0012]提供
技术实现思路
部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。
技术实现思路
部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。
附图说明
[0013]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
[0014]图1示出了根据本公开的某些实施例的自然语言处理方法的使用环境的示意图；
[0015]图2示出了根据本公开的某些实施例的自然语言处理方法的流程图；
[0016]图3示出了根据本公开的某些实施例的跨语言的语料的表示的差异的可视化示意图；
[0017]图4示出了根据本公开的某些实施例的训练自然语言处理模型的方法的流程图；
[0018]图5示出了根据本公开的某些实施例的跨语言的语料的表示的转换的准确性的可视化示意图；
[0019]图6示出了根据本公开的某些实施例的自然语言处理装置的框图；
[0020]图7示出了根据本公开的某些实施例的训练自然语言处理模型的装置的框图；以及
[0021]图8示出了其中可以实现本公开的一个或多个实施例的计算系统的框图。
[0022]在所有附图中，相同或相似参考数字表示相同或相似元素。
具体实施方式
[0023]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0024]在本公开中使用的术语“语言”是指语言的种类，诸如英语，汉语，法语等。在本公开中使用的术语“语料”是指呈现语言的形式，诸如以文字呈现的文本，其具有思想内容和含义，能被掌握该语言的使用者理解。语料也可以是某种性质的信息或者数据。信息或数据的类型的示例包括而不限于，语音、视频、文本、图片或者文档，等等。在本公开中使用的术语“表示”是指将语料映射为对应的向量，例如词嵌入向量，以便于计算系统处理。可以使用的将语料映射为表示的技术的示例可以是已知的word2vec技术或one hot技术，也可以使
用其他方法将语料映射为与其相对应的表示，本公开对此不做限制。
[0025]在本文中使用的术语“转换”是指在任意两种类型的信息或数据之间转换。转换的示例包括而不限于，两种语言之间的翻译、语音与文本之间的转换、文本与图片之间的转换，等等。在本公开的上下文中，为讨论描述方便之目的，主要以不同语种之间的翻译过程作为转换过程的示例。通常，转换过程可以借助于相应的转换模型来实现。因此，在下文描述中有时将使用术语“模型”或“层”来指代相应的转换过程。
[0026]在本文中使用的术语“训练”或“学习”是指利用经验或者数据优化系统性能的过程。例如，机器翻译系统可以通过训练或学习过程，逐渐优化翻译性能，例如提高翻译准确性。在本公开的上下文中，为讨论方便之目的，术语“训练”或者“学习”可以互换使用。
[0027]在本文中使用的术语“自然语言处理方法/模型”是指依据与特定语种的句法、语法、词法等等相关联的先验知识建立的方法/模型，可以用于在转换过程中生成转换结果。转换结果可以包括生成目标语言的语料，也可以包括生成目标语言的语料的表示，目标语言的语料的表示可以继续被其他主体使用，继续用于其他任务，诸如分类任务，标注任务等。
[0028]在本文中使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于自然语言处理的方法，包括：基于第一语言的语料的表示，生成第一语义编码向量；基于与第一语言不同的第二语言的语料的表示，生成第二语义编码向量；通过混合所述第一语义编码向量和所述第二语义编码向量，生成混合语义向量；以及基于所述混合语义向量，生成所述第二语言的语料的混合表示。2.根据权利要求1所述的方法，其中生成所述第二语言的混合表示包括：基于所述第一语义编码向量和所述第二语义编码向量的混合比例，混合所述第一语义编码向量和所述第二语义编码向量，其中所述第一语义编码向量和所述第二语义编码向量具有相关联的语义。3.根据权利要求2所述的方法，还包括：基于所述第一语义编码向量和所述第二语义编码向量，确定与所述第一语言的语料和所述第二语言的语料之间的语义重要性相关联的权重；以及基于与所述权重相关联的熵，确定所述混合比例。4.根据权利要求2所述的方法，其中混合所述第一语义编码向量和所述第二语义编码向量包括：对所述第一语言的语料的表示和所述第二语言的语料的表示进行采样；以及混合与经采样的所述第一语言的语料的表示相对应的第一语义编码向量和与经采样的所述第二语言的语料的表示相对应的所述第二语义编码向量。5.根据权利要求4所述的方法，其中所述第二语言的语料包括：从所述第一语言的语料到所述第二语言的语料的翻译语料。6.根据权利要求4或5所述的方法，还包括：将所述第一语言的语料的表示和所述第二语言的语料的表示分批处理；基于与一批处理量的大小的指数相关联的函数，确定概率阈值；以及基于所述概率阈值，调整对所述第一语言的语料的表示和所述第二语言的语料的表示的采样的数目。7.一种用于训练自然语言处理模型的方法，包括：获取样本数据，所述样本数据包括第一语言的语料的表示以及第二语言的语料的表示；获取针对第一语言的语料和第二语言的语料预先标注的样本标签；以及利用所述样本数据和所述样本标签训练所述自然语言处理模型。8.根据权利要求7所述的方法，所述方法还包括：将任务损失函数与一致性损失函数的和确定为目标损失函数，训练所述自然语言处理模型，其中所述任务损失函数与所述第一语言的语料的表示和所述第二语言的语料的表示的交叉熵相关联，所述一致性损失函数与所述第一语言的语料的表示和所述第二语言的语料的表示的均方误差或相对熵相关联。9.根据权利要求7所述的方法，其中所述样本数据还包括：将与预先标注的所述第一语言的语料相对应的表示和与预先标注的所述第二语言的语料相对应的表示进行组合而形成的样本数据，其中所述第二语言的语料包括从所述第一语言的语料到所述第二语言的语料的翻译语料。
10.一种用于自然语言处理的装置，包括：第一语义向量模块，被配置为基于第一语言的语料的表示，生成第一语义编码向量；第二语义向量模块，被配置为基于与第一语言不同的第二语言的语料的表示，生成第二语义编码向量；混合语义向量模块，被配置为通过混合所述第一语义编码向量和所述第二语义编码向量，生成混合语义向量；以及混合表示模块，被配置为基于所述混合语义向量，生成所述第二语言的语料的混合表示。11.根据权利要求10所述的装...

【专利技术属性】
技术研发人员：杨惠云，陈华栋，周浩，李磊，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：