词对齐模型的训练方法技术

本申请提供一种词对齐模型的训练方法

【技术实现步骤摘要】
词对齐模型的训练方法、装置、电子设备和可读介质


[0001]本申请涉及计算机
，尤其涉及一种词对齐模型的训练方法
、
装置
、
电子设备和可读介质
。

技术介绍

[0002]词对齐指的是在给定互为译文的双语文本中，在其组成词语间按照翻译关系建立对应关系
。
这对充分发掘语料库的有着重要作用，是机器翻译中的重要技术
。
[0003]在相关技术中，通常要根据要对齐的语种类别来训练机器学习模型以执行对应的词对齐任务
。
[0004]然而，此类方案中，训练得到的机器学习模型通常只能单一任务，每一个模型只能用于处理一个语言对单一方向的对齐任务，对于多语种和多方向任务则需要多个模型来进行处理，训练资源分散到各个模型中，训练效率较差
。

技术实现思路

[0005]基于上述技术问题，本申请提供一种词对齐模型的训练方法
、
装置
、
电子设备和可读介质，以减少训练时间和计算资源消耗，提高训练效率
。
[0006]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得
。
[0007]根据本申请实施例的一个方面，提供一种词对齐模型的训练方法，包括：
[0008]对于多个目标语种中每个目标语种，获取训练词对齐数据集，所述训练词对齐数据集中包含所述每个目标语种的训练词
、
所述多个目标语种中其他目标语种的目标词以及所述训练词和所述目标词之间的对齐结果；
[0009]根据大语言模型中词对齐任务的数据输入格式，构建词对齐任务指令；将所述训练词对齐数据集中所述每个目标语种的训练词
、
所述其他目标语种的目标词和所述词对齐任务指令，输入到所述大语言模型中进行词对齐，得到训练结果；
[0010]根据所述训练词对齐数据集中的所述对齐结果与所述训练结果的比对结果，对所述大语言模型进行模型调整，得到词对齐模型
。
[0011]根据本申请实施例的一个方面，提供一种词对齐模型的训练装置，包括：
[0012]数据集获取模块，配置成对于多个目标语种中每个目标语种，获取训练词对齐数据集，所述训练词对齐数据集中包含所述每个目标语种的训练词
、
所述多个目标语种中其他目标语种的目标词以及所述训练词和所述目标词之间的对齐结果；
[0013]指令构建模块，配置成根据大语言模型中词对齐任务的数据输入格式，构建词对齐任务指令；
[0014]训练模块，配置成将所述训练词对齐数据集中所述每个目标语种的训练词
、
所述其他目标语种的目标词和所述词对齐任务指令，输入到所述大语言模型中进行词对齐，得到训练结果；
[0015]模型调整模块，配置成根据所述训练词对齐数据集中的所述对齐结果与所述训练结果的比对结果，对所述大语言模型进行模型调整，得到词对齐模型
。
[0016]在本申请的一些实施例中，基于以上的技术方案，数据集获取模块具体配置成对于多个目标语种中每个目标语种，获取将所述每个目标语种对齐到所述多个目标语种中其他目标语种的第一对齐模型以及将所述其他目标语种对齐到所述每个目标语种的第二对齐模型；将待处理数据输入到所述第一对齐模型中，生成第一对齐结果，所述待处理数据包含所述每个目标语种的训练词和所述其他目标语种的目标词，所述第一对齐结果中包含将每个目标语种的训练词对齐到所述其他目标语种的目标词的对齐结果；将所述待处理数据输入到所述第二对齐模型中，生成第二对齐结果，所述第二对齐结果中包含将所述其他目标语种的目标词对齐到所述每个目标语种的训练词的对齐结果；将所述待处理数据
、
所述第一对齐结果和所述第二对齐结果作为训练词对齐数据集
。
[0017]在本申请的一些实施例中，基于以上的技术方案，指令构建模块具体配置成：获取所述数据输入格式对应的候选指令以及所述数据输入格式中的词对齐格式；根据所述候选指令和所述多个目标语种中每两个目标语种的语种标识，生成输入指令；若所述词对齐格式词格式，则将所述输入指令确定为词对齐任务指令
。
[0018]在本申请的一些实施例中，基于以上的技术方案，指令构建模块还配置成：若所述词对齐格式为索引格式，则获取所述索引格式对应的索引描述信息，所述索引描述信息中包含所述对齐结果中所述训练词和所述目标词的索引策略；将所述索引描述信息和所述输入指令组合得到词对齐任务指令
。
[0019]在本申请的一些实施例中，基于以上的技术方案，指令构建模块具体配置成：获取所述每个目标语种的第一语种标识和所述其他目标语种的第二语种标识；将所述第一语种标识和所述第二语种标识嵌入所述词对齐任务指令中对应的参数位置，生成输入指令
。
[0020]在本申请的一些实施例中，基于以上的技术方案，训练模块具体配置成：根据预设的数据分批参数，将所述训练词对齐数据集划分为
N
个训练批次数据，所述
N
为大于或等于1的整数；将所述词对齐任务指令和所述
N
个训练批次数据分别发送到
N
个所述大语言模型中分别进行词对齐，得到
N
个批次训练结果
。
[0021]在本申请的一些实施例中，基于以上的技术方案，训练模块具体配置成：将所述大语言模型的优化器状态信息划分为
N
个状态信息分片，并分别发送给
N
个所述大语言模型，其中，
N
个所述大语言模型与所述
N
个状态信息分片分别一一对应；对于每个大语言模型，根据接收到的所述训练批次数据和所生成的批次训练结果，确定梯度更新信息；根据
N
个所述大语言模型确定的
N
个梯度更新信息，确定模型梯度信息；根据所述模型梯度信息和
N
个状态信息分片分别进行模型调整，得到
N
个模型更新参数；根据所述
N
个模型更新参数对大语言模型进行模型调整，得到词对齐模型
。
[0022]在本申请的一些实施例中，基于以上的技术方案，模型调整模块具体配置成：将所述大语言模型的优化器状态信息和梯度信息分别划分为
N
个状态信息分片和
N
个梯度分片，并分别发送给
N
个所述大语言模型，其中，
N
个所述大语言模型与所述
N
个状态信息分片和所述
N
个梯度分片分别一一对应；对于每个大语言模型，根据所接收到的梯度分片
、
接收到的所述训练批次数据和所生成的批次训练结果，确定所接收到的梯度分片对应的梯度分片更新信息；对于每个大语言模型，根据接收到的状态信息分片和所述梯度分片更新信息对所
述状态信息分片对应的模型参数进行更新，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种词对齐模型的训练方法，其特征在于，包括：对于多个目标语种中每个目标语种，获取训练词对齐数据集，所述训练词对齐数据集中包含所述每个目标语种的训练词
、
所述多个目标语种中其他目标语种的目标词以及所述训练词和所述目标词之间的对齐结果；根据大语言模型中词对齐任务的数据输入格式，构建词对齐任务指令；将所述训练词对齐数据集中所述每个目标语种的训练词
、
所述其他目标语种的目标词和所述词对齐任务指令，输入到所述大语言模型中进行词对齐，得到训练结果；根据所述训练词对齐数据集中的所述对齐结果与所述训练结果的比对结果，对所述大语言模型进行模型调整，得到词对齐模型
。2.
根据权利要求1所述的训练方法，其特征在于，所述对于多个目标语种中每个目标语种，获取训练词对齐数据集，包括：对于多个目标语种中每个目标语种，获取将所述每个目标语种对齐到所述多个目标语种中其他目标语种的第一对齐模型以及将所述其他目标语种对齐到所述每个目标语种的第二对齐模型；将待处理数据输入到所述第一对齐模型中，生成第一对齐结果，所述待处理数据包含所述每个目标语种的训练词和所述其他目标语种的目标词，所述第一对齐结果中包含将每个目标语种的训练词对齐到所述其他目标语种的目标词的对齐结果；将所述待处理数据输入到所述第二对齐模型中，生成第二对齐结果，所述第二对齐结果中包含将所述其他目标语种的目标词对齐到所述每个目标语种的训练词的对齐结果；将所述待处理数据
、
所述第一对齐结果和所述第二对齐结果作为训练词对齐数据集
。3.
根据权利要求1所述的训练方法，其特征在于，所述根据大语言模型中词对齐任务的数据输入格式，构建词对齐任务指令，包括：获取所述数据输入格式对应的候选指令以及所述数据输入格式中的词对齐格式；根据所述候选指令和所述多个目标语种中每两个目标语种的语种标识，生成输入指令；若所述词对齐格式词格式，则将所述输入指令确定为词对齐任务指令
。4.
根据权利要求3所述的训练方法，其特征在于，所述方法还包括：若所述词对齐格式为索引格式，则获取所述索引格式对应的索引描述信息，所述索引描述信息中包含所述对齐结果中所述训练词和所述目标词的索引策略；将所述索引描述信息和所述输入指令组合得到词对齐任务指令
。5.
根据权利要求3所述的训练方法，其特征在于，所述根据所述候选指令和所述多个目标语种中每两个目标语种的语种标识，生成输入指令，包括：获取所述每个目标语种的第一语种标识和所述其他目标语种的第二语种标识；将所述第一语种标识和所述第二语种标识嵌入所述词对齐任务指令中对应的参数位置，生成输入指令
。6.
根据权利要求1所述的训练方法，其特征在于，所述将所述训练词对齐数据集中所述每个目标语种的训练词
、
所述其他目标语种的目标词和所述词对齐任务指令，输入到所述大语言模型中进行词对齐，得到训练结果，包括：根据预设的数据分批参数，将所述训练词对齐数据集划分为
N
个训练批次数据，所述
N
为大于或等于1的整数；将所述词对齐任务指令和所述
N
个训练批次数据分别发送到
N
个所述大语言模型中分别进行词对齐，得到
N
个批次训练结果
。7.
根据权利要求6所述的训练方法，其特征在于，根据所述训练词对齐数据集中的所述对齐结果与所述训练结果的比对结果，对所述大语言模型进行模型调整，得到词对齐模型，包括：将所述大语言模型的优化器状态信息划分为
N
个状态信息分片，并分别发送给
N
个所述大语言模型，其中，
N
个所述大语言模型与所述
N
个状态信息分片分别一一对应；对于每个大语言模型，根据接收到的所述训练批次数据和所生成的批次训练结果，确定梯度更新信息；根据
N
个所述大语言模型确定的
N
个梯度更新信息，确定模型梯度信息；根据所述模型梯度信息和
N
个状态信息分片分别进行模型调整，得到
N
个模型更新参数；根据所述
N
个模型更新参数对大语言模型进行模型调整，得到词对齐模型
。8.
根据权利要求6所述的训练方法，其特征在于，所述根据所述训练词对齐数据集中的所述对齐结果与所述训练结果的比对结果，对所述大语言模型进行模型调整，得到词对齐模型，包括：将所述大语言模型的优化器状态信息和梯度信息分别划分为
N
个状态信息分片和
N
个梯度分片，并分别发送给
N
个所述大语言模型，其中，
N
个所述大语言模型与所述
N
个状态信息分片和所述
N

【专利技术属性】
技术研发人员：杨明明，焦文祥，高乙平，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：