一种基于自然语言大模型的翻译文本质量评估方法及系统技术方案

本发明专利技术公开了一种基于自然语言大模型的翻译文本质量评估方法及系统，涉及自然语言处理技术领域，通过构建民航领域数据集，选择GPT

【技术实现步骤摘要】
一种基于自然语言大模型的翻译文本质量评估方法及系统


[0001]本专利技术涉及自然语言处理
，特别是涉及一种基于自然语言大模型的翻译文本质量评估方法及系统。

技术介绍

[0002]随着民航业的不断发展，民航英语翻译需求日益增长。传统的翻译质量评估方法通常依赖人工评审，耗时且主观性较强。近年来，神经机器翻译（NMT）技术取得了显著进展，为自动翻译质量评估提供了新的可能。然而，现有的自动评估方法往往忽略了领域知识的重要性，难以满足民航英语翻译质量评估的需求。
[0003]以ChatGPT为代表的自然语言大模型，在许多自然语言处理任务中取得了引人注目的成绩，如文本生成、问答系统、机器翻译、人机对话等。然而，目前尚未见到利用自然语言大模型，对翻译文本质量进行自动化评估的方案。而现有技术中，自然语言模型缺乏行业专业背景知识，难以对民航英语等行业专业语言进行翻译与评估，安全属性弱，因此亟需构建一种基于自然语言大模型的民航英语翻译文本质量评估方法，以解决现有技术中，民航英语以及其他专业领域的翻译文本的质量评估专业性能差、准确率低、安全属性弱等问题。

技术实现思路

[0004]本专利技术的目的是提供一种基于自然语言大模型的翻译文本质量评估方法及系统，实现了对民航英语等专业领域的翻译文本进行自动化、客观、高效地评价，提高了翻译质量评估的准确性和可靠性。
[0005]为实现上述目的，本专利技术提供了如下方案：一种基于自然语言大模型的翻译文本质量评估方法，包括：S1、收集数据：收集民航领域内的翻译材料，构建民航领域数据集，所述民航领域数据集包含源语言文本、已翻译文本和人工参考译文；S2、选择模型与指标：选择GPT
‑
4模型为基础模型，定义客观评估指标；S3、Finetune训练GPT
‑
4模型：使用民航领域数据集中的训练集对GPT
‑
4模型进行Finetune训练，得到用于评估的迁移模型；基于民航专业词汇，定义加权的余弦相似性损失函数，用于输出待评价翻译文本的评分，设置Finetune训练的目标为最小化任务相关的损失函数；在Finetune训练过程中，不断调整GPT
‑
4模型的权重，允许其在训练过程中进行更新；S4、评估性能：使用民航领域数据集中的验证集对所述迁移模型的性能进行评估，并根据性能表现对所述迁移模型进行调优；S5、测试与应用：对民航领域数据集中的测试集对调整后的迁移模型进行性能测试，应用测试后的迁移模型对民航英语翻译文本进行质量评价。
[0006]进一步的，所述S1中，收集数据，还包括：步骤1.1：对所述民航领域数据集进行预处理，所述预处理包括文本清洗、分词、去
除停用词；步骤1.2：按一定比例将民航领域数据集划分为训练集、验证集和测试集。
[0007]进一步的，所述S2中，所述定义客观评估指标具体为：步骤2.1：从衡量翻译结果与民航参考译文的n
‑
gram重叠程度，并结合民航安全的影响程度，定义评价指标E1：，其中，SP表示专业惩罚系数，用于评价民航专业关键词汇是否准确；BP表示简短惩罚系数，用于处理翻译结果过短的情况；表示权重；表示n
‑
gram精度，即候选译文中n
‑
gram与参考译文重叠的比例；步骤2.2：基于召回率和准确率的机器翻译评估指标，结合词汇匹配、词序和词义方面的信息以及民航安全的影响程度，定义评价指标E2：，其中，P1：准确率，即候选译文中正确匹配的词数占候选译文总词数的比例；R1：召回率，即候选译文中正确匹配的词数占参考译文总词数的比例；t1和t2均表示平衡系数，用于调整准确率和召回率之间的权重；P2：专业准确率，即候选译文中正确匹配的民航专业词数占候选译文专业总词数的比例；R2：专业召回率，即候选译文中正确匹配的民航专业词数占人工参考译文专业总词数的比例；α∈（0，1）：权重系数；步骤2.3：基于评价指标E1和E2，定义基于民航英语翻译的客观评价指标E为：，其中，是平衡系数，用于调整评估指标E1和评价指标E2之间的权重关系；步骤2.4：选择合适的权重系数α、平衡系数。
[0008]进一步的，所述S3还包括，进行学习率调整：计算梯度的一阶矩的指数加权移动平均：，计算梯度的二阶矩的指数加权移动平均：，对和进行偏差修正：，更新参数：，其中，是指训练步数为t时，对应的梯度的一阶矩的指数加权移动平均；是指训练步数为t时，对应的二阶矩的指数加权移动平均，是在时间步t的梯度，和分别
是一阶矩和二阶矩的衰减因子；表示将取t次方；表示将取t次方；是学习率，控制参数更新的幅度；t表示训练步数；是一个非常小的数，用于防止除以0的情况，是在时间步t的参数值；表示逐元素相乘。
[0009]进一步的，所述S4中，对所述迁移模型的性能进行评估的方法为：根据不同评价需求选择性能指标进行评估，所述性能指标包括准确率Accuracy、F1分数、召回率。
[0010]进一步的，通过准确率Accuracy对所述迁移模型的性能进行评估；准确率Accuracy是分类模型预测正确的样本数与总样本数之比；公式表示为：；其中，TP表示真阳性、TN表示真阴性、FP表示假阳性、FN表示假阴性。
[0011]进一步的，所述S4中，所述根据性能表现对迁移模型进行调优的方法，包括调整超参数、优化算法、调整损失函数。
[0012]进一步的，所述方法还包括：S6、反馈与持续改进，收集用户和专业人士对测试后的迁移模型的评价结果的反馈信息，根据反馈信息调整评价指标、模型参数和训练方法，定期更新民航领域数据集。
[0013]本专利技术还提供了一种基于自然语言大模型的翻译文本质量评估系统，包括：收集模块，用于收集民航领域内的翻译材料，构建民航领域数据集，所述民航领域数据集包含源语言文本、已翻译文本和人工参考译文；基础模型构建模块，用于选择GPT
‑
4模型为基础模型，定义评估指标；并基于民航专业词汇，定义加权的余弦相似性损失函数；Finetune训练模块，用于使用民航领域数据集对GPT
‑
4模型进行Finetune训练，得到用于评估的迁移模型；在Finetune训练过程中，不断调整GPT
‑
4模型的权重，允许其在训练过程中进行更新；评价模块：用于输入源语言文本和已翻译文本，输出待评价翻译文本的各项评分；性能评估模块，用于使用民航领域数据集中的验证集对评价模块的性能进行评估，并根据性能表现对所述迁移模型进行调优；测试与应用模块，用于对民航领域数据集中的测试集进行性能测试，应用测试后的迁移模型对民航英语翻译文本进行质量评价。
[0014]进一步的，所述系统还包括：反馈与持续改进模块，用于收集用户和专业人士对测试后的迁移模型的评价结果的反馈信息，根据反馈信息调整评价指标、模型参数和训练方法，定期更新民航领域数据集。
[0015]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术提供的基于自然语言大模型的翻译文本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自然语言大模型的翻译文本质量评估方法，其特征在于，包括：S1、收集数据：收集民航领域内的翻译材料，构建民航领域数据集，所述民航领域数据集包含源语言文本、已翻译文本和人工参考译文；S2、选择模型与指标：选择GPT
‑
4模型为基础模型，定义客观评估指标；S3、Finetune训练GPT
‑
4模型：使用民航领域数据集中的训练集对GPT
‑
4模型进行Finetune训练，得到用于评估的迁移模型；基于民航专业词汇，定义加权的余弦相似性损失函数，用于输出待评价翻译文本的评分，设置Finetune训练的目标为最小化任务相关的损失函数；在Finetune训练过程中，不断调整GPT
‑
4模型的权重，允许其在训练过程中进行更新；S4、评估性能：使用民航领域数据集中的验证集对所述迁移模型的性能进行评估，并根据性能表现对所述迁移模型进行调优；S5、测试与应用：对民航领域数据集中的测试集对调优后的迁移模型进行性能测试，应用测试后的迁移模型对民航英语翻译文本进行质量评价。2.根据权利要求1所述的基于自然语言大模型的翻译文本质量评估方法，其特征在于，所述S1中，收集数据，还包括：步骤1.1：对所述民航领域数据集进行预处理，所述预处理包括文本清洗、分词、去除停用词；步骤1.2：按一定比例将民航领域数据集划分为训练集、验证集和测试集。3.根据权利要求1所述的基于自然语言大模型的翻译文本质量评估方法，其特征在于，所述S2中，所述定义客观评估指标具体为：步骤2.1：从衡量翻译结果与民航参考译文的n
‑
gram重叠程度，并结合民航安全的影响程度，定义评价指标E1：，中，SP表示专业惩罚系数，用于评价民航专业关键词汇是否准确；BP表示简短惩罚系数，用于处理翻译结果过短的情况；表示权重；表示n
‑
gram精度，即候选译文中n
‑
gram与参考译文重叠的比例；步骤2.2：基于召回率和准确率的机器翻译评估指标，结合词汇匹配、词序和词义方面的信息以及民航安全的影响程度，定义评价指标E2：，其中，P1：准确率，即候选译文中正确匹配的词数占候选译文总词数的比例；R1：召回率，即候选译文中正确匹配的词数占参考译文总词数的比例；t1和t2均表示平衡系数，用于调整准确率和召回率之间的权重；P2：专业准确率，即候选译文中正确匹配的民航专业词数占候选译文专业总词数的比例；R2：专业召回率，即候选译文中正确匹配的民航专业词数占人工参考译文专业总词数的比例；α∈（0，1）：权重系数；步骤2.3：基于评价指标E1和E2，定义基于民航英语翻译的客观评价指标E为：，
其中，是平衡系数，用于调整评估指标E1和评价指标E2之间的权重关系；步骤2.4：选择合适的权重系数α、平衡系数。4.根据权利要求1所述的基于自然语言大模型的翻译文本质量评估方法，其特征在于，所述S3...

【专利技术属性】
技术研发人员：王艾，林孟阳，阮自辉，
申请(专利权)人：中国民用航空飞行学院，
类型：发明
国别省市：