语言模型的训练方法及应用方法技术

本申请实施例提供一种语言模型的训练方法及应用方法，训练方法包括：获取第一语料库、第二语料库和词块训练结果；对第一语料库和第二语料库中的词块进行词频排序匹配；根据匹配结果，将词块训练结果映射至第一语料库；在预训练模型中，对第一语料库中词块采用经映射的词块训练结果进行初始化；将第一语料库输入预训练模型后进行具体任务训练，生成语言模型；其中，预训练模型为BERT模型，词块训练结果为第二语料库经BERT模型训练后的词块向量。在该训练方法中，第一语料库借用第二预料库已经训练好的词块训练结果，对BERT模型进行初始化，使第一语料库无需依赖大量数据集，即可获得较好的训练效果，使其能够更容易地形成语言模型。

【技术实现步骤摘要】
语言模型的训练方法及应用方法
本申请实施例涉及自然语言处理领域
，尤其涉及一种语言模型的训练方法及应用方法。
技术介绍
在计算机自然语言处理(NaturalLanguageProcessing，缩写NLP)领域，语言模型的训练需要依赖极大量的语料数据，局限性较大。
技术实现思路
有鉴于此，本申请实施例的目的在于提出一种语言模型的训练方法及应用方法。第一方面，本申请实施例提供了一种语言模型的训练方法，包括：获取第一语料库、第二语料库和词块训练结果；对所述第一语料库和所述第二语料库中的词块进行词频排序匹配；根据匹配结果，将所述词块训练结果映射至所述第一语料库；在预训练模型中，对所述第一语料库中词块采用经映射的所述词块训练结果进行初始化；将所述第一语料库输入所述预训练模型后进行具体任务训练，生成语言模型；其中，所述预训练模型为BERT模型，所述词块训练结果为所述第二语料库经BERT模型训练后的词块向量。在本申请实施例提供的语言模型的训练方法中，第一语料库借用第二本文档来自技高网...

【技术保护点】
1.一种语言模型的训练方法，其特征在于，包括：/n获取第一语料库、第二语料库和词块训练结果；/n对所述第一语料库和所述第二语料库中的词块进行词频排序匹配；/n根据匹配结果，将所述词块训练结果映射至所述第一语料库；/n在预训练模型中，对所述第一语料库中词块采用经映射的所述词块训练结果进行初始化；/n将所述第一语料库输入所述预训练模型后进行具体任务训练，生成语言模型；/n其中，所述预训练模型为BERT模型，所述词块训练结果为所述第二语料库经BERT模型训练后的词块向量。/n

【技术特征摘要】
1.一种语言模型的训练方法，其特征在于，包括：
获取第一语料库、第二语料库和词块训练结果；
对所述第一语料库和所述第二语料库中的词块进行词频排序匹配；
根据匹配结果，将所述词块训练结果映射至所述第一语料库；
在预训练模型中，对所述第一语料库中词块采用经映射的所述词块训练结果进行初始化；
将所述第一语料库输入所述预训练模型后进行具体任务训练，生成语言模型；
其中，所述预训练模型为BERT模型，所述词块训练结果为所述第二语料库经BERT模型训练后的词块向量。


2.根据权利要求1所述的训练方法，其特征在于，所述对所述第一语料库和所述第二语料库中的词块进行词频排序匹配，包括：
对所述第一语料库中的第一词块和所述第二语料库中的第二词块进行词频统计；
依据词频统计结果，对所述第一词块和所述第二词块进行正向排序；
对排序相同的所述第一词块和所述第二词块，建立匹配关系。


3.根据权利要求2所述的训练方法，其特征在于，所述根据匹配结果，将所述词块训练结果映射至所述第一语料库，包括：
基于所述词块训练结果获取所述第二词块的词块向量；
根据匹配结果，建立所述第一词块与所述词块向量的映射关系。


4.根据权利要求1或2或3所述的训练方法，其特征在于，所述第一语料库文本数据集小于所述第二语料库的文本数据集。


5.根据权利要求1所述的训练方法，其特征在于，所述将所述第一语料库输入所述预训练模型后进行具体任务训练，包括：
将所述第一语料库输入所述预训练模型；
获取所述第一语料库经所述预训练模型后的输出结果；
抽取所述输出结果中与所述具体任务对应的特征向量，将所述特征向量输入至全连接层。


6.根据权利要求5所述的训练方法，其特征在于，所述将所述第一语料库输入所述预训练模型，包括：
对所述第一语料库进行数据增强；
将数据增强后的所述第一语料库输入所述第二模型；
其中，数据增强方法包括乱序、延长、截断和MASK中的至少一种。


7.根据权利要求1所述的训练方法，其特征在于，
所述语言模型的损失函数为：
Loss＝L1+L2；
其中，L1为BERT模型无监督训练任务的损失函数；L2为针对分类任务的损失函数。


8.一种语言模型的应用方法，其特征...

【专利技术属性】
技术研发人员：冀潮，
申请(专利权)人：北京京东方技术开发有限公司，京东方科技集团股份有限公司，
类型：发明
国别省市：北京;11