【技术实现步骤摘要】
一种训练语言模型的方法及系统
本专利技术涉及语言处理
，特别涉及一种训练语言模型的方法及系统。
技术介绍
目前，语言模型的训练方法主要包括以下几个过程(如附图3)：数据处理、参数调节、模型训练、测试分析、模型发布，即语言模型的训练方法通过获取语言数据，生成语言模型，并对语言模型进行测试，获取测试结果；工作人员根据测试结果，进行人工分析性能，进一步调节语言模型的参数，从而实现对语言模型的训练；该方法存在以下问题：1、模型的性能分析和参数调节需要花费人员大量的时间精力；2、调整参数的过程很大依赖调参者的经验，导致训练周期无法具体估计。
技术实现思路
本专利技术提供一种训练语言模型的方法及系统，用以解决上述技术问题。本专利技术实施例中提供了一种训练语言模型的方法，包括以下步骤：对目标语言模型进行若干次测试，获取若干次测试结果；对获取的所述若干次测试结果进行分析，获取所述目标语言模型的性能分析结果和所述目标语言模型的参数调节信息；根据所述性能分析结果和所述参数...
【技术保护点】
1.一种训练语言模型的方法，其特征在于，包括以下步骤：/n对目标语言模型进行若干次测试，获取若干次测试结果；/n对获取的所述若干次测试结果进行分析，获取所述目标语言模型的性能分析结果和所述目标语言模型的参数调节信息；/n根据所述性能分析结果和所述参数调节信息对所述目标语言模型进行训练。/n
【技术特征摘要】
1.一种训练语言模型的方法，其特征在于，包括以下步骤：
对目标语言模型进行若干次测试，获取若干次测试结果；
对获取的所述若干次测试结果进行分析，获取所述目标语言模型的性能分析结果和所述目标语言模型的参数调节信息；
根据所述性能分析结果和所述参数调节信息对所述目标语言模型进行训练。
2.根据权利要求1所述的训练语言模型的方法，其特征在于，所述对目标语言模型进行若干次测试前，还包括：获取预设语言数据；根据所述预设语言数据生成目标语言模型；
所述根据所述预设语言数据生成目标语言模型；包括：
获取若干领域的语言数据库，其中，所述若干领域的语言数据库包括所述预设语言数据；
将所述预设语言数据进行划分处理，生成所述预设语言数据的多个元素；
将所述预设语言数据的多个元素与所述若干领域的语言数据库中的语言数据进行比对，获取所述若干领域的语言数据库中与所述预设语言数据的多个元素相似度最高的语言数据对应的语言数据库；
获取所述预设语言数据的多个元素的关联信息；
获取预设语言模型；
根据获取的相似度最高的语言数据对应的语言数据库和所述预设语言数据的多个元素的关联信息基于所述预设语言模型，生成所述目标语言模型。
3.根据权利要求2所述的训练语言模型的方法，其特征在于，
所述预设语言数据的多个元素，包括字、词以及句中的一种或多种；
所述预设语言数据的多个元素的关联信息，包括字与字、字与词、字与句、词与词、词与句以及句与句中的一种或多种。
4.根据权利要求1所述的训练语言模型的方法，其特征在于，所述：对目标语言模型进行若干次测试，获取若干次测试结果；包括：
获取所述目标语言模型；
将多个不同的预设测试样本向所述目标语言模型传输，所述目标语言模型根据多个不同的所述预设测试样本生成多个不同的所述预设测试样本对应的多个输出结果；
将所述目标语言模型根据多个不同的所述预设测试样本生成的多个输出结果与多个不同的所述预设测试样本对应的标准结果进行比对，获取所述多个输出结果与多个不同的所述预设测试样本对应的标准结果之间的多个误差信息，并将所述多个误差信息作为所述若干次测试结果。
5.根据权利要求4所述的训练语言模型的方法，其特征在于，所述：对获取的所述若干次测试结果进行分析，获取所述目标语言模型的性能分析结果和所述目标语言模型的参数调节信息；包括：
获取多个所述预设测试样本和多个所述预设测试样本对应的测试结果；
对多个所述预设测试样本的长度、语义和语言种类进行分析，获取多个所述预设测试样本对应的多个复杂度信息；
根据多个所述预设测试样本的多个复杂度信息和多个所述预设测试样本对应的多个测试结果进行加权分析，获取所述目标语言模型的性能分析结果。
6....
【专利技术属性】
技术研发人员：沈华东，
申请(专利权)人：云知声智能科技股份有限公司，厦门云知芯智能科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。