输入法长句预测模型的训练方法、装置、电子设备及介质制造方法及图纸

本申请公开了输入法长句预测模型的训练方法、装置、电子设备及介质，涉及计算机技术领域，具体涉及自然语言处理、深度学习等人工智能技术领域。具体实现方案：获取多个第一样本文本；根据预训练的教师模型对所述第一样本文本进行增强处理，得到多个第二样本文本；根据所述教师模型生成初始化的学生模型；根据所述多个第一样本文本和所述多个第二样本文本训练所述初始化的学生模型，以得到输入法长句预测模型，能够使得输入法长句预测模型具有较好的长句预测能力，提升输入法长句预测模型的预测效率，提升模型预测效果。

【技术实现步骤摘要】
输入法长句预测模型的训练方法、装置、电子设备及介质
本申请涉及计算机
，具体涉及自然语言处理、深度学习等人工智能
，尤其涉及输入法长句预测模型的训练方法、装置、电子设备及介质。
技术介绍
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习、深度学习、大数据处理技术、知识图谱技术等几大方向。长序预测又称为长句预测，是输入法预测功能的一个扩展，相关技术中的输入法主要是预测下一个字、词、短语等较短的文本，而长序预测是希望能够预测用户输入的一整句话或者下一句话。
技术实现思路
提供了一种输入法长句预测模型的训练方法、装置、电子设备、存储介质及计算机程序产品。根据第一方面，提供了一种输入法长句预测模型的训练方法，包括：获取多个第一样本文本；根据预训练的教师模型本文档来自技高网...

【技术保护点】
1.一种输入法长句预测模型的训练方法，包括：/n获取多个第一样本文本；/n根据预训练的教师模型对所述第一样本文本进行增强处理，得到多个第二样本文本；/n根据所述教师模型生成初始化的学生模型；/n根据所述多个第一样本文本和所述多个第二样本文本训练所述初始化的学生模型，以得到输入法长句预测模型。/n

【技术特征摘要】
1.一种输入法长句预测模型的训练方法，包括：
获取多个第一样本文本；
根据预训练的教师模型对所述第一样本文本进行增强处理，得到多个第二样本文本；
根据所述教师模型生成初始化的学生模型；
根据所述多个第一样本文本和所述多个第二样本文本训练所述初始化的学生模型，以得到输入法长句预测模型。


2.根据权利要求1所述的方法，其中，所述根据预训练的教师模型对所述第一样本文本进行增强处理，得到多个第二样本文本，包括：
对所述第一样本文本进行文本分段，得到顺序排列的多个文本段；
将所述多个文本段输入至预训练的教师模型之中，以得到所述教师模型输出的所述多个第二样本文本。


3.根据权利要求2所述的方法，其中，所述将所述多个文本段输入至预训练的教师模型之中，以得到所述教师模型输出的所述多个第二样本文本，包括：
将至少部分所述文本段依据排列顺序进行组合，得到至少一个文本段组合，所述文本段组合之中包括一个或者多个所述文本段；
将所述文本段组合之中的文本段输入至所述教师模型之中，以得到所述教师模型输出的所述多个第二样本文本。


4.根据权利要求2所述的方法，其中，所述将所述多个文本段输入至预训练的教师模型之中，以得到所述教师模型输出的所述多个第二样本文本，包括：
对所述第一样本文本进行文本分段，得到顺序排列的多个文本段；
将第一文本段输入预训练的第一教师模型之中，得到所述第一教师模型输出的第一目标文本，所述第一文本段是排序在前的部分所述文本段；
将第二文本段输入预训练的第二教师模型之中，得到所述第二教师模型输出的第二目标文本，所述第二文本段是排序在后的部分所述文本段；
将所述第一目标文本和所述第二目标文本作为所述第二样本文本。


5.根据权利要求1所述的方法，其中，所述根据所述多个第一样本文本和所述多个第二样本文本训练所述初始化的学生模型，以得到输入法长句预测模型，包括：
将所述多个第一样本文本和所述多个第二样本文本输入至所述初始化的学生模型之中，以得到所述学生模型输出的损失值；
如果所述损失值满足损失值阈值，则将训练得到的学生模型作为所述输入法长句预测模型。


6.一种输入法长句预测模型的训练装置，包括：
获取模块，用于获取多个第一样本文本；
处理模块，用于根据预训练的教师模型对所述第一样本文本进行增强处理，得到多个第二...

【专利技术属性】
技术研发人员：龚建，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11