用于训练模型的方法及装置、电子设备、存储介质制造方法及图纸

本申请涉及知识问答技术领域，公开一种用于训练模型的方法，包括：获取训练样本集；训练样本集中包括不同领域的样本句子对和样本句子对对应的样本标签；样本标签用于表征句子对之间的相似等级；将带有样本标签的样本句子对输入预设的预训练模型中对适配器模块的参数进行更新，获得目标模型；预训练模型包括适配器模块，适配器模块用于进行领域知识迁移。这样，通过在预训练模型的基础上加上适配器模块，在对预训练模型训练时冻住预训练模型的其他参数，只更新适配器模块的参数，这样能够缩减需训练的参数量，从而能够快速训练出目标模型，在利用该目标模型获取问句答案时效率更高。本申请还公开一种用于训练模型的装置及电子设备、存储介质。存储介质。存储介质。

Method and device for training model, electronic equipment, storage medium

【技术实现步骤摘要】
用于训练模型的方法及装置、电子设备、存储介质


[0001]本申请涉及知识问答
，例如涉及一种用于训练模型的方法及装置、电子设备、存储介质。

技术介绍

[0002]基于问答对的问答系统已经在业界有了较为成熟的应用，例如独立作为客服辅助机器人，自动问答机器人，或者搭配辅助其它类型的问答系统，包括任务型问答和知识图谱问答。但是目前问答对问答的应用推广严重受限于多领域和多租户业务场景。不同领域，不同租户，租户的不同产品线，甚至不同的使用渠道，问答系统的知识库都是相互独立的。
[0003]在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：
[0004]相关技术中在训练问答模型时通常是为每一个领域单独训练一个模型，需要大量的领域语料、模型训练硬件资源和人力成本，从而导致获取问句答案的效率较低。

技术实现思路

[0005]为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练模型的方法，其特征在于，包括：获取训练样本集；所述训练样本集中包括不同领域的样本句子对和所述样本句子对对应的样本标签；所述样本标签用于表征所述句子对之间的相似等级；将带有所述样本标签的样本句子对输入预设的预训练模型中对适配器模块的参数进行更新，获得目标模型；所述预训练模型包括所述适配器模块，所述适配器模块用于进行领域知识迁移。2.根据权利要求1所述的方法，其特征在于，将带有所述样本标签的样本句子对输入预设的预训练模型中对适配器模块的参数进行更新，获得目标模型，包括：获取所述样本句子对应的相似等级预测值；获取所述样本标签与所述相似等级预测值之间的损失值；根据所述损失值对所述适配器模块的参数进行更新；将更新参数后的预训练模型确定为目标模型。3.根据权利要求2所述的方法，其特征在于，获取所述样本标签与所述相似等级预测值之间的损失值，包括：根据预设的损失函数利用所述样本标签与所述相似等级预测值进行计算，获得所述损失值。4.根据权利要求1所述的方法，其特征在于，所述预训练模型包括输入模块、第一预设个数编码器模块和输出模块，所述编码器模块中设置有第二预设个数适配器模块；所述输入模块用于获取样本句子对中各字词分别对应的第一特征向量，所述编码器模块用于获取各所述第一特征向量分别对应的语义编码向量；所述输出模块用于根据所述语义编码向量获取所述样本句子对对应的第二特征向量；所述适配器模块用于进行领域知识迁移。5.一种用于训练模型的装置，其特征在于，包括：获取模块，被配置为获取训练样本集；所述训练样本集中包括不同领域的样本句子对和所述样本句子对对应的样本标签；所述样本标签用于表征所述句子对之...

【专利技术属性】
技术研发人员：曹戴，赵亮，李华飞，李岩，
申请(专利权)人：北京明略昭辉科技有限公司，
类型：发明
国别省市：