模型自适应重训方法、装置、电子设备和存储介质制造方法及图纸

本申请公开了模型自适应重训方法、装置、电子设备以及存储介质，涉及人工智能、知识图谱和大数据技术领域。具体实现方案为：获取用户标注样本；将用户标注样本与原有样本进行合并；在合并后的样本满足样本训练条件的情况下，采用合并后的样本对基础模型进行重训，得到增量模型；其中，基础模型为采用原有样本训练得到的问答模型。本申请实施例提出的模型重训方法能够达到较好的效果，且能够降低开发成本和时间成本。

【技术实现步骤摘要】
模型自适应重训方法、装置、电子设备和存储介质
本申请涉及人工智能领域，尤其涉及知识图谱和大数据
具体地，本申请提供一种模型自适应重训方法、装置、电子设备和存储介质。
技术介绍
知识图谱的应用使得人工智能得到更好的发展，使人们通过搜索能够找到最想要的信息。知识图谱本质上是语义网络，是一种基于图的数据结构，描述的是真实世界汇总存在的实体以及实体之间的关系。领域问答的基础在于领域知识图谱。领域问答模型(QA)采用大量的问答语料进行训练，给定问答对及对应的标签，采用问答对及对应的标签对问答模型进行训练。对于模型调优方案，通常是使用领域数据对模型进行微调，并需要进行阈值调优，以达到更好效果。这类型的方案需要较高开发成本；针对不同场景，数据微调策略也有所不同，不可轻易扩展到更多场景中，得到领域模型的耗时也相对较高。
技术实现思路
本申请提供了一种模型自适应重训方法、装置、电子设备以及存储介质。根据本申请的一方面，提供了一种模型自适应重训方法，包括：获取用户标注样本；将所述用户标注样本与原有样本进行合并；在合并后的样本满足样本训练条件的情况下，采用所述合并后的样本对基础模型进行重训，得到增量模型；其中，所述基础模型为采用所述原有样本训练得到的问答模型。根据本申请的另一方面，提供了一种模型自适应重训装置，包括：获取模块，用于获取用户标注样本；合并模块，用于将所述用户标注样本与原有样本进行合并；重训模块，用于在合并后的样本满足样本训练条件的情况下，采用所述合并后的样本对基础模型进行重训，得到增量模型；其中，所述基础模型为采用所述原有样本训练得到的问答模型。根据本申请的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的方法。根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述任一项所述的方法。根据本申请实施例，在用户对问答系统给出的答案进行标注以后，自动获取用户标注样本，将用户标注样本与原有样本合并，并采用合并后的样本对基础模型进行重训；整个重训过程是自动化完成的，不需要人工干预。本申请实施例提出的模型重训方法能够达到较好的效果，且能够降低开发成本和时间成本。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请实施例的一种模型自适应重训方法实现流程图；图2是本申请实施例的一种模型自适应重训方法中，步骤S101的实现流程图；图3是本申请实施例的另一种模型自适应重训方法实现流程图；图4是本申请实施例的模型自适应重训、以及重训后进行智能问答的实现流程示意图；图5是本申请实施例的一种模型自适应重训装置结构示意图；图6是本申请实施例的另一种模型自适应重训装置结构示意图；图7是用来实现本申请实施例的模型自适应重训方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。本申请实施例提出一种模型自适应重训方法，图1是本申请实施例的一种模型自适应重训方法实现流程图，包括：步骤S101：获取用户标注样本；步骤S102：将用户标注样本与原有样本进行合并；步骤S103：在合并后的样本满足样本训练条件的情况下，采用合并后的样本对基础模型进行重训，得到增量模型；其中，基础模型为采用原有样本训练得到的问答模型。本申请实施例构建了一套自动化模型重训的流程，可以自动根据原有样本及用户标注出的用户标注样本重训出增量领域个性化模型(简称增量模型或个性化模型)。可选地，当智能问答系统采用基础模型为用户的问题给出答案之后，用户可以对答案给出标注，如标注错误标签(badcase)。例如，针对用户提出的问题，如果用户认为智能问答系统给出的某个答案是错误答案，则将该错误答案标记为负样本；如果用户针对问答系统给出的某个候选答案为正确答案，则将该正确答案标记为正样本。图2是本申请实施例的一种模型自适应重训方法中，步骤S101的实现流程图。如图2所示，在一些实施方式中，步骤S101包括：步骤S201：获取用户对基础模型提供的问答结果的标注信息；步骤S202：根据标注信息获取用户标注样本，其中，用户标注样本包括包含正确答案的正样本和/或包含错误答案的负样本。具体地，上述步骤S201中的问答结果可以是由智能问答系统利用基础模型给出的问答结果。用户标注了badcase后，自动进入样本检测流程，以保证重训后增量模型的效果。可选地，用户标注样本与原有样本进行合并，检测合并后的样本是否满足样本训练条件，如果满足，则继续执行上述步骤S103；如果不满足，则暂不进行模型重训。可选地，上述原有样本包括问题-答案对应关系、以及问题的相关问题信息。例如，当用户输入问题A时，智能问答系统给出问题A对应的答案X，并给出一些候选答案。如果用户认为答案X不是正确答案，而候选答案中的答案Y是正确答案，则将答案X标记为错误，将答案Y标记为正确。根据用户的标记，可以得到一个正样本：“问题A-答案Y”、以及一个负样本“问题A-答案X”，并将该正样本和负样本与原有样本合并，形成新的样本。在一些实施方式中，在进行样本检测时，上述的合并后的样本满足样本训练条件，包括：合并后的样本的数据量、样本比例及数据分布中的至少一项满足对应的预设条件。例如，如果合并后的样本的数据量大于预设阈值，合并后的样本的正样本和负样本的比例在预设范围内，并且合并后的样本的数据分布均匀，则判定该合并后的样本满足样本训练条件。在重训过程中，可以采用焦点损失(FocalLoss)技术自动化解决样本不平衡问题，并采用累积边缘sigmoid(AdditiveMarginsigmoid)等技术解决相似度分布稳定性的问题。在一些实施方式中，采用式(1)计算焦点损失，并利用计算得到的焦点损失解决样本平衡问题。FocalLoss(pt)＝-at(1-pt)γlog(pt)…(1)其中，pt为当前类别的样本的概率；FocalLoss(pt)为pt对应的焦点损失；at为控制正负样本对总loss的共享权重，弥补类别样本数量不平衡本文档来自技高网...

【技术保护点】
1.一种模型自适应重训方法，包括：/n获取用户标注样本；/n将所述用户标注样本与原有样本进行合并；/n在合并后的样本满足样本训练条件的情况下，采用所述合并后的样本对基础模型进行重训，得到增量模型；其中，所述基础模型为采用所述原有样本训练得到的问答模型。/n

【技术特征摘要】
1.一种模型自适应重训方法，包括：
获取用户标注样本；
将所述用户标注样本与原有样本进行合并；
在合并后的样本满足样本训练条件的情况下，采用所述合并后的样本对基础模型进行重训，得到增量模型；其中，所述基础模型为采用所述原有样本训练得到的问答模型。


2.根据权利要求1所述的方法，还包括：
在所述增量模型相对于所述基础模型的效果提升程度达到预设阈值的情况下，采用所述增量模型和所述基础模型执行智能问答。


3.根据权利要求1或2所述的方法，其中，所述获取用户标注样本，包括：
获取用户对所述基础模型提供的问答结果的标注信息；
根据所述标注信息获取所述用户标注样本，所述用户标注样本包括包含正确答案的正样本和/或包含错误答案的负样本。


4.根据权利要求1或2所述的方法，其中，所述合并后的样本满足样本训练条件，包括：
所述合并后的样本的数据量、样本比例及数据分布中的至少一项满足对应的预设条件。


5.根据权利要求1或2所述的方法，其中，所述采用所述合并后的样本对基础模型进行重训，包括：
采用所述合并后的样本，利用焦点损失FocalLoss技术和/或累积边缘Sigmoid技术对基础模型进行重训。


6.一种模型自适应重训装置，包括：
获取模块，用于获取用户标注样本；
合并模块，用于将所述用户标注样本与原有样本进行合并；
重训模块，用于在合并后的样本满足样本训练条件的情况下，采用所述合并后的样本对基础模型进行重训，得到增量模型；其中，...

【专利技术属性】
技术研发人员：谢炜坚，黄强，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11