模型评估方法、装置、存储介质及电子设备制造方法及图纸

本申请实施例公开了一种模型评估方法、装置、存储介质及电子设备，其中，方法包括：在对话模型处理对话文本时，确定所述对话文本对应的至少一个标注技能以及至少一个召回技能，获取所述对话模型输出的所述对话文本对应的对话结果，确定所述对话结果对应的至少一个目标技能，基于所述至少一个标注技能、所述至少一个召回技能以及所述至少一个目标技能，对所述对话模型进行准召评估。采用本申请实施例，提高了模型评估的准确率。

【技术实现步骤摘要】
模型评估方法、装置、存储介质及电子设备
本申请涉及计算机
，尤其涉及一种模型评估方法、装置、存储介质及电子设备。
技术介绍
随着人工智能(ArtificialIntelligence，AI)技术的快速发展，人机交互在日常生活中的应用越来越普遍。其中，人机交互可基于对话模型(也可称对话系统)实现。在对话模型处理用户所输入的对话文本时，对话文本由对话模型对应的自然语言理解层面(NaturalLanguageUnderstanding，NLU)进行语义理解，确定对话文本相对应的召回技能，然后由对话模型对应的对话管理层面(DialogManagement，DM)按照召回技能确定需要执行的技能行为，最后将技能行为对应的执行结果返回，对话模型最后对执行结果进行资源(也即对话结果)输出。实际应用中，常常会涉及到对话模型的评估，如评估对话模型的输出结果是否准确，评估对话模型的召回技能是否准确。
技术实现思路
本申请实施例提供了一种模型评估方法、装置、存储介质及电子设备，可以提高模型评估的准确率。本申请实施例的技术方案如本文档来自技高网...

【技术保护点】
1.一种模型评估方法，其特征在于，所述方法包括：/n在对话模型处理对话文本时，确定所述对话文本对应的至少一个标注技能以及至少一个召回技能；/n获取所述对话模型输出的所述对话文本对应的对话结果，确定所述对话结果对应的至少一个目标技能；/n基于所述至少一个标注技能、所述至少一个召回技能以及所述至少一个目标技能，对所述对话模型进行准召评估。/n

【技术特征摘要】
1.一种模型评估方法，其特征在于，所述方法包括：
在对话模型处理对话文本时，确定所述对话文本对应的至少一个标注技能以及至少一个召回技能；
获取所述对话模型输出的所述对话文本对应的对话结果，确定所述对话结果对应的至少一个目标技能；
基于所述至少一个标注技能、所述至少一个召回技能以及所述至少一个目标技能，对所述对话模型进行准召评估。


2.根据权利要求1所述的方法，其特征在于，所述在对话模型处理对话文本时，确定所述对话文本对应的至少一个标注技能以及至少一个召回技能之前，还包括：
获取新增技能评测集，所述新增技能评测集包括至少一个新增标注技能以及每个所述新增标注技能对应的至少一个第一对话文本；
基于所述新增技能评测集以及所述对话模型，对所述对话模型对应的参考技能评测集进行训练标注。


3.根据权利要求2所述的方法，其特征在于，所述基于所述新增技能评测集以及所述对话模型，对所述对话模型对应的参考技能评测集进行训练标注，包括：
获取所述对话模型对应的参考技能评测集，将所述新增技能评测集添加至所述参考技能评测集，所述参考技能评测集包含至少一个标注技能以及每个所述标注技能对应的至少一个第二对话文本；
根据所述对话模型对所述参考技能评测集进行评测处理，得到所述新增技能对应的技能冲突信息；
基于所述技能冲突信息，对各所述第二对话文本中的目标对话文本进行技能标注。


4.根据权利要求3所述的方法，其特征在于，所述基于所述技能冲突信息，对所述第二对话文本进行技能标注，包括：
基于所述技能冲突信息，在各所述第二对话文本中确定与所述新增技能冲突的目标对话文本以及所述目标对话文本对应的冲突类型；
按照所述冲突类型对应的文本标注方式对所述目标对话文本进行多技能标注。


5.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个标注技能、所述至少一个召回技能以及所述至少一个目标技能，对所述对话模型进行准召...

【专利技术属性】
技术研发人员：雷士驰，
申请(专利权)人：深圳市欢太科技有限公司，OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44