语言机器人的测评方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:41741103 阅读:14 留言:0更新日期:2024-06-19 13:01
本申请实施例公开了一种语言机器人的测评方法、装置、计算机设备及存储介质,包括:获取多个测评数据;基于模拟对象特征和所述对话文本,生成任务提示词;将任务提示词输入所述语言机器人中,以触发所述语言机器人按照所述模拟对象特征,基于对话文本对所述目标用户对话信息生成多条目标回复文本;基于指定质量类型筛选出模拟质量评价信息相匹配的目标回复文本和对话回复文本,并得到所述目标回复文本与所述对话回复文本之间的相似度值;基于相似度值确定待测评的语言机器人的对话质量。本申请实施例实现自动化的语言机器人质量评估流程,有效节省对语言机器人进行质量评估的成本和时间,且提高了质量评估结果的准确性以及质量评估效率。

【技术实现步骤摘要】

本申请涉及计算机,具体涉及一种语言机器人的测评方法、装置、计算机设备及存储介质


技术介绍

1、为了满足人们对精神生活的追求,能够在终端上使用的一些自然语言处理模型应运而生,例如,聊天机器人(chatbot)等训练好的自然语言处理模型,其任务是生成自然流畅的对话。聊天机器人是经由对话或文字进行交谈的计算机程序,能够模拟人类对话,聊天机器人可用于实用的目的。例如,为用户提供客服服务或资讯获取等操作。有些聊天机器人会搭载自然语言处理系统,但大多简单的系统只会撷取输入的关键字,再从数据库中找寻最合适的应答句。

2、目前,越来越多领域采用语言模型和人进行对话,其中,人设对话机器人是chatbot的一个分支,它更强调对话要凸显人物的特点,其应用十分广泛,比如游戏中的智能npc或电商中的推销助手等,相比于问答机器人,人设对话机器人更有具有温度和性格,与用户之间进行对话更加自然,能拉进与用户之间的距离。为了能够有标准衡量聊天机器人的对话能力,现有技术通常使用人工评估或自动化评估的方式对聊天机器人的对话能力进行评估,然而,现有的评估方式所需的评估成本大,评估时本文档来自技高网...

【技术保护点】

1.一种语言机器人的测评方法,其特征在于,包括:

2.根据权利要求1所述的语言机器人的测评方法,其特征在于,所述获取多个测评数据,包括:

3.根据权利要求2所述的语言机器人的测评方法,其特征在于,在通过所述指定语言机器人,按照所述模拟对象特征基于用户输入的用户对话信息进行回复,得到对话文本之后,还包括:

4.根据权利要求3所述的语言机器人的测评方法,其特征在于,所述目标用户对话信息可以为所述对话文本中用户指定的用户对话信息、或所述对话文本中最新的用户对话信息。

5.根据权利要求1所述的语言机器人的测评方法,其特征在于,所述方法还包括:...

【技术特征摘要】

1.一种语言机器人的测评方法,其特征在于,包括:

2.根据权利要求1所述的语言机器人的测评方法,其特征在于,所述获取多个测评数据,包括:

3.根据权利要求2所述的语言机器人的测评方法,其特征在于,在通过所述指定语言机器人,按照所述模拟对象特征基于用户输入的用户对话信息进行回复,得到对话文本之后,还包括:

4.根据权利要求3所述的语言机器人的测评方法,其特征在于,所述目标用户对话信息可以为所述对话文本中用户指定的用户对话信息、或所述对话文本中最新的用户对话信息。

5.根据权利要求1所述的语言机器人的测评方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的语言机器人的测评方法,其特征在于,所述指定质量类型包括第一质量类型和第二质量类型;

7.根据权利要求6所述的语言机器人的测评方法,其特征在于,所述基于指定质量类型筛选出模拟质量评价信息相匹配的目标回复文本和对话回复文本,并基于所述目标回复文本和所述对话回复文本进...

【专利技术属性】
技术研发人员:浦嘉澍张荣升吕唐杰范长杰胡志鹏
申请(专利权)人:网易杭州网络有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1