一种智能问答的测试方法、装置、电子设备及存储介质制造方法及图纸

技术编号:23558200 阅读:63 留言:0更新日期:2020-03-25 03:49
本发明专利技术公开了一种智能问答的测试方法、装置、电子设备及存储介质,其中,方法包括:将预设的测试问句发送至智能问答系统以进行智能问答系统的反馈正确性检测,得到反馈结果;将反馈结果与期望结果进行匹配分析,得到测试问句的测试结果;基于每个测试问句的测试结果统计测试数据的正确率,并依据正确率调整智能问答系统;本发明专利技术的方法、装置、电子设备及存储介质,通过自动发送该预设测试问句至智能问答系统,然后通过该预设的期望结果对智能问答系统的反馈结果进行匹配分析,确定智能问答系统针对该测试问句的反馈是否正确及智能问答系统反馈的正确率;并依据该正确率确定是否对该智能问答系统进行调整,以来提升智能问答系统的项目质量。

A test method, device, electronic equipment and storage medium of intelligent Q & A

【技术实现步骤摘要】
一种智能问答的测试方法、装置、电子设备及存储介质
本专利技术涉及计算机领域,尤其涉及一种智能问答的测试方法、装置、电子设备及存储介质。
技术介绍
聊天机器人可用于实用的目的,如客户服务或资讯获取。有些聊天机器人会搭载自然语言处理系统,但大多简单的系统只会撷取输入的关键字,再从数据库中找寻最合适的应答句。目前,聊天机器人是虚拟助理(如Google智能助理)的一部分,可以与许多组织的应用程序、网站以及即时消息平台(FacebookMessenger)连接,如:客服机器人。非助理应用程序包括娱乐目的的聊天室,研究和特定产品促销,如:社交机器人。此外,为保证聊天机器人与用户之间的交互可以更加顺利,还需要对聊天机器人反馈给用户的输出结果的准确性进行测试。但是,在现有技术中,是通过人工向聊天机器人输入测试问句,并人工对聊天机器人反馈的输出结果是否正确、及该测试问句是否正确进行分析,而这导致测试过程十分繁杂耗时。
技术实现思路
本专利技术的主要目的在于提出一种智能问答的测试方法、装置、电子设备及存储介质,其克服了现有技术中因通过人本文档来自技高网...

【技术保护点】
1.一种智能问答的测试方法,其特征在于,所述方法包括:/n预设测试数据,所述测试数据包括测试问句和期望结果;/n将每个测试问句发送至智能问答系统以进行所述智能问答系统的反馈正确性检测,得到反馈结果;/n将所述反馈结果与所述期望结果进行匹配分析,得到所述测试问句的测试结果;/n基于每个测试问句的测试结果统计所述测试数据的正确率,当所述正确率小于预设正确率时,根据所述测试结果调整所述智能问答系统。/n

【技术特征摘要】
1.一种智能问答的测试方法,其特征在于,所述方法包括:
预设测试数据,所述测试数据包括测试问句和期望结果;
将每个测试问句发送至智能问答系统以进行所述智能问答系统的反馈正确性检测,得到反馈结果;
将所述反馈结果与所述期望结果进行匹配分析,得到所述测试问句的测试结果;
基于每个测试问句的测试结果统计所述测试数据的正确率,当所述正确率小于预设正确率时,根据所述测试结果调整所述智能问答系统。


2.根据权利要求1所述的方法,其特征在于,所述智能问答系统包括前端知识库,所述前端知识库为本地数据库,所述反馈正确性检测包括:
基于所述测试问句,查询所述前端知识库中是否有预设结果;
当在所述前端知识库中查询到所述预设结果时,确定所述反馈结果包括所述预设结果及用于表征所述预设结果来自所述前端知识库的前端类型标识;
所述期望结果包括:与所述测试问句对应的预存前端标识;所述匹配分析包括:判断所述预存前端标识与所述前端类型标识是否相同,当相同时,则所述测试结果表征为所述智能问答系统响应所述测试问句的反馈正确;否则,所述测试结果表征为所述智能问答系统响应所述测试问句的反馈错误。


3.根据权利要求2所述的方法,其特征在于,所述智能问答系统还包括问答知识库;
若未在所述前端知识库中查询到预设结果,所述反馈正确性检测还包括:
基于所述测试问句,查询所述问答知识库中是否有预设结果;
当在所述问答知识库中查询到所述预设结果时,确定所述反馈结果包括该预设结果,而且,所述期望结果包括:与所述测试问句对应的预存结果。


4.根据权利要求3所述的方法,其特征在于,
所述预设结果包括以下一种或多种:标准问答句、至少两种标准问句、或操作指令,其中,所述标准问答句包括:相互对应的标准问句及标准结果;
当所述预设结果为所述标准问答句时,所述匹配分析包括:判断所述标准问答句是否与所述预存结果中的标准问答句相同,若是,则所述测试结果表征为所述智能问答系统响应所述测试问句的反馈正确;否则,所述测试结果表征为所述智能问答系统响应所述测试问句的反馈错误;
当所述预设结果为至少两种标准问句时,所述匹配分析包括:判断所述至少两种标准问句是否包括所述预存结果中测试问句表征的预存标准问句,若是,则所述测试结果表征为所述智能问答系统响应所述测试问句的反馈正确;否则,所述测试结果表征为所述智能问答系统响应所述测试问句的反馈错误;
当所述预设结果为操作指令时,所述匹配分析包括:判断所述预设结果是否是所述预存结果中操作指令的响应结果,若是,则所述测试结果表征为所述智能...

【专利技术属性】
技术研发人员:左新成励善俊
申请(专利权)人:上海智臻智能网络科技股份有限公司
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1