一种人工智能应答系统的测试方法及系统技术方案

本发明专利技术公开一种人工智能应答系统的测试方法及系统，方法包括：获取包括多个会话元素的会话集合，所述会话元素为会话或者场景结束标识；会话场景生成步骤，包括：从所述会话集合中按顺序取出会话元素作为当前会话元素，创建会话场景；在会话场景中向人工智能应答系统输入当前会话元素所包括的问题，抓取所述人工智能应答系统响应所述问题的实际答案；从会话集合中按顺序取出下一个会话元素作为当前会话元素，如果当前会话元素为会话，则执行所述会话测试步骤，否则结束会话场景，如果会话集合中还有下一个会话元素，则执行会话场景生成步骤，否则结束。本发明专利技术能够覆盖多场景、多用户和复杂前提要求的测试需求。

【技术实现步骤摘要】

本专利技术涉及人工智能相关
，特别是一种人工智能应答系统的测试方法及 系统。
技术介绍
人工智能是针对自然语言处理的应用，对人工智能的测试所要关注的内容与传统 的自动化测试不一致，特别是对人工智能应答系统的web应用，除了页面功能外，主要的一 个测试重点是对应的输入问题是否能的到对应的结果，针对自然语言的多样化和模型调整 的不稳性，测试需要进行大量的回归验证，浪费大量的人力和时间。现有技术采用如下的方式完成人工智能应答系统对应的自动化测试：使用基于Google的开源自动化测试工具：selenium对web页面操作，完成提问和 回答，输入结果的保存内容只包含问题和答案，在执行完成后直接执行下一条的会话操作， 并将结果记录。结果记录内容只包含问题和实际结果。 现有技术的缺点： (1)问题结果会因为上下文的内容进入不同的场景从而导致部分问题没有进入正 确的处理流程，结果准确性不够。 (2)-次执行只能覆盖一种使用场景，在场景执行中不易切换，对不同的场景需要 多次执行才能保证达到多场景的效果。 (3)会话数据顺序组织不明确，缺少执行逻辑。(4)执行结果保存不完善，仅将对应的结果输出保存，不易进行数据统计和维护。
技术实现思路
基于此，有必要针对现有技术测试准确性不够的技术问题，提供一种人工智能应 答系统的测试方法及系统。 一种人工智能应答系统的测试方法，包括： 会话集合获取步骤，包括：获取包括多个会话元素的会话集合，所述会话元素为会 话或者场景结束标识，所述会话集合包括的会话元素至少一个为场景结束标识，每个所述 会话包括：问题、场景标识和预期答案；会话场景生成步骤，包括：从所述会话集合中按顺序取出会话元素作为当前会话 元素，如果当前会话元素为会话，则创建会话场景；会话测试步骤，包括：在会话场景中向人工智能应答系统输入当前会话元素所包 括的问题，抓取所述人工智能应答系统响应所述问题的实际答案，如果实际答案与当前会 话元素所包括的预期答案匹配，则记录当前会话元素的测试结果为通过，否则记录当前会 话元素的测试结果为失败；会话元素检查步骤，包括：从会话集合中按顺序取出下一个会话元素作为当前会 话元素，如果当前会话元素为场景结束标识，则结束会话场景，执行结束检查步骤，如果当 前会话元素为会话，则执行所述会话测试步骤； 结束检查步骤，包括：如果会话集合中还有下一个会话元素，则执行会话场景生成 步骤，否则结束。 一种人工智能应答系统的测试系统，包括： 会话集合获取模块，用于：获取包括多个会话元素的会话集合，所述会话元素为会 话或者场景结束标识，所述会话集合包括的会话元素至少一个为场景结束标识，每个所述 会话包括：问题、场景标识和预期答案； 会话场景生成模块，用于：从所述会话集合中按顺序取出会话元素作为当前会话 元素，如果当前会话元素为会话，则创建会话场景； 会话测试模块，用于：在会话场景中向人工智能应答系统输入当前会话元素所包 括的问题，抓取所述人工智能应答系统响应所述问题的实际答案，如果实际答案与当前会 话元素所包括的预期答案匹配，则记录当前会话元素的测试结果为通过，否则记录当前会 话元素的测试结果为失败； 会话元素检查模块，用于：从会话集合中按顺序取出下一个会话元素作为当前会 话元素，如果当前会话元素为场景结束标识，则结束会话场景，执行结束检查模块，如果当 前会话元素为会话，则执行所述会话测试模块； 结束检查模块，用于：如果会话集合中还有下一个会话元素，则执行会话场景生成 模块，否则结束。 本专利技术通过在会话集中增加场景结束标识以及相关的流程，使得自动测试能够在 一次完整的测试中应对多个场景的情况，使其能够覆盖多场景、多用户和复杂前提要求的 测试需求。【附图说明】 图1为本专利技术一种人工智能应答系统的测试方法的工作流程图； 图2为本专利技术最佳实施例的工作流程图； 图3为本专利技术一种人工智能应答系统的测试系统的结构模块图。【具体实施方式】 下面结合附图和具体实施例对本专利技术做进一步详细的说明。 如图1所示为本专利技术一种人工智能应答系统的测试方法的工作流程图，包括： 步骤S101，包括：获取包括多个会话元素的会话集合，所述会话元素为会话或者 场景结束标识，所述会话集合包括的会话元素至少一个为场景结束标识，每个所述会话包 括：问题、场景标识和预期答案； 步骤S102,包括：从所述会话集合中按顺序取出会话元素作为当前会话元素，如 果当前会话元素为会话，则创建会话场景； 步骤S103,包括：在会话场景中向人工智能应答系统输入当前会话元素所包括的 问题，抓取所述人工智能应答系统响应所述问题的实际答案，如果实际答案与当前会话元 素所包括的预期答案匹配，则记录当前会话元素的测试结果为通过，否则记录当前会话元 素的测试结果为失败； 步骤S104,包括：从会话集合中按顺序取出下一个会话元素作为当前会话元素， 如果当前会话元素为场景结束标识，则结束会话场景，执行步骤S105,如果当前会话元素为 会话，则执行所述步骤S103; 步骤S105,包括：如果会话集合中还有下一个会话元素，则执行步骤S102,否则结 束。 本专利技术通过步骤S101获取会话集合，会话集合中包括了会话以及场景结束标识， 同时，在步骤S102中创建会话场景，而在步骤S104中，如果当前会话元素为场景结束标识， 则结束会话场景，从而能够实现对不同会话场景的区分，能够覆盖多场景、多用户、复杂前 提要求的测试需求，避免应答逻辑受到上下文的影响。 其中，在步骤S102中，如果所取出的会话元素不是会话，则可以将其忽略。 在其中一个实施例中，所述创建会话场景为登录浏览器，所述结束会话场景为关 闭浏览器。 本实施例对场景控制主要针对于通过刷新当前会话场景的cookies保证当前会 话场景的独立性。本专利技术在进行处理时通过要设置场景结束标识，让程序或者脚本意识 到，当测试进行到这个点的时候，表示这个场景的所有会话已经完结，需要对当前会话的 cookies进行更新，或者将旧的cookies进行清理，保证下次会话时会进入一个新的会话场 景（session)。更新session的方式本实施例采用关闭浏览器实现。 在执行步骤S102时登录浏览器，而在执行步骤S104时，如果当前会话元素为场景 结束标识，则关闭浏览器，从而使得会话场景的cookies得到更新。[0039当前第1页1 2 本文档来自技高网...

【技术保护点】
一种人工智能应答系统的测试方法，其特征在于，包括：会话集合获取步骤，包括：获取包括多个会话元素的会话集合，所述会话元素为会话或者场景结束标识，所述会话集合包括的会话元素至少一个为场景结束标识，每个所述会话包括：问题、场景标识和预期答案；会话场景生成步骤，包括：从所述会话集合中按顺序取出会话元素作为当前会话元素，如果当前会话元素为会话，则创建会话场景；会话测试步骤，包括：在会话场景中向人工智能应答系统输入当前会话元素所包括的问题，抓取所述人工智能应答系统响应所述问题的实际答案，如果实际答案与当前会话元素所包括的预期答案匹配，则记录当前会话元素的测试结果为通过，否则记录当前会话元素的测试结果为失败；会话元素检查步骤，包括：从会话集合中按顺序取出下一个会话元素作为当前会话元素，如果当前会话元素为场景结束标识，则结束会话场景，执行结束检查步骤，如果当前会话元素为会话，则执行所述会话测试步骤；结束检查步骤，包括：如果会话集合中还有下一个会话元素，则执行会话场景生成步骤，否则结束。

【技术特征摘要】

【专利技术属性】
技术研发人员：王昌，范亚平，孙胜方，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11