意图话术测试方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能领域，公开了一种意图话术测试方法、装置、设备及存储介质，该方法包括：接收意图话术测试请求，并对意图话术测试请求携带的意图触发话术文本进行解析并生成测试用例；对测试用例进行分词处理得到测试用例字符，根据测试用例字符进行意图识别，得到第一意图；根据基础话术意图集对测试用例进行相关性分析，识别测试用例的第二意图；将第一意图和第二意图进行比较，根据比较的结果生成测试报告。本发明专利技术实现了意图话术测试的自动化，且提高了意图话术测试的效率和准确度。此外，本发明专利技术还涉及区块链领域，意图触发话术文本和基础话术意图集可存储于区块链中。本和基础话术意图集可存储于区块链中。本和基础话术意图集可存储于区块链中。

【技术实现步骤摘要】
意图话术测试方法、装置、设备及存储介质


[0001]本专利技术涉及人工智能领域，尤其涉及一种意图话术测试方法、装置、设备及存储介质。

技术介绍

[0002]目前基于人工智能的智能语音交互领域，通过识别用户话术的意图，来给出相应回复。对用户话术的意图识别，是整个业务场景中的关键点。只有正确的识别用户话术的意图，才能给出正确的回复话术，因此需要对用户说法的意图触发话术进行测试，从而提高人工智能回复的准确度。
[0003]但现有技术中，测试人员需要手工组合构造话术进行测试，对于话术模板量大的需求，传统手工测试效率低下，而且容易遗漏测试用例，并需要一批大量经过人工标注过的数据作为标准测试集来验证模型的准确率和误差，导致意图话术的测试效率低。

技术实现思路

[0004]本专利技术的主要目的在于解决现有技术中对意图话术的测试效率低的技术问题。
[0005]本专利技术第一方面提供了一种意图话术测试方法，所述意图话术测试方法包括：接收意图话术测试请求，其中，所述意图话术测试请求携带有意图触发话术文本以及与所述意图触发话术文本对应的用户意图；对所述意图触发话术文本进行解析处理，得到文本数据，提取所述文本数据中的实体对象，并根据所述实体对象生成测试用例；对所述测试用例进行分词处理，得到测试用例字符，根据所述测试用例字符进行意图识别，得到所述测试用例的第一意图；基于预设的基础话术意图集，对所述测试用例进行相关性分析，并根据相关性分析的结果对所述测试用例进行意图识别，得到所述测试用例的第二意图；将所述第一意图和所述第二意图进行比较，并根据比较的结果生成测试报告。
[0006]可选的，在本专利技术的第一方面的第一种实现方式中，所述对所述意图触发话术文本进行解析处理，得到文本数据，提取所述文本数据中的实体对象，并根据所述实体对象生成测试用例包括：对所述意图触发话术文本按照预设的文本解析规则进行解析处理，得到文本数据；对所述文本数据进行非文字字符过滤处理，得到纯文本语句；基于预设的分词词库，对纯文本语句进行分词处理，得到字词数据；对所述字词数据进行分析，确定所述字词数据中的实体对象，并根据所述实体对象对所述意图触发话术文本进行分析，得到测试用例。
[0007]可选的，在本专利技术的第一方面的第二种实现方式中，所述对所述字词数据进行分析，确定所述字词数据中的实体对象，并根据所述实体对象对所述意图触发话术文本进行分析，得到测试用例包括：对所述字词数据进行分析，计算所述字词数据中各字词与预设的实体对象类型之间的实体类型相似度；根据所述实体类型相似度确定所述字词数据的实体对象以及所述实体对象的类型；从预设的实体对象类型与测试用例模板关联关系表中提取与所述实体对象的类型对应的测试用例模板；将所述意图触发话术文本填充至所述测试用
例模板中，生成测试用例。
[0008]可选的，在本专利技术的第一方面的第三种实现方式中，所述基于预设的基础话术意图集，对所述测试用例进行相关性分析，并根据相关性分析的结果对所述测试用例进行意图识别，得到所述测试用例的第二意图包括：获取预设的基础话术意图集，其中，所述基础话术意图集包括基础话术以及与所述基础话术对应的基础意图；将所述基础话术和所述测试用例分别进行字符拆分处理，得到基础话术字符和测试用例字符；识别所述基础话术字符的第一字符长度和所述测试用例字符的第二字符长度，并根据所述第一字符长度和所述第二字符长度计算所述基础话术字符和所述测试用例字符的字符相似度；根据所述字符相似度确定所述测试用例的初步意图；识别所述基础话术与所述测试用例的正反义关系，并根据所述正反义关系对所述初步意图进行调整，得到所述测试用例的第二意图。
[0009]可选的，在本专利技术第一方面的第四种实现方式中，所述识别所述基础话术字符的第一字符长度和所述测试用例字符的第二字符长度，并根据所述第一字符长度和所述第二字符长度计算所述基础话术字符和所述测试用例字符的字符相似度包括：计算所述基础话术字符的字符长度，得到第一字符长度；计算所述测试用例字符的字符长度，得到第二字符长度；判断所述第一字符长度与第二字符长度是否一致；若是，则将所述基础话术字符与所述测试用例字符按照相应的字符长度进行字符比对，并计算所述基础话术字符和所述测试字符的字符相似度。
[0010]可选的，在本专利技术第一方面的第五种实现方式中，所述识别所述基础话术与所述测试用例的正反义关系，并根据所述正反义关系对所述初步意图进行调整，得到所述测试用例的第二意图包括：识别所述基础话术字符与所述测试用例字符中不相同的字符，并从所述不相同的字符中提取反义字符；统计所述反义字符的个数，并根据所述反义字符的个数的奇偶性确定所述基础话术与所述测试用例的正反义关系，其中，若所述反义字符的个数为奇数，则所述测试用例对应的意图与所述初步意图相反；若所述反义字符的个数为偶数，则所述测试用例的意图与所述初步意图相同；根据所述正反义关系对所述初步意图进行调整，得到所述测试用例的第二意图。
[0011]可选的，在本专利技术第一方面的第六种实现方式中，在所述将所述第一意图和所述第二意图进行比较，并根据比较的结果生成测试报告之后，还包括：基于预设的数据格式转换规则，对所述测试报告进行分析并将所述测试报告转换为可读性数据；提取所述可读性数据中的公共函数，并对所述公共函数进行解析，得到解析数据；将所述解析数据按照预设的数据通用格式转换成通用格式的数据；对所述通用格式的数据进行消息封装，得到消息体。
[0012]本专利技术第二方面提出一种意图话术测试装置，所述意图话术测试装置包括：接收模块，用于接收意图话术测试请求，其中，所述意图话术测试请求携带有意图触发话术文本以及与所述意图触发话术文本对应的用户意图；解析模块，用于对所述意图触发话术文本进行解析处理，得到文本数据，提取所述文本数据中的实体对象，并根据所述实体对象生成测试用例；第一识别模块，用于对所述测试用例进行分词处理，得到测试用例字符，根据所述测试用例字符进行意图识别，得到所述测试用例的第一意图；第二识别模块，用于基于预设的基础话术意图集，对所述测试用例进行相关性分析，并根据相关性分析的结果对所述测试用例进行意图识别，得到所述测试用例的第二意图；比较模块，用于将所述第一意图和
所述第二意图进行比较，并根据比较的结果生成测试报告。
[0013]可选的，在本专利技术第二方面的第一种实现方式中，所述解析模块包括：解析单元，用于对所述意图触发话术文本按照预设的文本解析规则进行解析处理，得到文本数据；过滤单元，用于对所述文本数据进行非文字字符过滤处理，得到纯文本语句；分词单元，用于基于预设的分词词库，对纯文本语句进行分词处理，得到字词数据；分析单元，用于对所述字词数据进行分析，确定所述字词数据中的实体对象，并根据所述实体对象对所述意图触发话术文本进行分析，得到测试用例。
[0014]可选的，在本专利技术第二方面的第二种实现方式中，所述分析单元具体用于：对所述字词数据进行分析，计算所述字词数据中各字词与预设的实体对象类型之间的实体类型相似度；根据所述实体类型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种意图话术测试方法，其特征在于，所述意图话术测试方法包括：接收意图话术测试请求，其中，所述意图话术测试请求携带有意图触发话术文本以及与所述意图触发话术文本对应的用户意图；对所述意图触发话术文本进行解析处理，得到文本数据，提取所述文本数据中的实体对象，并根据所述实体对象生成测试用例；对所述测试用例进行分词处理，得到测试用例字符，根据所述测试用例字符进行意图识别，得到所述测试用例的第一意图；基于预设的基础话术意图集，对所述测试用例进行相关性分析，并根据相关性分析的结果对所述测试用例进行意图识别，得到所述测试用例的第二意图；将所述第一意图和所述第二意图进行比较，并根据比较的结果生成测试报告。2.根据权利要求1所述的意图话术测试方法，其特征在于，所述对所述意图触发话术文本进行解析处理，得到文本数据，提取所述文本数据中的实体对象，并根据所述实体对象生成测试用例包括：对所述意图触发话术文本按照预设的文本解析规则进行解析处理，得到文本数据；对所述文本数据进行非文字字符过滤处理，得到纯文本语句；基于预设的分词词库，对纯文本语句进行分词处理，得到字词数据；对所述字词数据进行分析，确定所述字词数据中的实体对象，并根据所述实体对象对所述意图触发话术文本进行分析，得到测试用例。3.根据权利要求2所述的意图话术测试方法，其特征在于，所述对所述字词数据进行分析，确定所述字词数据中的实体对象，并根据所述实体对象对所述意图触发话术文本进行分析，得到测试用例包括：对所述字词数据进行分析，计算所述字词数据中各字词与预设的实体对象类型之间的实体类型相似度；根据所述实体类型相似度确定所述字词数据的实体对象以及所述实体对象的类型；从预设的实体对象类型与测试用例模板关联关系表中提取与所述实体对象的类型对应的测试用例模板；将所述意图触发话术文本填充至所述测试用例模板中，生成测试用例。4.根据权利要求1
‑
3中任一项所述的意图话术测试方法，其特征在于，所述基于预设的基础话术意图集，对所述测试用例进行相关性分析，并根据相关性分析的结果对所述测试用例进行意图识别，得到所述测试用例的第二意图包括：获取预设的基础话术意图集，其中，所述基础话术意图集包括基础话术以及与所述基础话术对应的基础意图；将所述基础话术和所述测试用例分别进行字符拆分处理，得到基础话术字符和测试用例字符；识别所述基础话术字符的第一字符长度和所述测试用例字符的第二字符长度，并根据所述第一字符长度和所述第二字符长度计算所述基础话术字符和所述测试用例字符的字符相似度；根据所述字符相似度确定所述测试用例的初步意图；识别所述基础话术与所述测试用例的正反义关系，并根据所述正反义关系对所述初步
意图进行调整，得到所述测试用例的第二意图。5.根据权利要求4所述的意图话术测试方法，其特征在于，所述识别所述基础话术字符的第一字符长度和所述测试用例字符的第二字符长度，并根据所述第一字符长度和所述第二字符长度计算所述基...

【专利技术属性】
技术研发人员：肖雨晴，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：