面向SaaS人工智能应用的图灵测试方法、装置和系统制造方法及图纸

本申请涉及面向SaaS人工智能应用的图灵测试方法、装置和系统，方法包括：接收用户端发送的提问数据；根据提问数据从问答知识库中召回多个备选问题及对应回答；将备选问题中与提问数据中的问题相似度最高的备选问题确定为目标问题，将目标问题对应的目标回答返回给用户端；目标回答用于指示提问数据的回答信息；向用户端发送回答有效性问卷；回答有效性问卷用于指示目标回答对提问数据的有效性；接收用户端返回的问卷结果并进行有效性统计；若有效性统计结果中有效占比大于30%，则确定当前SaaS人工智能应用通过图灵测试。显著提升了SaaS人工智能应用的图灵测试质量。SaaS人工智能应用的图灵测试质量。SaaS人工智能应用的图灵测试质量。

Turing test method, device and system for SaaS AI application

【技术实现步骤摘要】
面向SaaS人工智能应用的图灵测试方法、装置和系统


[0001]本专利技术属于计算机应用测试
，涉及一种面向SaaS人工智能应用的图灵测试方法、装置和系统。

技术介绍

[0002]SaaS是Software
‑
as
‑
a
‑
Service的缩写名称，意思为软件即服务，即通过网络提供软件服务。SaaS平台供应商将应用软件统一部署在己方服务器上，用户可以根据工作实际需求，通过互联网向厂商定购所需的应用软件服务并通过互联网获得Saas平台供应商提供的服务。图灵测试作为一种人工智能应用测试方法，其通过人工智能应用（机器）冒充人来回答问题，如果超过30%的人认为是真人在回答问题而非机器回答，那么就认为此人工智能应用通过了图灵测试。
[0003]近年来，智能问答系统作为人工智能在自然语言处理领域落地最多的应用，尤其是在各种提供SaaS服务的平台。智能问答系统的测试是AI模型开发人员和SaaS平台都需要面对的问题，而人工智能应用的图灵测试作为一种评判标准，从很大程度上决定了智能问答系统是否能够进行工业级大规模部署应用。传统的应用测试方法是通过准确率、召回率和F1 Score来进行模型性能评估，以便在代码层级来优化模型。然而，在实现本专利技术的过程中，专利技术人发现传统的应用测试方法，存在着测试质量较差的技术问题。

技术实现思路

[0004]针对上述传统方法中存在的问题，本专利技术提出了一种面向SaaS人工智能应用的图灵测试方法、一种面向SaaS人工智能应用的图灵测试装置、一种SaaS人工智能应用系统、一种计算机设备和一种计算机可读存储介质，可显著提升SaaS人工智能应用的图灵测试质量。
[0005]为了实现上述目的，本专利技术实施例采用以下技术方案：一方面，提供一种面向SaaS人工智能应用的图灵测试方法，包括步骤：接收用户端发送的提问数据；根据提问数据从问答知识库中召回多个备选问题及对应回答；将备选问题中与提问数据中的问题相似度最高的备选问题确定为目标问题，将目标问题对应的目标回答返回给用户端；目标回答用于指示提问数据的回答信息；向用户端发送回答有效性问卷；回答有效性问卷用于指示目标回答对提问数据的有效性；接收用户端返回的问卷结果并进行有效性统计；若有效性统计结果中有效占比大于30%，则确定当前SaaS人工智能应用通过图灵测试。
[0006]另一方面，还提供另一种面向SaaS人工智能应用的图灵测试方法，包括步骤：向智能服务端发送提问数据；智能服务端部署有SaaS人工智能应用；
接收智能服务端返回的目标回答；目标回答用于指示提问数据的回答信息；接收智能服务端发送的回答有效性问卷；回答有效性问卷用于指示目标回答对提问数据的有效性；获取对回答有效性问卷输入的问卷结果并发送至智能服务端；问卷结果用于指示智能服务端进行有效性统计，有效性统计的结果用于指示SaaS人工智能应用是否通过图灵测试。
[0007]又一方面，还提供一种面向SaaS人工智能应用的图灵测试装置，包括：提问接收模块，用于接收用户端发送的提问数据；问答召回模块，用于根据提问数据从问答知识库中召回多个备选问题及对应回答；问答返回模块，用于将备选问题中与提问数据中的问题相似度最高的备选问题确定为目标问题，将目标问题对应的目标回答返回给用户端；目标回答用于指示提问数据的回答信息；问卷发送模块，用于向用户端发送回答有效性问卷；回答有效性问卷用于指示目标回答对提问数据的有效性；问卷统计模块，用于接收用户端返回的问卷结果并进行有效性统计；测试判决模块，用于在有效性统计结果中有效占比大于30%时，确定当前SaaS人工智能应用通过图灵测试。
[0008]再一方面，还提供另一种面向SaaS人工智能应用的图灵测试装置，包括：提问发送模块，用于向智能服务端发送提问数据；智能服务端部署有SaaS人工智能应用；回答接收模块，用于接收智能服务端返回的目标回答；目标回答用于指示提问数据的回答信息；问卷接收模块，用于接收智能服务端发送的回答有效性问卷；回答有效性问卷用于指示目标回答对提问数据的有效性；结果发送模块，用于获取对回答有效性问卷输入的问卷结果并发送至智能服务端；问卷结果用于指示智能服务端进行有效性统计，有效性统计的结果用于指示SaaS人工智能应用是否通过图灵测试。
[0009]再一方面，还提供一种SaaS人工智能应用系统，包括用户端设备和智能服务器，智能服务器部署有SaaS人工智能应用；用户端设备向智能服务器发送提问数据时，智能服务器根据提问数据从问答知识库中召回多个备选问题及对应回答；智能服务器将备选问题中与提问数据中的问题相似度最高的备选问题确定为目标问题，将目标问题对应的目标回答返回给用户端设备；目标回答用于指示提问数据的回答信息；智能服务器返回目标回答后，向用户端设备发送回答有效性问卷；回答有效性问卷用于指示目标回答对提问数据的有效性；用户端设备获取对回答有效性问卷输入的问卷结果并发送至智能服务器；智能服务器接收问卷结果并进行有效性统计，在有效性统计结果中有效占比大于
30%时，确定SaaS人工智能应用通过图灵测试。
[0010]再一方面，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述任一种面向SaaS人工智能应用的图灵测试方法的步骤。
[0011]再一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一种面向SaaS人工智能应用的图灵测试方法的步骤。
[0012]上述技术方案中的一个技术方案具有如下优点和有益效果：上述面向SaaS人工智能应用的图灵测试方法、装置和系统，通过提出一种全新的问答系统SaaS人工智能应用图灵测试方法，首先接收用户提出的提问，然后SaaS人工智能应用从问答知识库中进行快速的问题与回答召回，实现相似问题及其回答的粗筛选，进而从召回的问题中选取相似度最高的备选问题对应的回答作为用户提问的回答，而且针对给出的回答向用户发起有效性问卷调查，最后对应问卷结果进行有效性统计后，当有效占比超过30%时，问答系统SaaS人工智能应用即通过了图灵测试。
[0013]与传统的应用测试相比，上述方案构建了全程可由用户人为参与的图灵测试实验床，可以发现智能问答系统的问答知识库存在问/回答内容质量不高的情况，为解决可能出现的答非所问的情况提供有效优化途径，是一种具有自学习自优化的解决方法。此外，上述方案更接近真实业务使用场景的人工智能应用的图灵测试，当用户调查问卷中有效的问答统计结果占比超过30%，即可认为智能问答系统人工智能应用通过了图灵测试，达到了显著提升SaaS人工智能应用的图灵测试质量的效果。
附图说明
[0014]图1为一个实施例中SaaS人工智能应用系统的结构组成示意图；图2为一个实施例中SaaS人工智能应用系统中的各端交互时序示意图；图3为一个实施例中SaaS人工智能应用系统与外部设备的交互时序示意图；图4为一个实施例中面向SaaS人工智能应用的图灵本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向SaaS人工智能应用的图灵测试方法，其特征在于，包括步骤：接收用户端发送的提问数据；根据所述提问数据从问答知识库中召回多个备选问题及对应回答；将所述备选问题中与所述提问数据中的问题相似度最高的备选问题确定为目标问题，将所述目标问题对应的目标回答返回给所述用户端；所述目标回答用于指示所述提问数据的回答信息；向所述用户端发送回答有效性问卷；所述回答有效性问卷用于指示所述目标回答对所述提问数据的有效性；接收所述用户端返回的问卷结果并进行有效性统计；若有效性统计结果中有效占比大于30%，则确定当前SaaS人工智能应用通过图灵测试。2.根据权利要求1所述的面向SaaS人工智能应用的图灵测试方法，其特征在于，根据所述提问数据从问答知识库中召回多个备选问题及对应回答的步骤，包括：对所述提问数据中的问题进行句子向量化操作；根据所述句子向量化操作后的问题，采用近似最近邻向量检索算法从所述问答知识库中召回多个所述备选问题及对应回答。3.根据权利要求1或2所述的面向SaaS人工智能应用的图灵测试方法，其特征在于，将所述备选问题中与所述提问数据中的问题相似度最高的备选问题确定为目标问题的过程，包括：采用预训练语言模型，通过文本语义相似度算法对所述提问数据中的问题与召回的多个所述备选问题进行语义相似度匹配处理；选取语义相似度最高的备选问题作为所述目标问题。4.根据权利要求3所述的面向SaaS人工智能应用的图灵测试方法，其特征在于，所述方法还包括步骤：若所述提问数据中的问题在所述问答知识库中无相似问题，则保存所述提问数据中的问题。5.根据权利要求1所述的面向SaaS人工智能应用的图灵测试方法，其特征在于，所述方法还包括步骤：将所述有效性统计结果发送至研发终端；接收所述研发终端返回的测试结果文件；所述测试结果文件包括图灵测试通过的确认或系统更新文件；若所述测试结果文件为系统更新文件，则利用所述系统更新文件进行系统更新升级。6.根据权利要求4或5所述的面向SaaS人工智能应用的图灵测试方法，其特征在于，所述问卷结果包括有用、无用或改进反馈意见数据；所述改进反馈意见数据用于发送至研发终端。7.一种面向SaaS人工智能应用的图灵测试方法，其特征在于，包括步骤：向智能服务端发送提问数据；所述智能服务端部署有SaaS人工智能应用；接收所述智能服务端返回的目标回答；所述目标回答用于指示所述提问数据的回答信息；接收所述智能服务端发送的回答有效性问卷；所述回答有效性问卷用于指示所述目标
回答对所述提问数据的有效性；获取对所述回答有效性问卷输入的问卷结果并发送至所述智能服务端；所述问卷结果用于指示所述智能服务端进行有效性统计，所述有效性统计的结果用于指示所述SaaS人工智能应用是否通过图灵测试。8.根据权利要求7所述的面向SaaS人工智能应用的图灵测试方法，其特征在于，向智能服务端发送提问数据的步骤，包括：在显示的交互界面中读取对虚拟智能助教输入的提问问题；所述虚拟智能助教为所述SaaS人工智能应用在上述交互界面中...

【专利技术属性】
技术研发人员：尹刚，邓再勇，黄井泉，王威，钟科军，周丽涛，段甲生，林露，喻银凤，皮佑先，
申请(专利权)人：湖南智擎科技有限公司，
类型：发明
国别省市：