一种支持图灵测试模式的人机对抗系统及智能体测试方法技术方案

本发明专利技术提供一种支持图灵测试模式的人机对抗系统及智能体测试方法，所述系统包括：人机对抗模块，用于完成人机对抗；其中，通过人类对抗者和智能体在双盲环境下完成人机对抗；对抗数据采集模块，用于获取人机对抗结果以及人机对抗的复盘对抗数据；对抗数据分析模块，用于根据复盘对抗数据获取智能体的效能数据；图灵问卷模块，用于通过图灵问卷的形式，采集智能体的外界评价信息；对抗成绩管理模块，用于接收并存储人机对抗结果、智能体的外界评价信息和智能体的效能数据，并根据人机对抗结果、智能体的外界评价信息和智能体的效能数据获取智能体的能力测试结果。本发明专利技术实现了对智能体决策能力的全面有效地测试。体决策能力的全面有效地测试。体决策能力的全面有效地测试。

【技术实现步骤摘要】
一种支持图灵测试模式的人机对抗系统及智能体测试方法


[0001]本专利技术涉及人机对抗
，尤其涉及一种支持图灵测试模式的人机对抗系统及智能体测试方法。

技术介绍

[0002]人工智能技术正在经历着从感知智能向认知智能的演化，致力于让机器从能够理解数据发展为能够理解现实世界，从能听会说、能看会认发展为能像人类一样思考。感知智能通常以机器学习为技术路线，从大规模数据集中学习能够显著拟合期望目标的特征表示，其最终输出往往是即时的、明确的，能够与已知标准答案匹配比较，因此便于使用准确率、误差值等指标量化评价。而在认知智能领域，智能体往往处于各种各样灵活的应用场景中，通过持续的“感知
‑
判断
‑
决策
‑ꢀ
行动”认知决策过程，达到某种行动目的。这种认知决策过程是持续且动态变化的，充满不确定性，有时很难获得短期决策行为的“奖赏 (Reward)”，传统测试方法通常定义一个最终的客观指标(例如裁定得分)进行评价，但是这样的方法忽略了对智能体中间过程决策的评价，不能全方位地反映智能体在各方面的能力水平，也容易带来以提高分数为主导的功利性“钻空子”行为，从而无法保证智能体决策能力测试结果的准确性。因此，如何全面有效的测试认知与决策类智能体的决策能力，是认知智能时代面临的迫切性问题。
[0003]艾伦
·
图灵于1950年提出了“图灵测试”这样一种评判机器是否具备人类智能的测试方式，以对抗和类比来判断机器是否具备智能。“图灵测试”定义：测试者与被测试者(一个人和一台机器)隔开的情况下，通过一些装置向被测试者随意提问。多次测试后，如果机器让平均每个参与者做出超过30％的误判，那么这台机器被认为具有人类智能。
[0004]然而，现有技术中并没有一种支持图灵测试模式的人机对抗系统，有必要提供一种支持图灵测试模式的人机对抗系统来获取智能体的性能测试数据，并根据该测试数据对智能体的认知与决策能力进行全面有效地测试。

技术实现思路

[0005]本专利技术提供一种支持图灵测试模式的人机对抗系统及智能体测试方法，用以解决现有技术中无法全方位地反映智能体在各方面的能力水平的缺陷，实现了对智能体认知与决策能力的全面有效地测试。
[0006]本专利技术提供一种支持图灵测试模式的人机对抗系统，包括：
[0007]人机对抗模块，用于完成人机对抗；其中，通过人类对抗者和智能体在双盲环境下完成所述人机对抗；
[0008]对抗数据采集模块，用于获取人机对抗结果以及人机对抗的复盘对抗数据；
[0009]对抗数据分析模块，用于根据所述复盘对抗数据，获取所述智能体的效能数据；
[0010]图灵问卷模块，用于通过图灵问卷的形式，采集所述智能体的外界评价信息；
[0011]对抗成绩管理模块，用于接收并存储所述人机对抗结果、所述智能体的外界评价
信息和所述智能体的效能数据，并根据所述人机对抗结果、所述智能体的外界评价信息和所述智能体的效能数据，获取所述智能体的能力测试结果。
[0012]根据本专利技术提供的一种支持图灵测试模式的人机对抗系统，所述人机对抗模块包括：
[0013]对抗赛程生成模块，用于生成对抗的循环赛程，还用于对所述人类对抗者和所述智能体的系统代号进行编码；其中，对所述人类对抗者和所述智能体的系统代号进行编码用于创建所述双盲环境；
[0014]对抗调度管理模块，用于根据所述循环赛程，自动调度所述人机对抗的进程；
[0015]人机对抗功能模块，用于在所述人机对抗的进程调度下，通过所述人类对抗者和所述智能体在模拟环境中完成所述人机对抗。
[0016]根据本专利技术提供的一种支持图灵测试模式的人机对抗系统，所述人机对抗功能模块包括：
[0017]对抗环境模拟模块，用于生成所述模拟环境；
[0018]引擎内核模块，用于接收所述人类对抗者和所述智能体发出的动作指令，根据所述动作指令更新所述模拟环境的环境状态和战场态势，并生成实时推演数据；
[0019]UI模块，用于向所述人类对抗者解析并展示所述实时推演数据，还用于将所述人类对抗者发出的动作指令发送至所述引擎内核模块，还用于过滤所述人类对抗者的身份信息；
[0020]AI模块，用于向所述智能体解析所述实时推演数据，还用于将所述智能体发出的动作指令发送至所述引擎内核模块，还用于过滤所述智能体的身份信息。
[0021]根据本专利技术提供的一种支持图灵测试模式的人机对抗系统，所述对抗数据分析模块根据所述复盘对抗数据，获取所述智能体的效能数据包括：
[0022]根据所述复盘对抗数据，获取所述智能体在所述人机对抗过程中的操作数据，根据所述操作数据分别从若干个不同的方面获取所述智能体的效能数据；其中，所述智能体的操作数据包括：己方资源运用类数据、己方策略类数据、对敌感知类数据和人机分辨特征类数据。
[0023]根据本专利技术提供的一种支持图灵测试模式的人机对抗系统，还包括对抗观摩模块；
[0024]其中，所述对抗数据采集模块还用于获取所述人机对抗过程中的实时对抗数据；
[0025]所述对抗观摩模块用于对所述实时对抗数据和/或所述复盘对抗数据进行解析，并根据所述实时对抗数据和/或所述复盘对抗数据的解析结果，进行匿名的2D或3D对抗图形展示，以及进行不同战场态势的切换展示。
[0026]本专利技术还提供一种智能体测试方法，包括如下步骤：
[0027]获取人机对抗结果以及人机对抗的复盘对抗数据；其中，通过人类对抗者和智能体在双盲环境下完成所述人机对抗；
[0028]根据所述复盘对抗数据，获取所述智能体的效能数据，并通过图灵问卷的形式，采集所述智能体的外界评价信息；
[0029]根据所述人机对抗结果、所述智能体的外界评价信息和所述智能体的效能数据，获取所述智能体的能力测试结果。
[0030]根据本专利技术提供的一种智能体测试方法，通过人类对抗者和智能体在双盲环境下完成所述人机对抗包括：
[0031]生成对抗的循环赛程，并对所述人类对抗者和所述智能体的系统代号进行编码；其中，对所述人类对抗者和所述智能体的系统代号进行编码用于创建所述双盲环境；
[0032]根据所述循环赛程自动调度所述人机对抗的进程，并在所述人机对抗的进程调度下，通过所述人类对抗者和所述智能体在模拟环境中完成所述人机对抗。
[0033]根据本专利技术提供的一种智能体测试方法，通过所述人类对抗者和所述智能体在模拟环境中完成所述人机对抗包括：
[0034]环境生成步骤：生成所述模拟环境；
[0035]对抗步骤：接收所述人类对抗者和所述智能体发出的动作指令，根据所述动作指令更新所述模拟环境的环境状态和战场态势，并生成实时推演数据；
[0036]循环所述对抗步骤，直至完成所述人机对抗；
[0037]其中，在所述对抗步骤之前，还包括：过滤所述人类对抗者和所述智能体的身份信息。
[0038]根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持图灵测试模式的人机对抗系统，其特征在于，包括：人机对抗模块，用于完成人机对抗；其中，通过人类对抗者和智能体在双盲环境下完成所述人机对抗；对抗数据采集模块，用于获取人机对抗结果以及人机对抗的复盘对抗数据；对抗数据分析模块，用于根据所述复盘对抗数据，获取所述智能体的效能数据；图灵问卷模块，用于通过图灵问卷的形式，采集所述智能体的外界评价信息；对抗成绩管理模块，用于接收并存储所述人机对抗结果、所述智能体的外界评价信息和所述智能体的效能数据，并根据所述人机对抗结果、所述智能体的外界评价信息和所述智能体的效能数据，获取所述智能体的能力测试结果。2.根据权利要求1所述的一种支持图灵测试模式的人机对抗系统，其特征在于，所述人机对抗模块包括：对抗赛程生成模块，用于生成对抗的循环赛程，还用于对所述人类对抗者和所述智能体的系统代号进行编码；其中，对所述人类对抗者和所述智能体的系统代号进行编码用于创建所述双盲环境；对抗调度管理模块，用于根据所述循环赛程，自动调度所述人机对抗的进程；人机对抗功能模块，用于在所述人机对抗的进程调度下，通过所述人类对抗者和所述智能体在模拟环境中完成所述人机对抗。3.根据权利要求2所述的一种支持图灵测试模式的人机对抗系统，其特征在于，所述人机对抗功能模块包括：对抗环境模拟模块，用于生成所述模拟环境；引擎内核模块，用于接收所述人类对抗者和所述智能体发出的动作指令，根据所述动作指令更新所述模拟环境的环境状态和战场态势，并生成实时推演数据；UI模块，用于向所述人类对抗者解析并展示所述实时推演数据，还用于将所述人类对抗者发出的动作指令发送至所述引擎内核模块，还用于过滤所述人类对抗者的身份信息；AI模块，用于向所述智能体解析所述实时推演数据，还用于将所述智能体发出的动作指令发送至所述引擎内核模块，还用于过滤所述智能体的身份信息。4.根据权利要求1所述的一种支持图灵测试模式的人机对抗系统，其特征在于，所述对抗数据分析模块根据所述复盘对抗数据，获取所述智能体的效能数据包括：根据所述复盘对抗数据，获取所述智能体在所述人机对抗过程中的操作数据，根据所述操作数据分别从若干个不同的方面获取所述智能体的效能数据；其中，所述智能体的操作数据包括：己方资源运用类数据、己方策略类数据、对敌感知类数据和人机分辨特征类数据。5.根据权利要求1所述的一种支持图灵测试模式的人机对抗系统，其特征在于，还包括对抗观摩模块；其中，所述对抗数据采集模块还用于...

【专利技术属性】
技术研发人员：倪晚成，徐佳乐，王士贤，黄凯奇，杨旭阳，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：