面向未知策略对手的蒙特卡洛搜索博弈决策方法及系统技术方案

本发明专利技术公开了一种面向未知策略对手的蒙特卡洛搜索博弈决策方法及系统，其中，该方法包括以下步骤：根据空中格斗游戏规则，设计基于专家经验的状态评价函数，用来估计敌方与己方在对战局势中的态势状况；提出融合最大最小博弈思想的蒙特卡洛搜索算法，在面对未知决策方法的空战游戏对手时，输出博弈决策。本发明专利技术实施例的蒙特卡洛搜索博弈决策方法，借鉴最大最小博弈算法敌我双方交替决策的博弈策略思想，在不需要获悉对手博弈策略的前提下，可充分考虑对手决策的各种可能性，并做出相应的应对决策，提升对抗胜率。

【技术实现步骤摘要】
面向未知策略对手的蒙特卡洛搜索博弈决策方法及系统
本专利技术涉及博弈决策
，特别涉及一种一对一空战游戏环境下面向未知策略对手的博弈决策方法及系统。
技术介绍
机器博弈是一门研究如何利用机器学习方法来解决对抗性决策问题的学科。随着人工智能技术的快速发展，机器博弈理论及相关应用已经深入到诸如政治、金融、军事等社会各个领域。例如由DeepMind在2016年以及2017年推出的AlphaGo和AlphaGoZero系统，在围棋类博弈游戏中成功战胜人类高手玩家，这也预示着机器博弈学科有希望，也有能力在未来生活的多个环节中为人类提供辅助决策支持。若以博弈过程中对手信息是否完全进行划分，博弈类问题可以大致归类为完美信息博弈以及不完美信息博弈，不完美信息条件下的博弈过程因为博弈信息的缺失增加了解决问题的难度，然而在实际应用中，由于各种主观以及客观的原因使得博弈信息的缺失成为常态，因此研究不完美信息的博弈过程更具有现实意义。一对一空战游戏是一类典型的博弈决策类游戏，而对手策略未知的对抗环境也是该类游戏的常规设定，因此是一类很有代表性的不完美信息博弈算法实验平台。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种面向未知策略对手的蒙特卡洛搜索博弈决策方法，该方法在不需要获悉对手博弈策略的前提下，可充分考虑对手决策的各种可能性，并做出相应的应对决策，提升对抗胜率。本专利技术的另一个目的在于提出一种面向未知策略对手的蒙特卡洛搜索博弈决策系统。为达到上述目的，本专利技术一方面实施例提出了面向未知策略对手的蒙特卡洛搜索博弈决策方法，包括以下步骤：以在空战格斗游戏环境下敌我双方当前态势对后续对抗局势的影响以及敌我双方的物理约束因素作为参考标准，设计复合状态评价函数；通过所述复合状态评价函数从多个维度描述对抗进展中敌我双方态势的变化情况；根据所述变化情况通过融合最大最小博弈思想的蒙特卡洛搜索算法，在面对未知决策方法的空战游戏对手时，输出博弈决策。本专利技术实施例的面向未知策略对手的蒙特卡洛搜索博弈决策方法，通过最大最小博弈算法敌我双方交替决策的博弈策略思想，提出在己方决策轮选取己方评价体系中得到置信度上界最大的动作，在敌方决策轮选取敌方评价体系中得到置信度上界最大的动作，从而在不需要获悉对手博弈策略的前提下，可充分考虑对手决策的各种可能性，并做出相应的应对决策，提升对抗胜率。另外，根据本专利技术上述实施例的面向未知策略对手的蒙特卡洛搜索博弈决策方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述复合状态评价函包含即时回报项、持续回报项与物理关系合理性约束项。进一步地，在本专利技术的一个实施例中，所述持续回报项包括：以敌我双方的态势优劣持续时间为依据计算回报，我方优或劣态势持续时间越久，对与我方态势评价函数的奖励/惩罚值越大。进一步地，在本专利技术的一个实施例中，还包括：在己方决策轮选取己方评价体系中得到置信度上界最大的动作，在敌方决策轮选取敌方评价体系中得到置信度上界最大的动作。为达到上述目的，本专利技术另一方面实施例提出了面向未知策略对手的蒙特卡洛搜索博弈决策系统，包括：设计模块，用于以在空战格斗游戏环境下敌我双方当前态势对后续对抗局势的影响以及敌我双方的物理约束因素作为参考标准，设计复合状态评价函数；描述模块，用于通过所述复合状态评价函数从多个维度描述对抗进展中敌我双方态势的变化情况；输出模块，用于根据所述变化情况通过融合最大最小博弈思想的蒙特卡洛搜索算法，在面对未知决策方法的空战游戏对手时，输出博弈决策。本专利技术实施例的面向未知策略对手的蒙特卡洛搜索博弈决策系统，通过最大最小博弈算法敌我双方交替决策的博弈策略思想，提出在己方决策轮选取己方评价体系中得到置信度上界最大的动作，在敌方决策轮选取敌方评价体系中得到置信度上界最大的动作，从而在不需要获悉对手博弈策略的前提下，可充分考虑对手决策的各种可能性，并做出相应的应对决策，提升对抗胜率。另外，根据本专利技术上述实施例的面向未知策略对手的蒙特卡洛搜索博弈决策系统还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述复合状态评价函包含即时回报项、持续回报项与物理关系合理性约束项。进一步地，在本专利技术的一个实施例中，所述持续回报项包括：以敌我双方的态势优劣持续时间为依据计算回报，我方优或劣态势持续时间越久，对与我方态势评价函数的奖励/惩罚值越大。可选地，在本专利技术的一个实施例中，还包括：选取模块，用于在己方决策轮选取己方评价体系中得到置信度上界最大的动作，在敌方决策轮选取敌方评价体系中得到置信度上界最大的动作。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的面向未知策略对手的蒙特卡洛搜索博弈决策方法流程图；图2为根据本专利技术一个实施例的蒙特卡洛搜索博弈决策方法模型构建流程图；图3为根据本专利技术一个实施例中采用的一对一空中格斗游戏对战平台中飞机格斗模型示意图；图4为根据本专利技术一个实施例中与敌我双方位置关系相关的变量定义示意图；图5为根据本专利技术一个实施例的面向未知策略对手的蒙特卡洛搜索博弈决策系统结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的面向未知策略对手的蒙特卡洛搜索博弈决策方法及系统，首先将参照附图描述根据本专利技术实施例提出的面向未知策略对手的蒙特卡洛搜索博弈决策方法。图1是本专利技术一个实施例的面向未知策略对手的蒙特卡洛搜索博弈决策方法流程图。如图1所示，该面向未知策略对手的蒙特卡洛搜索博弈决策方法包括以下步骤：在步骤S101中，以在空战格斗游戏环境下敌我双方当前态势对后续对抗局势的影响以及敌我双方的物理约束因素作为参考标准，设计复合状态评价函数。在步骤S102中，通过复合状态评价函数从多个维度描述对抗进展中敌我双方态势的变化情况。也就是说，如图2所示，以在空战格斗游戏环境下敌我双方当前态势对后续对抗局势的影响以及敌我双方的物理约束因素为主要参考标准，设计复合状态评价函数，从多个维度描述对抗进展中敌我双方态势的变化情况，保障己方博弈决策方法优化方向的合理性。进一步地，设计状态评价函数是实现博弈决策方法的重要环节之一，本专利技术实施例综合考虑敌我态势在回报时效、物理约束等层面对最终结果影响的基础上，提出包含即时回报项、持续回报项与物理关系合理性约束项的复合状态评价函数。其中，本文档来自技高网...

【技术保护点】
1.一种面向未知策略对手的蒙特卡洛搜索博弈决策方法，其特征在于，包括以下步骤：/n以在空战格斗游戏环境下敌我双方当前态势对后续对抗局势的影响以及敌我双方的物理约束因素作为参考标准，设计复合状态评价函数；/n通过所述复合状态评价函数从多个维度描述对抗进展中敌我双方态势的变化情况；以及/n根据所述变化情况通过融合最大最小博弈思想的蒙特卡洛搜索算法，在面对未知决策方法的空战游戏对手时，输出博弈决策。/n

【技术特征摘要】
1.一种面向未知策略对手的蒙特卡洛搜索博弈决策方法，其特征在于，包括以下步骤：
以在空战格斗游戏环境下敌我双方当前态势对后续对抗局势的影响以及敌我双方的物理约束因素作为参考标准，设计复合状态评价函数；
通过所述复合状态评价函数从多个维度描述对抗进展中敌我双方态势的变化情况；以及
根据所述变化情况通过融合最大最小博弈思想的蒙特卡洛搜索算法，在面对未知决策方法的空战游戏对手时，输出博弈决策。


2.根据权利要求1所述的面向未知策略对手的蒙特卡洛搜索博弈决策方法，其特征在于，所述复合状态评价函包含即时回报项、持续回报项与物理关系合理性约束项。


3.根据权利要求2所述的面向未知策略对手的蒙特卡洛搜索博弈决策方法，其特征在于，所述持续回报项包括：
以敌我双方的态势优劣持续时间为依据计算回报，我方优或劣态势持续时间越久，对与我方态势评价函数的奖励/惩罚值越大。


4.根据权利要求1所述的面向未知策略对手的蒙特卡洛搜索博弈决策方法，其特征在于，还包括：
在己方决策轮选取己方评价体系中得到置信度上界最大的动作，在敌方决策轮选取敌方评价体系中得到置信度上界最大的动作。


5.一种面向...

【专利技术属性】
技术研发人员：芦维宁，杨君，赵千川，梁斌，谢鸣洲，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11