一种自动化游戏方法和装置制造方法及图纸

本申请实施例公开了一种自动化游戏方法和装置，在对目标游戏进行自动化游戏时，将当前游戏画面作为目标游戏的第一游戏画面，根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作。若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列，在所述目标游戏中根据所述第一动作序列实施游戏动作。由此可以通过少量人工录制的游戏样本实现游戏的自动化，提高了实现游戏AI的效率。

An Automated Game Method and Device

【技术实现步骤摘要】
一种自动化游戏方法和装置
本申请涉及数据处理领域，特别是涉及一种自动化游戏方法和装置。
技术介绍
随着人工智能(ArtificialIntelligence，AI)的发展，可以将人工智能应用于智能终端侧的游戏中，通过人工智能自动化进行游戏，从而实现陪玩、查找游戏bug等各类游戏辅助功能，以提高真实用户的游戏体验。目前主流的人工智能游戏自动化方法是通过强化学习网络，例如通过构建基于深度Q网络算法的强化学习网络，根据采集的游戏画面返回游戏动作，随后得到动作对应的奖励，通过游戏奖励来调整网络参数，以响应出更合理的游戏动作。这种方式需要对游戏逻辑、游戏方式等进行不断的探索，导致整个网络训练过程消耗大量时间和投入大量数据处理设备，短时间内很难得到很好的效果，难以适应层出不穷的游戏需求。
技术实现思路
为了解决上述技术问题，本申请提供了一种自动化游戏方法和装置，可以通过少量人工录制的游戏样本实现游戏的自动化，提高了实现游戏AI的效率。本申请实施例公开了如下技术方案：第一方面，本申请实施例提供了一种自动化游戏方法，所述方法包括：获取目标游戏的第一游戏画面；根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作；若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列；在所述目标游戏中根据所述第一动作序列实施游戏动作。第二方面，本申请实施例提供了一种自动化游戏装置，所述装置包括获取单元、匹配单元、生成单元和实施单元：所述获取单元，用于获取目标游戏的第一游戏画面；所述匹配单元，用于根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作；所述生成单元，用于若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列；所述实施单元，用于在所述目标游戏中根据所述第一动作序列实施游戏动作。第三方面，本申请实施例提供了一种用于自动化游戏的设备，所述设备包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行如第一方面所述的自动化游戏方法。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如第一方面所述的自动化游戏方法。由上述技术方案可以看出，在对目标游戏进行自动化游戏时，将当前游戏画面作为目标游戏的第一游戏画面，根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作。若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列，在所述目标游戏中根据所述第一动作序列实施游戏动作。由此可以通过少量人工录制的游戏样本实现游戏的自动化，提高了实现游戏AI的效率。另外，根据包括多个连续游戏动作的动作序列进行自动化游戏的方式，利用了玩家短时间内游戏动作之间的潜在联系，能更好模拟玩家的游戏行为。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1a为一种枪战游戏的游戏画面示意图；图1b为两种不同时刻下的枪战游戏的游戏画面示意图；图2为本申请实施例提供的一种自动化游戏方法的应用场景示意图；图3为本申请实施例提供的一种自动化游戏方法的流程图；图4为本申请实施例提供的一种录制游戏样本的场景示意图；图5为本申请实施例提供的一种游戏画面和对应的游戏动作的示意图；图6为本申请实施例提供的一种生成第一动作序列的方法示意图；图7为本申请实施例提供的一种自动化游戏方法的流程图；图8为本申请实施例提供的一种自动化游戏装置的结构图；图9为本申请实施例提供的一种用于自动化游戏的设备的结构图；图10为本申请实施例提供的一种服务器的结构图。具体实施方式下面结合附图，对本申请的实施例进行描述。目前，主要通过强化学习网络来实现游戏自动化。由于该方式需要对游戏逻辑等进行不断的探索，从而导致整个网络的训练过程需要消耗大量时间和投入大量数据处理设备，由此很难在短时间内得到很好的效果。实际上，针对于快速实现自动化游戏，是一个具有挑战的难题。比如：针对于自动化枪战游戏，参见图1a，该图示出了一种枪战游戏的游戏画面示意图，在枪战游戏的游戏画面中，通常会出现较大的尺度、光影、视角等变化，即枪战游戏的游戏画面通常较为复杂，参见图1b，该图示出了两种不同时刻下的枪战游戏的游戏画面示意图，如图1b所示，可以看到，这两张游戏画面中的光照和敌人所占的比例大小都有较大变化。此外，在终端设备中也很少有为游戏提供的应用程序编程接口(ApplicationProgrammingInterface，API)，即很难在自动化游戏时直接从接口获得当前的游戏状态。可见，很难快速实现游戏的自动化。为此，本申请实施例提供了一种自动化游戏方法，其核心思想为：基于少量人工录制的游戏样本，通过游戏画面匹配的方式，以将游戏样本中的动作序列传递至游戏自动化过程中，使得在自动化游戏时，尽量学习游戏样本中的游戏动作来实现自动化游戏，从而提高了实现游戏AI的效率。此外，在游戏画面匹配时会传递包括多个连续游戏动作的动作序列，通过实施所述动作序列进行自动化游戏的方式，利用了玩家短时间内游戏动作之间的潜在联系，能更好模拟玩家的游戏行为。首先，对本申请实施例的应用场景进行介绍。该方法可以应用到终端设备中，终端设备例如可以是智能终端、计算机、个人数字助理(PersonalDigitalAssistant，简称PDA)、平板电脑等设备。该自动化游戏方法还可以应用到服务器中，服务器是向终端设备提供自动化游戏服务的设备，终端设备可以将目标游戏的第一游戏画面上传给服务器，服务器利用本申请实施例提供的自动化游戏方法，以控制所述终端设备实施游戏动作。其中，服务器可以是独立的服务器，也可以是集群中的服务器。为了便于理解本申请的技术方案，下面结合实际应用场景，以服务器为例对本申请实施例提供的自动化游戏方法进行介绍。参见图2，图2为本申请实施例提供的一种自动化游戏方法的应用场景示意图。该应用场景中包括服务器201，其中，该服务器201中可以保存有目标游戏对应的人工样本。该人工样本中可以包括游戏画面和对应的游戏动作。其中，针对于该人工样本，比如它可以是根据预先录制的真人玩家进行目标游戏的视频(游戏样本)获取的，这样，该人工样本中包括的游戏画面可以是真人玩家进行目标游戏时生成的游戏画面，游戏画面对应的游戏动作可以是在目标游戏显示所述游戏画面时真人玩家实施的游戏动作。此外，该人工样本包括游戏时序，也就是说，该人工样本的游戏画面具有相应的时序位置，所述游戏画本文档来自技高网...

【技术保护点】
1.一种自动化游戏方法，其特征在于，所述方法包括：获取目标游戏的第一游戏画面；根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作；若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列；在所述目标游戏中根据所述第一动作序列实施游戏动作。

【技术特征摘要】
1.一种自动化游戏方法，其特征在于，所述方法包括：获取目标游戏的第一游戏画面；根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，所述人工样本包括游戏画面和对应的游戏动作；若所述第一游戏画面与所述人工样本中的第二游戏画面符合匹配关系，根据所述第二游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第一动作序列；在所述目标游戏中根据所述第一动作序列实施游戏动作。2.根据权利要求1所述的方法，其特征在于，在所述目标游戏中根据所述第一动作序列实施游戏动作之后，所述方法还包括：获取所述目标游戏的第三游戏画面；根据所述第二游戏画面的时序位置，从所述人工样本中确定候选游戏画面集，所述候选游戏画面集中的游戏画面的时序位置与所述第二游戏画面的时序位置满足预设条件；根据所述第三游戏画面与所述候选游戏画面集进行匹配，若所述第三游戏画面与所述候选游戏画面集中的第四游戏画面符合匹配关系，根据所述第四游戏画面对应的游戏动作，以及所述人工样本的游戏时序生成包括多个游戏动作的第二动作序列；在所述目标游戏中根据所述第二动作序列实施游戏动作。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配，包括：若所述第一游戏画面与所述人工样本中的游戏画面均不符合所述匹配关系，在所述目标游戏中实施预定游戏动作；将实施了所述预定游戏动作后的游戏画面作为所述第一游戏画面，执行所述根据所述第一游戏画面与所述目标游戏对应的人工样本中的游戏画面进行匹配的步骤。4.根据权利要求1-3任意一项所述的方法，其特征在于，一个人工样本中的游戏动作包括动作类型和动作时间，一个动作序列包括游戏动作的顺序和间隔信息。5.根据权利要求1-3任意一项所述的方法，其特征在于，一个动作序列中游戏动作的数量是根据执行误差和动作时序信息确定的。6.一种自动化游戏装置，其特征在于，所述装置包括获取单元、匹...

【专利技术属性】
技术研发人员：黄超，周大军，张力柯，荆彦青，
申请(专利权)人：深圳市腾讯网域计算机网络有限公司，
类型：发明
国别省市：广东,44