一种游戏对象的控制方法、装置、介质以及设备制造方法及图纸

本申请公开了一种游戏对象的控制方法，包括：获取游戏对象参与游戏时的游戏图像，并判断游戏图像中是否存在游戏对象的对手对象；若否，将所述游戏图像输入第一策略模型，获取第一策略模型输出的动作概率向量，根据动作概率向量选择概率最大的动作作为目标动作，控制游戏对象执行目标动作以实现游戏内地图探索；若是，将游戏图像输入第二策略模型，获取所述第二策略模型输出的动作价值向量，根据所述动作价值向量选择价值最大的动作作为目标动作，控制所述游戏对象执行目标动作以实现与对手对象进行战斗。该方法中将游戏对象的控制分解为地图探索和战斗，缩减了训练时间，模型具有较好的性能。本申请还公开了一种装置、设备及介质。

A Game Object Control Method, Device, Medium and Equipment

This application discloses a control method for game objects, which includes: acquiring the game image when the game object participates in the game, and judging whether there is an opponent object in the game image; if not, input the game image into the first strategy model, obtain the action probability vector output from the first strategy model, and select the action with the greatest probability as the action according to the action probability vector. Target action controls the game object to execute the target action in order to realize the map exploration in the game; if the game image is input into the second strategy model, the action value vector output by the second strategy model is obtained, and according to the action value vector, the action with the greatest value is selected as the target action, and the game object is controlled to execute the target action in order to fight the opponent. Bucket. In this method, the control of game object is decomposed into map exploration and battle, which reduces the training time, and the model has good performance. The application also discloses a device, device and medium.

【技术实现步骤摘要】
一种游戏对象的控制方法、装置、介质以及设备
本申请涉及游戏人工智能
，尤其涉及一种游戏对象的控制方法、装置、计算机存储介质以及设备。
技术介绍
目前在游戏开发及应用中，很多场景下都会用到人工智能，称为游戏人工智能(ArtificialIntelligence，AI)即游戏AI。例如，在游戏开发过程中，游戏AI可以替代测试人员的角色，通过游戏AI玩游戏获得测试数据，以实现游戏性能测试；再例如，在游戏应用过程中，游戏玩家在掉线或其他场景下，可以主动选择游戏AI自动处理。还有可能在游戏人数不够时，为了使得游戏能正常进行，也选择一些游戏AI来与真人进行游戏。目前游戏AI主要有两种实现方案，一种是基于脚本的实现方案，其优点是实现简单，运算开销小，其缺点是行为模式死板，该方案只适合一些场景简单的游戏中，而在策略类游戏例如第一人称射击游戏(FPS)中，场景随机性很强，该方案无法适用。另一种是基于深度强化学习的实现方案，该方案主要是基于深度强化学习算法，通过在线训练单一的神经网络模型实现游戏AI，由于该模型只有在较多训练样本的情况下才会具有较好的性能，然而在线训练过程中样本数据的产生效率非常低本文档来自技高网...

【技术保护点】
1.一种游戏对象的控制方法，其特征在于，包括：获取游戏对象参与游戏时的游戏图像，并判断所述游戏图像中是否存在所述游戏对象的对手对象；若否，将所述游戏图像输入第一策略模型，获取所述第一策略模型输出的动作概率向量，根据所述动作概率向量选择概率最大的动作作为目标动作，控制所述游戏对象执行目标动作以实现游戏内地图探索；所述第一策略模型是利用模仿学习算法离线学习得到的深度神经网络模型；若是，将所述游戏图像输入第二策略模型，获取所述第二策略模型输出的动作价值向量，根据所述动作价值向量选择价值最大的动作作为目标动作，控制所述游戏对象执行目标动作以实现与对手对象进行战斗；所述第二策略模型是利用深度强化学习算法...

【技术特征摘要】
1.一种游戏对象的控制方法，其特征在于，包括：获取游戏对象参与游戏时的游戏图像，并判断所述游戏图像中是否存在所述游戏对象的对手对象；若否，将所述游戏图像输入第一策略模型，获取所述第一策略模型输出的动作概率向量，根据所述动作概率向量选择概率最大的动作作为目标动作，控制所述游戏对象执行目标动作以实现游戏内地图探索；所述第一策略模型是利用模仿学习算法离线学习得到的深度神经网络模型；若是，将所述游戏图像输入第二策略模型，获取所述第二策略模型输出的动作价值向量，根据所述动作价值向量选择价值最大的动作作为目标动作，控制所述游戏对象执行目标动作以实现与对手对象进行战斗；所述第二策略模型是利用深度强化学习算法在线学习得到的深度神经网络模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：从游戏玩家操作视频中提取样本以生成样本集，所述样本集中的每个样本包括帧图像与其对应的动作标签，所述动作标签标识游戏对象在游戏图像中实施的动作；采用模仿学习算法根据所述样本集对初始深度神经网络模型进行训练，以得到满足训练结束条件的深度神经网络模型，作为所述第一策略模型。3.根据权利要求2所述的方法，其特征在于，所述从游戏玩家操作视频中提取样本以生成样本集，包括：利用图像识别算法识别游戏玩家操作视频中帧图像，得到每一帧图像各自对应的动作标签；将所述游戏玩家操作视频中的每一帧图像及其对应的动作标签作为样本；根据所述样本生成样本集。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：比较所述样本集中每个帧图像与其前一帧的帧图像，以及比较所述样本集中每个帧图像与其前一帧的动作标签；若某个帧图像与其前一帧图像的图像相似且动作标签不一致，则将所述样本集中所述某个帧图像对应的动作标签更改为所述前一帧图像对应的动作标签。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：若某个帧图像没有对应的动作，且其前一帧图像对应的动作标签标识指定类型动作，则将所述样本集中所述某个帧图像对应的动作标签更改为所述前一帧图像对应的动作标签；若某个帧图像没有对应的动作，且其前一帧图像对应的动作标签标识非指定类型动作，则从所述样本集中删除所述某个帧图像所对应的样本。6.根据权利要求1所述的方法，其特征...

【专利技术属性】
技术研发人员：黄盈，周大军，
申请(专利权)人：深圳市腾讯网络信息技术有限公司，
类型：发明
国别省市：广东,44