FPS游戏的AI模型训练方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种FPS游戏的AI模型训练方法，包括：基于FPS游戏的AI模型获取虚拟角色在当前时间步的第一状态动作价值以及在下一时间步的第二状态动作价值；计算第一状态动作价值和第二状态动作价值的价值差值作为预测奖励；根据预测奖励和实际奖励计算损失函数；实际奖励通过预设的奖励机制计算得到；奖励机制包括：确定虚拟角色在预设的移动方向上的路况类型，根据路况类型和虚拟角色的实际移动方向计算实际奖励；根据损失函数对模型进行优化，直至损失函数收敛。采用本发明专利技术实施例，能够针对复杂的游戏场景进行有效的局面分析，使得训练后的AI模型输出的虚拟角色行为能够更好的模拟真实人类行为，提高用户的游戏体验。提高用户的游戏体验。提高用户的游戏体验。

【技术实现步骤摘要】
FPS游戏的AI模型训练方法、装置、设备和存储介质


[0001]本专利技术涉及模型训练方法，尤其涉及一种FPS游戏的AI模型训练方法、装置、设备和存储介质。

技术介绍

[0002]随着电子竞技行业的逐步发展，第一人称视觉类射击游戏(First
‑
personshootinggame，FPS)越来越受到广泛的关注。对于FPS游戏而言，为保证用户在游戏过程中的良好体验，往往需要构建AI模型并对其进行训练，从而使得该AI模型能够良好地应用在FPS游戏中。现有的游戏模型一般仅能处理相对较为简单的游戏场景，并遵循基础的游戏规则提供游戏策略。虚拟角色根据游戏策略在虚拟场景中做出的动作为用户提供沉浸感和真实性，而这种沉浸感和真实性来源于虚拟角色在虚拟场景中所采取动作的合理性，对于角色是人的虚拟角色而言，人们希望虚拟角色的行为动作都与真实的人尽可能地相似。当面对复杂的游戏场景或者复杂的游戏规则时，比如障碍物判断，游戏模型难以做出有效的局面分析，自然也很难给准确地障碍物判断结果，可能会误导虚拟角色朝着存在障碍物的移动方向移动，导致AI模型使输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种FPS游戏的AI模型训练方法，其特征在于，包括：基于FPS游戏的AI模型获取虚拟角色在当前时间步的第一状态动作价值以及在下一时间步的第二状态动作价值；计算所述第一状态动作价值和所述第二状态动作价值的价值差值作为预测奖励；根据所述预测奖励和实际奖励计算所述FPS游戏的AI模型的损失函数；其中，所述实际奖励通过预设的奖励机制计算得到；所述奖励机制包括：确定所述虚拟角色在预设的移动方向上的路况类型，根据所述路况类型以及所述虚拟角色的实际移动方向计算实际奖励；根据所述损失函数对所述FPS游戏的AI模型进行优化，直至所述损失函数收敛。2.如权利要求1所述的FPS游戏的AI模型训练方法，其特征在于，确定所述虚拟角色在预设的移动方向上的路况类型，包括：以所述虚拟角色当前所处位置向所述移动方向发射两条平行射线；其中，所述两条平行射线的高度差满足预设的高度差阈值；在当前时间步的当前帧检测所述两条平行射线的射线探测情况；根据所述射线探测情况确定在所述移动方向上的障碍物检测情况；根据所述障碍物检测情况确定所述虚拟角色在所述移动方向上的路况类型。3.如权利要求2所述的FPS游戏的AI模型训练方法，其特征在于，根据所述射线探测情况确定在所述移动方向上的障碍物检测情况，包括：当所述射线探测情况为在所述当前时间步的当前帧未检测到有射线返回距离值时，确定该射线在所述移动方向上未检测到障碍物；当所述射线探测情况为在所述当前时间步的当前帧检测到有射线返回距离值时，确定该射线在所述移动方向上检测到障碍物。4.如权利要求1所述的FPS游戏的AI模型训练方法，其特征在于，所述路况类型包括无障碍可通行路况、斜坡可通行路况、有障碍可通行路况和有障碍不可通行路况中的至少一种。5.如权利要求4所述的FPS游戏的AI模型训练方法，其特征在于，根据所述路况类型以及所述虚拟角色的实际移动方向计算实际奖励，包括：当所述虚拟角色的实际移动方向为朝着无障碍可通行路况或斜坡可通行路况移动时，给予正向奖励；当所述虚拟角色的实际移动方向为朝着有障碍不可通行路况移动时，给予负向奖励；当所述虚拟角色的实际移动方向为朝着有障碍可通行路况移动，且检测到所述虚拟角色采取跳跃动作时，给予正向奖励；当所述虚拟角色的实际移动方向为朝着有障碍可通行路况移动，且检测到所述虚拟角色未采取跳跃动作时，给予负向奖励。6.如权利要求1所述的FPS游戏的AI...

【专利技术属性】
技术研发人员：刘舟，徐键滨，吴梓辉，徐雅，王理平，
申请(专利权)人：广州三七极耀网络科技有限公司，
类型：发明
国别省市：