人工智能AI模型的训练方法、装置、设备及介质制造方法及图纸

本申请公开了一种人工智能AI模型的训练方法、装置、设备及介质，涉及人工智能的机器学习领域。该方法包括：调用人工智能AI模型在游戏程序中进行游戏对局获得训练数据，训练数据包括游戏对局中的参考游戏状态、决策网络根据参考游戏状态输出的目标游戏动作和价值网络根据参考游戏状态输出的状态价值，状态价值包括在k个价值分类上的k个状态子价值，k为大于1的整数；根据训练数据以及k个价值分类对应的k个价值计算公式，计算人工智能AI模型在参考游戏状态采用目标游戏动作的动作价值，动作价值包括在k个价值分类上的k个动作子价值；根据状态价值和动作价值之差，训练人工智能AI模型。该方法可以提高价值网络预估状态价值的准确性。

【技术实现步骤摘要】
人工智能AI模型的训练方法、装置、设备及介质
本申请实施例涉及人工智能的机器学习领域，特别涉及一种人工智能AI模型的训练方法、装置、设备及介质。
技术介绍
强化学习是机器学习的范式和方法论之一，用于描述和解决智能体(agent，又称“代理”)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。基于强化学习设计的AI(ArtificialIntelligence，人工智能)模型可以进行游戏决策赢得游戏胜利。AI模型包括决策网络和价值网络，决策网络用于根据游戏状态确定动作指令，价值网络用于评估游戏状态的价值，在AI模型的训练阶段需要根据价值网络输出的价值引导决策网络向价值最大化的方向进行策略决策，因此，价值网络能否准确预估游戏状态的价值显得尤为重要。在MOBA游戏中，相关技术的AI模型根据执行动作后，每个时刻游戏状态的变化计算每个时刻的时刻价值，其中，一个时刻的时刻价值是根据游戏状态中的多个游戏参数的价值因子计算得到的，然后根据每个时刻的衰减因子将多个时刻价值进行加权求和得到动作价值，根据动作价值训练价值网络准确预估执行该动作后游戏状态的状态价值。其中，衰减因子代表该动作的影响长度，动作产生的影响在最近一段时间内影响程度较大，衰减因子较大；随着时间的推移影响程度逐渐减小，衰减因子逐渐减小。但由于MOBA游戏的游戏环境复杂，由于执行动作导致游戏参数改变，不同的游戏参数的改变对策略决策的影响程度也是不同的，例如，敌方小兵死亡对对局的影响长度远小于敌方防御塔被摧毁的影响长度。相关技术中的方法只考虑了时间上的衰减，所有游戏参数的价值因子的影响长度是一致的，价值网络无法准确状态价值。
技术实现思路
本申请实施例提供了一种人工智能AI模型的训练方法、装置、设备及介质，可以提高价值网络预估状态价值的准确性。所述技术方案如下：一方面，提供了一种人工智能AI模型的训练方法，所述人工智能AI模型包括价值网络和决策网络，所述方法包括：调用所述人工智能AI模型在游戏程序中进行游戏对局获得训练数据，所述训练数据包括所述游戏对局中的参考游戏状态、所述决策网络根据所述参考游戏状态输出的目标游戏动作和所述价值网络根据所述参考游戏状态输出的状态价值，所述状态价值包括在k个价值分类上的k个状态子价值，k为大于1的整数；根据所述训练数据以及所述k个价值分类对应的k个价值计算公式，计算所述人工智能AI模型在所述参考游戏状态采用所述目标游戏动作的动作价值，所述动作价值包括在所述k个价值分类上的k个动作子价值；根据所述状态价值和所述动作价值之差，训练所述人工智能AI模型。另一方面，提供了一种人工智能AI模型的训练装置，所述人工智能AI模型包括价值网络和决策网络，所述装置包括：模型模块，用于调用所述人工智能AI模型在游戏程序中进行游戏对局获得训练数据，所述训练数据包括所述游戏对局中的参考游戏状态、所述决策网络根据所述参考游戏状态输出的目标游戏动作和所述价值网络根据所述参考游戏状态输出的状态价值，所述状态价值包括在k个价值分类上的k个状态子价值，k为大于1的整数；计算模块，用于根据所述训练数据以及所述k个价值分类对应的k个价值计算公式，计算所述人工智能AI模型在所述参考游戏状态采用所述目标游戏动作的动作价值，所述动作价值包括在所述k个价值分类上的k个动作子价值；训练模块，用于根据所述状态价值和所述动作价值之差，训练所述人工智能AI模型。另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的人工智能AI模型的训练方法。另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的人工智能AI模型的训练方法。另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的人工智能AI模型的训练方法。本申请实施例提供的技术方案带来的有益效果至少包括：通过分类计算游戏状态的状态价值和动作价值，将AI模型对状态的价值预估细分到不同的价值分类中，使AI模型从多个价值分类的角度对游戏状态进行预估。采用不同的价值计算公式来计算动作价值，用动作价值来训练AI模型对不同价值分类的状态价值的计算，使AI模型能够从多个角度进行状态价值的预估，提高AI模型对游戏状态的状态价值的准确度，从而提高价值对AI模型训练的可信度，进而提高AI模型的决策能力。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本申请一个示例性实施例提供的计算机系统的结构框图；图2是本申请另一个示例性实施例提供的AI模型的训练方法的方法流程图；图3是本申请另一个示例性实施例提供的AI模型的训练方法的对局界面示意图；图4是本申请另一个示例性实施例提供的AI模型的训练方法的方法流程图；图5是本申请另一个示例性实施例提供的AI模型的训练方法的方法流程图；图6是本申请另一个示例性实施例提供的AI模型的训练方法的游戏状态提取的示意图；图7是本申请另一个示例性实施例提供的AI模型的训练方法的游戏状态提取的示意图；图8是本申请另一个示例性实施例提供的AI模型的训练方法的价值网络的示意图；图9是本申请另一个示例性实施例提供的AI模型的训练方法的衰减因子与时刻的关系示意图；图10是本申请另一个示例性实施例提供的AI模型的训练方法的方法流程图；图11是本申请另一个示例性实施例提供的AI模型的训练装置的装置框图；图12是本申请另一个示例性实施例提供的终端的框图；图13是本申请另一个示例性实施例提供的服务器的框图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。首先对本申请实施例涉及的若干个名词进行简单介绍。人工智能(ArtificialIntelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似本文档来自技高网...

【技术保护点】
1.一种人工智能AI模型的训练方法，其特征在于，所述人工智能AI模型包括价值网络和决策网络，所述方法包括：/n调用所述人工智能AI模型在游戏程序中进行游戏对局获得训练数据，所述训练数据包括所述游戏对局中的参考游戏状态、所述决策网络根据所述参考游戏状态输出的目标游戏动作和所述价值网络根据所述参考游戏状态输出的状态价值，所述状态价值包括在k个价值分类上的k个状态子价值，k为大于1的整数；/n根据所述训练数据以及所述k个价值分类对应的k个价值计算公式，计算所述人工智能AI模型在所述参考游戏状态采用所述目标游戏动作的动作价值，所述动作价值包括在所述k个价值分类上的k个动作子价值；/n根据所述状态价值和所述动作价值之差，训练所述人工智能AI模型。/n

【技术特征摘要】
1.一种人工智能AI模型的训练方法，其特征在于，所述人工智能AI模型包括价值网络和决策网络，所述方法包括：
调用所述人工智能AI模型在游戏程序中进行游戏对局获得训练数据，所述训练数据包括所述游戏对局中的参考游戏状态、所述决策网络根据所述参考游戏状态输出的目标游戏动作和所述价值网络根据所述参考游戏状态输出的状态价值，所述状态价值包括在k个价值分类上的k个状态子价值，k为大于1的整数；
根据所述训练数据以及所述k个价值分类对应的k个价值计算公式，计算所述人工智能AI模型在所述参考游戏状态采用所述目标游戏动作的动作价值，所述动作价值包括在所述k个价值分类上的k个动作子价值；
根据所述状态价值和所述动作价值之差，训练所述人工智能AI模型。


2.根据权利要求1所述的方法，其特征在于，所述参考游戏状态包括至少k个游戏信息，所述k个价值分类是根据所述游戏信息对所述游戏对局的影响划分的，属于同一个价值分类的所述游戏信息具有相同的影响衰减趋势；
所述根据所述训练数据以及所述k个价值分类对应的k个价值计算公式，计算所述人工智能AI模型在所述参考游戏状态采用所述目标游戏动作的动作价值，包括：
获取所述训练数据中从t0时刻到tn时刻的游戏状态，所述参考游戏状态是所述t0时刻的游戏状态，所述tn时刻是所述游戏对局的结束时刻，n为正整数；
对于所述k个价值分类中的第j个价值分类，根据从所述t0时刻到所述tn时刻的所述游戏状态中，属于所述第j个价值分类的所述游戏信息，计算所述目标游戏动作在所述第j个价值分类的动作子价值，j为小于等于k的正整数，k为大于1的整数；重复本步骤计算得到所述目标游戏动作在所述k个价值分类上的所述k个动作子价值。


3.根据权利要求2所述的方法，其特征在于，所述对于所述k个价值分类中的第j个价值分类，根据从所述t0时刻到所述tn时刻的所述游戏状态中，属于所述第j个价值分类的所述游戏信息，计算所述目标游戏动作在所述第j个价值分类的动作子价值，包括：
对于所述k个价值分类中的所述第j个价值分类，根据ti时刻和ti+1时刻的所述游戏状态，获取属于所述第j个价值分类的所述游戏信息的价值因子，计算所述价值因子的加权和得到所述ti时刻的时刻价值；重复本步骤计算得到从t0时刻至tn-1时刻共n个时刻的n个时刻价值；
根据所述n个时刻在所述第j个价值分类中对应的n个衰减因子，计算所述n个时刻的所述n个时刻价值的加权和，得到所述目标游戏动作在所述第j个价值分类的所述动作子价值；
其中，所述ti时刻的衰减因子用于描述所述ti时刻的所述时刻价值的衰减程度，j为小于等于k的正整数，k为大于1的整数，i为小于n的非负整数，n为正整数。


4.根据权利要求1至3任一所述的方法，其特征在于，所述参考游戏状态包括游戏信息；所述价值分类包括：稠密价值分类、稀疏价值分类、英雄价值分类、防御塔价值分类、游戏胜负价值分类中的至少两种；
其中，所述稠密价值分类和所述稀疏价值分类是根据所述游戏信息对所述游戏对局的影响时间长度划分的；所述英雄价值分类和所述防御塔价值分类是根据所述游戏信息对所述游戏对局的影响重要程度划分的；所述游戏胜负价值分类中包括决定所述游戏对局是否结束的所述游戏信息。


5.根据权利要求1至3任一所述的方法，其特征在于，所述人工智能AI模型还包括：特征提取网络；
所述调用所述人工智能AI模型在游戏程序中进行游戏对局获得训练数据，包括以下步骤：
从所述游戏程序中获取所述参考游戏状态；
调用所述特征提取网络对所述参考游戏状态进行特征提取获得参考游戏状态特征；
调用所述决策网络对所述参考游戏状态特征进行决策预估得到决策结果，所述决策结果包括至少一个候选动作对应的至少一个概率值；执行所述决策结果中所述概率值最大的所述目标游戏动作；
调用所述价值网络对所参考游戏状态特征进行价值预估得到所述状态价值；
重复上述步骤调用所述人工智能AI模型在游戏程序中进行游戏对局，获得所述训练数据。

<...

【专利技术属性】
技术研发人员：韩国安，邱福浩，王亮，付强，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44