虚拟角色的动作决策方法技术

本申请公开了一种虚拟角色的动作决策方法

【技术实现步骤摘要】
虚拟角色的动作决策方法、装置、设备及存储介质


[0001]本申请实施例涉及人工智能
，特别涉及一种虚拟角色的动作决策方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]现如今，在策划电子游戏过程中，希望
NPC(Non
‑
Player Character
，非玩家角色
)
的行为逻辑能够与真人玩家的行为逻辑尽可能一致，即使得游戏中的
NPC
具有高拟人
。
[0003]相关技术中，在基于神经网络模型确定虚拟角色的行为逻辑时，通常会根据当前虚拟角色在虚拟环境中的属性信息以及虚拟环境信息进行虚拟角色行为的预测
。
其中，虚拟环境信息可能会根据当前虚拟环境的原始像素图像进行图像识别的方式确定当前虚拟角色所处虚拟环境的信息，并将其输入至神经网络模型，从而控制虚拟角色执行神经网络模型所输出的动作
。
[0004]然而，开放地图的规模较大，场景较为复杂，可能在虚拟环境中存在各种移动的障碍物本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种虚拟角色的动作决策方法，其特征在于，所述方法包括：获取目标虚拟角色的角色状态信息，以及所述目标虚拟角色对当前所处虚拟环境的多模态环境感知信息，其中，所述多模态环境感知信息中不同模态的环境感知信息具有不同的信息维度；通过动作决策模型的编码网络对所述角色状态信息和所述多模态环境感知信息进行特征编码及融合，得到融合特征，其中，所述编码网络通过不同编码方式对所述角色状态信息以及不同模态的环境感知信息进行特征编码；基于所述融合特征，通过所述动作决策模型的决策网络进行动作决策，得到目标动作；控制所述目标虚拟角色执行所述目标动作
。2.
根据权利要求1所述的方法，其特征在于，所述多模态环境感知信息包括第一模态环境感知信息
、
第二模态环境感知信息以及第三模态环境感知信息；所述获取目标虚拟角色对当前所处虚拟环境的多模态环境感知信息，包括：基于所述目标虚拟角色在所述虚拟环境中所处位置，通过射线探测获取所述第一模态环境感知信息，所述第一模态环境感知信息为一维向量，所述第一模态环境感知信息用于表征所述目标虚拟角色周围同一水平高度上障碍物的深度情况；基于所述目标虚拟角色在所述虚拟环境中所处位置以及所述目标虚拟角色的朝向，通过射线探测获取所述第二模态环境感知信息，所述第二模态环境感知信息为所述目标虚拟角色朝向方向上的二维深度图，所述第二模态环境感知信息用于表征所述目标虚拟角色朝向方向上障碍物的深度情况；基于所述目标虚拟角色在所述虚拟环境中所处位置，通过射线探测获取在所述目标虚拟角色的目标范围内所述虚拟环境的所述第三模态环境感知信息，所述第三模态环境感知信息为三维占栅网格图，所述第三模态环境感知信息用于表征所述目标范围内障碍物的空间分布情况
。3.
根据权利要求2所述的方法，其特征在于，所述基于所述目标虚拟角色在所述虚拟环境中所处位置，通过射线探测获取所述第一模态环境感知信息，包括：以所述目标虚拟角色所处位置的至少两种高度为起始点，向四周发射环境感知射线，所述环境感知射线碰撞到障碍物表面的情况下，沿所述环境感知射线的法线方向反射，相同高度发射的不同所述环境感知射线的发射方向位于同一水平高度；根据所述环境感知射线的反射情况，生成所述第一模态环境感知信息
。4.
根据权利要求2所述的方法，其特征在于，所述基于所述目标虚拟角色在所述虚拟环境中所处位置以及所述目标虚拟角色的朝向，通过射线探测获取所述第二模态环境感知信息，包括：以所述目标虚拟角色为起始点，向所述目标虚拟角色的朝向方向发射环境感知射线，其中，所述环境感知射线碰撞到障碍物表面的情况下，沿所述环境感知射线的法线方向反射；根据所述环境感知射线的反射情况，生成所述第二模态环境感知信息
。5.
根据权利要求2所述的方法，其特征在于，所述基于所述目标虚拟角色在所述虚拟环境中所处位置，通过射线探测获取在所述目标虚拟角色的目标范围内所述虚拟环境的所述第三模态环境感知信息，包括：
采用栅格对所述目标虚拟角色目标范围内的所述虚拟环境进行划分，所述栅格为体积相同的立方体；从所述虚拟环境中至少两个方向的起始点向所述占栅网格内发射环境感知射线，并且基于所述环境感知射线的反射情况，生成所述第三模态环境感知信息
。6.
根据权利要求1所述的方法，其特征在于，所述动作决策模型包括所述编码网络以及所述决策网络；所述通过动作决策模型的编码网络对所述角色状态信息和所述多模态环境感知信息进行特征编码及融合，得到融合特征，包括：将所述角色状态信息以及所述多模态环境感知信息输入所述动作决策模型，通过所述编码网络对所述角色状态信息以及所述多模态环境感知信息进行编码，并将编码得到的状态信息编码结果以及感知信息编码结果进行拼接，得到拼接特征编码；通过所述编码网络对所述拼接特征编码进行特征提取，得到所述融合特征
。7.
根据权利要求6所述的方法，其特征在于，所述编码网络包括状态信息编码器以及感知信息编码器，所述感知信息编码器中包含不同维度的卷积核，不同维度的卷积核分别用于对不同模态的所述环境感知信息进行特征编码；所述通过所述编码网络对所述角色状态信息以及所述多模态环境感知信息进行编码，包括：通过所述状态信息编码器对所述角色状态信息进行编码，得到所述状态信息编码结果；通过所述感知信息编码器中一维卷积核对第一模态环境感知信息进行编码，得到第一感知信息编码结果；通过所述感知信息编码器中二维卷积核对第二模态环境感知信息进行编码，得到第二感知信息编码结果；通过所述感知信息编码器中三维卷积核对第三模态环境感知信息进行编码，得到第三感知信息编码结果，所述第一感知信息编码结果
、
所述第二感知信息编码结果以及所述第三感知信息编码结果构成所述感知信息编码结果
。8.
根据权利要求1所述的方法，其特征在于，所述角色状态信息包含绝对状态信息，所述绝对状态信息用于表征所述目标虚拟角色在所述虚拟环境中与其他虚拟角色或障碍物无关的状态信息；所述获取目标虚拟角色的角色状态信息之后，所述方法还包括：对所述角色状态信息中包含的所述绝对状态信息进行泛化处理，得到相对状态信息，所述相对状态信息是所述目标虚拟角色相对于其他虚拟角色或者障碍物的状态信息
。9.
根据权利要求1所述的方法，其特征在于，所述决策网络中包含
n
个动作输出头，
n
个所述动作输出头用于串行输出
n
个目标子动作，不同动作输出头对应不同动作类型，且
n
个所述动作输出头基于所述动作类型之间的依赖关系串行连接，所述依赖关系用于表征不同动作类型下子动作之间的依赖限制情况，
n
个所述目标子动作构成所述目标动作；所述基于所述融合特征，通过所述动作决策模型的决策网络进行动作决策，得到目标动作，包括：将所述融合特征输入所述决策网络中的第一动作输出头，通过所述决策网络中所述第
一动作输出头从第一动作类型的子动作中确定第一目标子动作；将已确定的第一目标子动作至所述第
i
‑1目标子动作对应的嵌入编码向量，以及所述融合特征输入第
i
动作输出头，通过所述第
i
动作输出头从第
i
动作类型的子动作中确定第
i
目标子动作
。10.
根据权利要求9所述的方法，其特征在于，
n
个所述动作输出头中存在至少两个所述动作输出头对应动作类型相同，存在所述第
i
动作输出头对应粗粒度的子动作，存在第
j
动作输出头对应细粒度的子动作，
i
小于
j
；所述通过所述第
i
动作输出头从第
i
动作类型的子动作中确定第
i
目标子动作，包括：通过所述决策网络中所述第
i
动作输出头从粗粒度的所述子动作中确定所述第
i
目标子动作；所述方法还包括：基于所述融合向量以及所述第
i
目标子动作对应的所述嵌入编码向量，通过所述第
j
动作输出头从细粒度的所述子动作中确定第
j
目标子动作，所述第
j
目标子动作所指示的动作范围小于所述第
i
目标动作所指示的动作范围
。11.
根据权利要求9所述的方法，其特征在于，所述过所述第
i
动作输出头从第
i
动作类型的子动作中确定第
i
目标子动作之前，所述方法还包括：基于已确定的所述第一目标子动作至所述第
i
‑1目标子动作，以及不同动作类型中不同子动作之间的依赖限制情况，对所述第
i
动作输出头对应的第
i
动作类型中的子动作进行动作遮罩，所述依赖限制情况指示的具有依赖限制关系的至少两个子动作不支持同时执行；所述通过所述第
i
动作输出头从第
i
动作类型的子动作中确定第
i
目标子动作，包括：通过所述第
i
动作输出头，从所述第
i
动作类型中未被遮罩的子动作中确定所述第
i
目标子动作
。12.
根据权利要求
11
所述的方法，其特征在于，所述方法还包括：以所述目标虚拟角色的眼部位置为起始点，向所述目标虚拟角色朝向方向上的其他虚拟角色的各个部位发射环境感知射线；根据所述环境感知射线的反射情况，确定所述虚拟环境中其他虚拟角色的各个部位的可视情况，所述可视情况用于表征其他虚拟角色各个部位是否被掩体遮挡；所述对所述第
i
动作输出头对应的第
i
动作类型中的子动作进行动作遮罩，包括：基于其他虚拟角色的各个部位的所述可视情况，对目标动作类型中的子动作进行动作遮罩，其中，目标子动作与其他虚拟角色的各个部位的可视情况具有所述依赖限制关系；所述通过所述第
i
动作输出头从第
i
动作类型的子动作中确定第
i
目标子动作，包括：通过目标动作输出头，从所述目标动作类型中未被遮罩的子动作中确定目标子动作
。13.
根据权利要求
11
所述的方法，其特征在于，
n
个所述动作输出头中存在所述第一转向动作输出头对应粗粒度转向动作，以及存在第二转向动作输出头对应细粒度转向动作，所述第一转向动作输出头用于确定目标粗粒度转向角度，所述第二转向动作输出头用于确定目标细粒度转向角度；在所述目标虚拟角色具有瞄准其他虚...

【专利技术属性】
技术研发人员：胡欢，廖詩颺，刘若尘，周圆，
申请(专利权)人：腾讯数码天津有限公司，
类型：发明
国别省市：