一种策略信息确定的方法及装置制造方法及图纸

本发明专利技术公开了一种策略信息确定的方法，包括：获取待处理数据，其中，待处理数据包括第一图像和第二图像，第一图像包含交互式应用的场景缩略数据，第二图像包含交互式应用的场景交互数据；通过策略信息模型对第一图像进行处理，得到目标行动数据，其中，策略信息模型为标签样本数据与样本行动数据之间的关系；根据第二图像确定目标对象的目标状态数据；根据目标行动数据以及目标状态数据确定目标对象所对应的策略信息，其中，策略信息用于控制目标对象行动。本发明专利技术还公开了一种策略信息确定装置。本发明专利技术可以实现游戏操作的自动化，对于复杂的游戏场景而言，利用策略信息模型得到的策略信息更接近真实玩家的行为，从而提升方案的灵活性。

Method and device for determining strategy information

The invention discloses a method for determining policy information, including: acquiring data to be processed, wherein the data to be processed includes a first image and a second image, the first image contains scene thumbnail data for interactive application, the second image contains scene interactive data for interactive application, and the first graph through a policy information model. Target action data are obtained by image processing, in which the policy information model is the relationship between the label sample data and the sample action data; the target state data of the target object is determined according to the second image; and the corresponding policy information of the target object is determined according to the target action data and the target state data. A little information is used to control target actions. The invention also discloses a device for determining the strategic information. The invention can realize the automation of game operation, and for complex game scenes, the strategy information obtained by using the strategy information model is closer to the real player's behavior, thereby improving the flexibility of the scheme.

【技术实现步骤摘要】
一种策略信息确定的方法及装置
本专利技术涉及人工智能领域，尤其涉及一种策略信息确定的方法及装置。
技术介绍
目前，交互式应用中通常具有人机互动的模式，或者机器模拟用户操作的模式，比如，在交互式应用中，可以采用行为树进行动作策略的判断与输出。终端设备在判断动作策略时，需要通过一些条件自顶向下地搜索行为树，最终确定要执行的策略信息。然而，虽然可以通过判断行为树中的指定条件来输出策略信息，但是，由于行为树中指定条件是有限的，所以对于复杂的交互式应用场景而言，没有指定的情况而言则不能很好地进行处理，因此，采用行为树的灵活性较低。
技术实现思路
本专利技术实施例提供了一种策略信息确定的方法及装置，可以实现游戏操作的自动化，对于复杂的游戏场景而言，利用策略信息模型得到的策略信息更接近真实玩家的行为，从而提升方案的灵活性。本专利技术的第一方面提供了一种策略信息确定的方法，包括：获取待处理数据，其中，所述待处理数据包括第一图像和第二图像，所述第一图像包含交互式应用的场景缩略数据，所述第二图像包含所述交互式应用的场景交互数据；通过策略信息模型对所述第一图像进行处理，得到目标行动数据，其中，所述策略信息模型为标签样本数据与样本行动数据之间的关系；根据所述第二图像确定目标对象的目标状态数据；根据所述目标行动数据以及所述目标状态数据确定所述目标对象所对应的策略信息，其中，所述策略信息用于控制所述目标对象行动。本专利技术的第二方面提供了一种策略信息确定装置，包括：获取模块，用于获取待处理数据，其中，所述待处理数据包括第一图像和第二图像，所述第一图像包含交互式应用的场景缩略数据，所述第二图像包含所述交互式应用的场景交互数据；处理模块，用于通过策略信息模型对所述获取模块获取的所述第一图像进行处理，得到目标行动数据，其中，所述策略信息模型为标签样本数据与样本行动数据之间的关系；确定模块，用于根据所述获取模块获取的所述第二图像确定目标对象的目标状态数据；所述确定模块，用于根据所述处理模块处理得到的所述目标行动数据以及所述目标状态数据确定所述目标对象所对应的策略信息，其中，所述策略信息用于控制所述目标对象行动。本专利技术的第三方面提供了一种策略信息确定装置，所述策略信息确定装置包括：存储器、收发器、处理器以及总线系统；其中，所述存储器用于存储程序；所述处理器用于执行所述存储器中的程序，包括如下步骤：获取待处理数据，其中，所述待处理数据包括第一图像和第二图像，所述第一图像包含交互式应用的场景缩略数据，所述第二图像包含所述交互式应用的场景交互数据；通过策略信息模型对所述第一图像进行处理，得到目标行动数据，其中，所述策略信息模型为标签样本数据与样本行动数据之间的关系；根据所述第二图像确定目标对象的目标状态数据；根据所述目标行动数据以及所述目标状态数据确定所述目标对象所对应的策略信息，其中，所述策略信息用于控制所述目标对象行动；所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。本专利技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。本专利技术的第五方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。从以上技术方案可以看出，本专利技术实施例具有以下优点：本专利技术实施例中，提供了一种策略信息确定的方法，首先，由策略信息确定装置获取待处理数据，其中，该待处理数据包括第一图像和第二图像，第一图像包含交互式应用的场景缩略数据，第二图像包含交互式应用的场景交互数据，然后通过策略信息模型对第一图像进行处理，得到目标行动数据，再根据第二图像确定目标对象的目标状态数据，最后策略信息确定装置根据目标行动数据以及目标状态数据确定目标对象所对应的策略信息。通过上述方式，可以实现游戏操作的自动化，对于复杂的游戏场景而言，利用策略信息模型可以输出目标行动数据，再结合目标状态数据可以得到策略信息，该策略信息更接近真实玩家的行为，从而提升方案的灵活性。附图说明图1为本专利技术实施例中输出策略信息的一个流程示意图；图2为本专利技术实施例中策略信息确定的方法一个实施例示意图；图3为本专利技术实施例中第一图像的一个实施例示意图；图4为本专利技术实施例中第二图像的一个实施例示意图；图5为本专利技术实施例中策略信息模型的一个实施例示意图；图6为本专利技术实施例中利用行为树确定策略信息的一个流程示意图；图7为本专利技术实施例中策略信息确定装置一个实施例示意图；图8为本专利技术实施例中策略信息确定装置另一个实施例示意图；图9为本专利技术实施例中策略信息确定装置另一个实施例示意图；图10为本专利技术实施例中策略信息确定装置另一个实施例示意图；图11为本专利技术实施例中策略信息确定装置一个结构示意图。具体实施方式本专利技术实施例提供了一种策略信息确定的方法及装置，可以实现游戏操作的自动化，对于复杂的游戏场景而言，利用策略信息模型得到的策略信息更接近真实玩家的行为，从而提升方案的灵活性。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。应理解，本专利技术主要应用于交互式应用程序，具体可以应用于MOBA游戏，这类MOBA游戏的玩法是，在战斗中玩家通常被分为两队，两队在分散的游戏地图中互相竞争，每个玩家都通过一个即时策略(real-timestrategy，RTS)风格的界面控制所选的角色，玩家只控制自己所选的角色，该角色即为“英雄”。具体地，本专利技术还可以采用人工智能(ArtificialIntelligence，AI)来模拟游戏测试的场景，或者人机对战的场景，又或者是智能移动的场景等，此处不做限定。游戏发布往往只是一个开端，随后还需要不断地给游戏增加新的内容。而每一次的更新都需要进行大量的游戏测试，玩家数越多的游戏所需要的测试量也越大，因此，如何进行自动化测试成为了一个亟待解决的问题。本专利技术所提供的策略信息确定方法能够灵活高效地完成自动化测试。为了便于理解，请参阅图1，图1为本专利技术实施例中输出策略信息的一个流程示意图，如图所示，具体地：在步骤S1中，通过终端设备(如手机)对MOBA游戏的界面进行截屏处理，从而得到游戏过程中的截屏图像；在步骤S2中，截屏图像中包括第一图像和第二图像，其中，第一图像即为小地图图像；在步骤S3中，将小地图图像输入至策略信息模型，并输出相应的目标行动数据。其中，策略信息模型具体可以是深度增强学习(DeepReinforcementLearning，DQN)网络模型，DQN是将深度学习与增强学习结合起来，实现从感知到动作的端对端学习的一种全新的算法；在步骤S4中，截屏图像中包括第一图像和第二图像，其中，第二图像即为游本文档来自技高网...

【技术保护点】
1.一种策略信息确定的方法，其特征在于，包括：获取待处理数据，其中，所述待处理数据包括第一图像和第二图像，所述第一图像包含交互式应用的场景缩略数据，所述第二图像包含所述交互式应用的场景交互数据；通过策略信息模型对所述第一图像进行处理，得到目标行动数据，其中，所述策略信息模型为标签样本数据与样本行动数据之间的关系；根据所述第二图像确定目标对象的目标状态数据；根据所述目标行动数据以及所述目标状态数据，确定所述目标对象所对应的策略信息，其中，所述策略信息用于控制所述目标对象行动。

【技术特征摘要】
1.一种策略信息确定的方法，其特征在于，包括：获取待处理数据，其中，所述待处理数据包括第一图像和第二图像，所述第一图像包含交互式应用的场景缩略数据，所述第二图像包含所述交互式应用的场景交互数据；通过策略信息模型对所述第一图像进行处理，得到目标行动数据，其中，所述策略信息模型为标签样本数据与样本行动数据之间的关系；根据所述第二图像确定目标对象的目标状态数据；根据所述目标行动数据以及所述目标状态数据，确定所述目标对象所对应的策略信息，其中，所述策略信息用于控制所述目标对象行动。2.根据权利要求1所述的方法，其特征在于，所述通过策略信息模型对所述第一图像进行处理，得到目标行动数据之前，所述方法还包括：获取所述样本行动数据以及所述标签样本数据，其中，所述样本行动数据用于表示不同的行动策略，所述标签样本数据用于对所述不同的行动策略进行分类；对所述样本行动数据以及所述标签样本数据进行训练，以得到所述策略信息模型。3.根据权利要求1所述的方法，其特征在于，所述通过策略信息模型对所述第一图像进行处理，得到目标行动数据，包括：将所述第一图像输入至所述策略信息模型，并通过所述策略信息模型输出至少一个行动数据的概率；根据所述至少一个行动数据的概率确定所述目标行动数据，其中，所述目标行动数据属于所述至少一个行动数据。4.根据权利要求1所述的方法，其特征在于，所述根据所述第二图像确定目标对象的目标状态数据，包括：获取所述第二图像中的特征数据；对所述第二图像中的特征数据进行处理，得到所述目标对象的目标状态数据。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述目标行动数据以及所述目标状态数据确定所述目标对象所对应的策略信息，包括：判断所述目标状态数据是否满足第一数据处理条件；若所述目标状态数据满足所述第一数据处理条件，则判断所述目标状态数据是否满足第二数据处理条件，若所述目标状态数据满足所述第二数据处理条件，则将第一行动数据确定为所述目标对象所对应的策略信息；若所述目标状态数据不满足所述第一数据处理条件，则将所述目标行动数据确定为所述目标对象所对应的策略信息。6.根据权利要求5所述的方法，其特征在于，所述判断所述目标状态数据是否满足第二数据处理条件，包括：若所述目标状态数据不满足所述第二数据处理条件，则将第二行动数据确定为所述目标对象所对应的策略信息。7.根据权利要求5所述的方法，其特征在于，所述方法还包括：若根据所述目标行动数据以及所述目标状态数据满足第三数据处理条件，则执行第三行动数据对应的策略信息；若根据所述目标行动数据以及所述目标状态数据满足第四数据处理条...

【专利技术属性】
技术研发人员：周大军，张力柯，荆彦青，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44