游戏控制方法、装置、存储介质和电子设备制造方法及图纸

本申请提供一种游戏控制方法、装置、存储介质和电子设备，属于计算机技术领域，涉及人工智能和计算机视觉技术。当确定游戏界面被弹框卡住时，获取游戏界面图像，通过在游戏界面图像中确定弹框的操作按键对应的操作区域，并根据确定出的操作区域，对游戏界面中的弹框执行相应操作，使游戏可以继续自动化运行。

【技术实现步骤摘要】
游戏控制方法、装置、存储介质和电子设备
本申请涉及计算机
，更具体地说，涉及一种游戏控制方法、装置、存储介质和电子设备。
技术介绍
电子游戏(下文简称游戏)是依托于电子设备平台而运行的游戏，可以分为网络游戏和单机游戏。在游戏运行过程中，经常会不定时地在游戏界面中出现弹框，如功能介绍弹框、供用户选择不同操作的弹框、广告弹框等。在一些场景中，游戏需要自动化运行。例如，游戏在开发过程中以及在上市之前，均需要对游戏进行测试，以验证其能否正常运行。对游戏进行测试时，需要游戏自动化运行。在游戏自动化运行过程中，如果游戏界面中弹出弹框，游戏会被弹框卡住而中止运行，无法达到测试目的。
技术实现思路
为解决现有存在的技术问题，本申请实施例提供一种游戏控制方法、装置、存储介质和电子设备，可以缓解游戏被弹框卡住而中止自动化运行。为达到上述目的，本申请实施例的技术方案是这样实现的：第一方面，本申请实施例提供一种游戏控制方法，包括：确定游戏界面被弹框卡住时，获取游戏界面图像；按照弹框模板库的优先级顺序，优先从高优先级的弹框模板库中获取弹框模板图像，并将获取的弹框模板图像与所述游戏界面图像进行匹配；若在所述游戏界面图像中匹配到从弹框模板库中获取的弹框模板图像，则根据匹配出的弹框模板图像中的操作按键所在的目标区域，在所述游戏界面图像中确定弹框的操作按键对应的操作区域；根据确定出的操作区域，对所述游戏界面中的弹框执行相应操作。第二方面，本申请实施例提供一种游戏控制方法，包括：确定游戏界面被弹框卡住时，获取游戏界面图像；从弹框模板库中获取弹框模板图像，并将获取的弹框模板图像与所述游戏界面图像进行匹配；若在所述游戏界面图像中匹配到从所述弹框模板库中获取的弹框模板图像，则根据匹配出的弹框模板图像中的操作按键所在的目标区域，在所述游戏界面图像中确定弹框的操作按键对应的操作区域；若对于所述弹框模板库中的所有弹框模板图像，在所述游戏界面图像中均未匹配到，通过已训练的按键识别模型在所述游戏界面图像中确定弹框的操作按键对应的操作区域；根据确定出的操作区域，对所述游戏界面中的弹框执行相应操作。第三方面，本申请实施例提供一种游戏控制装置，包括：图像获取单元，用于确定游戏界面被弹框卡住时，获取游戏界面图像；图像匹配单元，用于按照弹框模板库的优先级顺序，优先从高优先级的弹框模板库中获取弹框模板图像，并将获取的弹框模板图像与所述游戏界面图像进行匹配；操作区域确定单元，用于若在所述游戏界面图像中匹配到从弹框模板库中获取的弹框模板图像，则根据匹配出的弹框模板图像中的操作按键所在的目标区域，在所述游戏界面图像中确定弹框的操作按键对应的操作区域；操作执行单元，用于根据确定出的操作区域，对所述游戏界面中的弹框执行相应操作。在一种可选的实施例中，所述弹框模板库至少两个，各个弹框模板库是根据弹框的类型划分的，每个弹框模板库中包括的弹框模板图像对应的弹框类型相同，高优先级弹框模板库的弹框类型对应的弹框，在所述游戏中的弹出概率高于低优先级弹框模板库的弹框类型对应的弹框。在一种可选的实施例中，所述弹框的类型至少包括游戏弹框和设备弹框，弹框模板库至少包括游戏弹框模板库和设备弹框模板库，所述游戏弹框模板库的优先级高于所述设备弹框模板库的优先级。在一种可选的实施例中，所述图像匹配单元，具体用于：采用滑动窗口按照设定步长遍历所述游戏界面图像，得到多个窗口区域；所述滑动窗口与获取的弹框模板图像的尺寸相同；确定获取的弹框模板图像与所述多个窗口区域的相似度值中的最大相似度值；当所述最大相似度值满足设定的置信度时，确定所述最大相似度值对应的窗口区域与获取的弹框模板图像相匹配。在一种可选的实施例中，所述图像匹配单元，具体用于：确定获取的弹框模板图像与每个窗口区域的相似度值；将获取的弹框模板图像与每个窗口区域的相似度值按照每个窗口区域在所述游戏界面图像中的位置保存为相似度矩阵；从所述相似度矩阵中选择最大相似度值。在一种可选的实施例中，所述操作区域确定单元，还用于：若每个弹框模板库中的所有弹框模板图像，在所述游戏界面图像中均未匹配到，通过已训练的按键识别模型在所述游戏界面图像中确定弹框的操作按键对应的操作区域。在一种可选的实施例中，所述按键识别模型包括特征提取网络和回归网络；所述操作区域确定单元，还用于：通过所述特征提取网络对所述游戏界面图像进行特征提取，得到所述游戏界面图像的特征图；将得到的所述特征图输入所述回归网络，得到所述回归网络输出的所述游戏界面图像包含的操作按键的按键位置；根据所述回归网络输出的按键位置确定弹框的操作按键对应的操作区域。在一种可选的实施例中，所述按键识别模型还包括分类网络；得到所述游戏界面图像的特征图之后，所述操作区域确定单元，还用于：将得到的所述特征图输入所述分类网络，得到所述分类网络输出的每个按键位置上的操作按键对应的按键类型；根据所述回归网络输出的按键位置确定弹框的操作按键对应的操作区域，包括：若所述回归网络输出多个按键位置，根据预设的按键类型的点击优先级，从所述分类网络输出的按键类型中，选择点击优先级最高的按键类型；将点击优先级最高的按键类型的操作按键对应的按键位置作为操作区域。在一种可选的实施例中，图像获取单元，还用于：每间隔设定时长，获取一帧游戏界面图像；将当前帧游戏界面图像与上一帧游戏界面图像进行比对；若当前帧游戏界面图像与上一帧游戏界面图像的相似度达到设定阈值，则确定游戏界面被弹框卡住。在一种可选的实施例中，所述装置还包括模型训练单元，用于：从训练样本集中抽取包含按键的训练图像；所述训练图像标注有按键标签；将抽取的训练图像输入按键识别模型，得到训练图像的按键识别结果；根据训练图像的识别结果与按键识别的按键标签，确定损失值；根据损失值对所述按键识别模型的参数进行调整，直至所述损失值收敛至预设的期望值为止，得到已训练的按键识别模型。第四方面，本申请实施例提供一种游戏控制装置，包括：图像获取单元，用于确定游戏界面被弹框卡住时，获取游戏界面图像；图像匹配单元，用于从弹框模板库中获取弹框模板图像，并将获取的弹框模板图像与所述游戏界面图像进行匹配；操作区域确定单元，用于若在所述游戏界面图像中匹配到从所述弹框模板库中获取的弹框模板图像，则根据匹配出的弹框模板图像中的操作按键所在的目标区域，在所述游戏界面图像中确定弹框的操作按键对应的操作区域；若对于所述弹框模板库中的所有弹框模板图像，在所述游戏界面图像中均未匹配到，通过已训练的按键识别模型在所述游戏界面图像中确定弹框的操作按键对应的操作区域；操作执行单元，用于根据确定出的操作区域，对所述游戏界面中的弹框执行相应操作。...

【技术保护点】
1.一种游戏控制方法，其特征在于，包括：/n确定游戏界面被弹框卡住时，获取游戏界面图像；/n按照弹框模板库的优先级顺序，优先从高优先级的弹框模板库中获取弹框模板图像，并将获取的弹框模板图像与所述游戏界面图像进行匹配；/n若在所述游戏界面图像中匹配到从弹框模板库中获取的弹框模板图像，则根据匹配出的弹框模板图像中的操作按键所在的目标区域，在所述游戏界面图像中确定弹框的操作按键对应的操作区域；/n根据确定出的操作区域，对所述游戏界面中的弹框执行相应操作。/n

【技术特征摘要】
1.一种游戏控制方法，其特征在于，包括：
确定游戏界面被弹框卡住时，获取游戏界面图像；
按照弹框模板库的优先级顺序，优先从高优先级的弹框模板库中获取弹框模板图像，并将获取的弹框模板图像与所述游戏界面图像进行匹配；
若在所述游戏界面图像中匹配到从弹框模板库中获取的弹框模板图像，则根据匹配出的弹框模板图像中的操作按键所在的目标区域，在所述游戏界面图像中确定弹框的操作按键对应的操作区域；
根据确定出的操作区域，对所述游戏界面中的弹框执行相应操作。


2.根据权利要求1所述的方法，其特征在于，所述弹框模板库至少两个，各个弹框模板库是根据弹框的类型划分的，每个弹框模板库中包括的弹框模板图像对应的弹框类型相同，高优先级弹框模板库的弹框类型对应的弹框，在所述游戏中的弹出概率高于低优先级弹框模板库的弹框类型对应的弹框。


3.根据权利要求2所述的方法，其特征在于，所述弹框的类型至少包括游戏弹框和设备弹框，弹框模板库至少包括游戏弹框模板库和设备弹框模板库，所述游戏弹框模板库的优先级高于所述设备弹框模板库的优先级。


4.根据权利要求1所述的方法，其特征在于，所述将获取的弹框模板图像与所述游戏界面图像进行匹配，具体包括：
采用滑动窗口按照设定步长遍历所述游戏界面图像，得到多个窗口区域；所述滑动窗口与获取的弹框模板图像的尺寸相同；
确定获取的弹框模板图像与所述多个窗口区域的相似度值中的最大相似度值；
当所述最大相似度值满足设定的置信度时，确定所述最大相似度值对应的窗口区域与获取的弹框模板图像相匹配。


5.根据权利要求4所述的方法，其特征在于，确定获取的弹框模板图像与所述多个窗口区域的相似度值中的最大相似度值，包括：
确定获取的弹框模板图像与每个窗口区域的相似度值；
将获取的弹框模板图像与每个窗口区域的相似度值按照每个窗口区域在所述游戏界面图像中的位置保存为相似度矩阵；
从所述相似度矩阵中选择最大相似度值。


6.根据权利要求1所述的方法，其特征在于，所述根据确定出的操作区域，对所述游戏界面中的弹框执行相应操作之前，所述方法还包括：
若每个弹框模板库中的所有弹框模板图像，在所述游戏界面图像中均未匹配到，通过已训练的按键识别模型在所述游戏界面图像中确定弹框的操作按键对应的操作区域。


7.根据权利要求6所述的方法，其特征在于，所述按键识别模型包括特征提取网络和回归网络；通过已训练的按键识别模型在所述游戏界面图像中确定弹框的操作按键对应的操作区域，包括：
通过所述特征提取网络对所述游戏界面图像进行特征提取，得到所述游戏界面图像的特征图；
将得到的所述特征图输入所述回归网络，得到所述回归网络输出的所述游戏界面图像包含的操作按键的按键位置；
根据所述回归网络输出的按键位置确定弹框的操作按键对应的操作区域。


8.根据权利要求7所述的方法，其特征在于，所述按键识别模型还包括分类网络；得到所述游戏界面图像的特征图之后，通过已训练的按键识别模型在所述游戏界面图像中确定弹框的操作按键对应的操作区域，还包括：
将得到的所述特征图输入所述分类网络，得到所述分类网络输出的每个按键位置上的操作按键对应的按键类型；
根据所述回归网络输出的按键位置确定弹框的操作按键对应的操作区域，包括：
若所述回归网络输出多个按键位置，根据预设的按键类型的点击优先级，从所述分类网络输出的按键类型中，选择点击优先级最高的按键类型；
将点击优先级最...

【专利技术属性】
技术研发人员：王洁梅，张力柯，李旭冬，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44