一种控件识别方法和相关装置制造方法及图纸

本申请实施例公开了一种控件识别方法和相关装置，至少涉及人工智能中的计算机视觉技术，包括：根据触发操作中的终端标识获取云产品对应的第一显示界面。在第一显示界面中包括原本进入目标显示界面时需要用户触发的第一控件，获取第一控件模板和对第一控件模板进行分辨率调整得到的至少一张分辨率模板，由于获取的模板的图像分辨率不同，利用其对第一显示界面中的控件区域进行识别时，可以得到基于不同分辨率的模板所确定的更为丰富的控件识别信息，从而针对不同分辨率的第一显示界面均能达到较好的控件识别效果，提高模拟触控第一控件的成功率，降低了获取第一控件所指向第二显示界面的重试次数，并提高了向终端设备返回目标显示界面的效率。标显示界面的效率。标显示界面的效率。

【技术实现步骤摘要】
一种控件识别方法和相关装置


[0001]本申请涉及数据处理领域，特别是涉及一种控件识别方法和相关装置。

技术介绍

[0002]随着云技术的发展，各类云产品例如云游戏等应运而生，云产品可以作为应用部署到终端设备中。云产品将大部分甚至绝大部分的数据处理、运算移至云端服务器完成，终端设备主要用于接收用户操作和接收、展示云端服务器的处理结果，针对云产品，终端设备更像是一台云产品的显示媒介，不再需要执行复杂的数据处理，由此用户可以使用原本终端设备不足以运行的各类产品。
[0003]为了提升云产品的使用效率，一些场景下需要直接将某些核心使用界面快速的甚至直接展示给使用终端设备的用户，以便用户快速了解或使用云产品。例如在云游戏的场景中，有时需要直接向用户提供开始游戏的界面，无需用户从游戏开始的主界面一步一步点击到开始游戏的界面。
[0004]为了实现上述目的，相关技术采用云端服务器模拟用户触发虚拟控件的方式，将终端设备准备打开的云产品的展示界面跳转到需要展示给用户的核心使用界面，以省去用户自己触发界面上的虚拟控件。然而，相关技术中对不同显示界面上的虚拟控件位置识别并不准确，容易导致模拟操作的操作位置未处于应该被触发的虚拟控件的控件区域，增加了重试次数和响应时间。

技术实现思路

[0005]为了解决上述技术问题，本申请提供了一种控件识别方法和相关装置，用于提高显示界面上的虚拟控件位置识别的准确性。
[0006]本申请实施例公开了如下技术方案：
[0007]一方面，本申请提供一种控件识别方法，所述方法包括：
[0008]获取终端设备针对云产品发送的触发操作，所述触发操作包括所述终端设备的终端标识；
[0009]根据所述终端标识，获取所述云产品对应所述触发操作的第一显示界面；
[0010]获取与所述第一显示界面相关的第一控件模板和至少一张分辨率模板，所述分辨率模板为对所述第一控件模板进行分辨率调整得到的，所述分辨率模板的图像分辨率与所述第一控件模板的图像分辨率不同；
[0011]根据所述第一控件模板和所述分辨率模板分别对所述第一显示界面进行控件识别，确定所述第一显示界面中与所述第一控件模板对应的第一控件的控件区域；
[0012]通过在所述控件区域模拟触发操作，获取所述第一控件指向的第二显示界面，所述第二显示界面用于确定向所述终端设备返回的目标显示界面。
[0013]另一方面，本申请提供一种控件识别装置，所述装置包括：获取单元和识别单元；
[0014]所述获取单元，用于获取终端设备针对云产品发送的触发操作，所述触发操作包
括所述终端设备的终端标识；根据所述终端标识，获取所述云产品对应所述触发操作的第一显示界面；获取与所述第一显示界面相关的第一控件模板和至少一张分辨率模板，所述分辨率模板为对所述第一控件模板进行分辨率调整得到的，所述分辨率模板的图像分辨率与所述第一控件模板的图像分辨率不同；
[0015]所述识别单元，用于根据所述第一控件模板和所述分辨率模板分别对所述第一显示界面进行控件识别，确定所述第一显示界面中与所述第一控件模板对应的第一控件的控件区域；
[0016]所述获取单元，还用于通过在所述控件区域模拟触发操作，获取所述第一控件指向的第二显示界面，所述第二显示界面用于确定向所述终端设备返回的目标显示界面。
[0017]另一方面，本申请提供一种计算机设备，所述设备包括处理器以及存储器：
[0018]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0019]所述处理器用于根据所述程序代码中的指令执行上述方面所述的方法。
[0020]另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述方面所述的方法。
[0021]另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面所述的方法。
[0022]由上述技术方案可以看出，为了快速进入云产品的目标显示界面，从终端设备获取携带其终端标识的触发操作，根据该终端标识获取该云产品对应触发操作的第一显示界面。在第一显示界面中包括原本进入目标显示界面时需要用户触发的第一控件，为了简化用户的操作实现自动触发，通过第一控件对应的第一控件模板识别第一显示界面中第一控件的控件区域，为了提高识别精度，对第一控件模板进行分辨率调整，得到至少一张分辨率模板，由于该分辨率模板的图像分辨率与第一控件模板的图像分辨率不同，通过第一控件模板和分辨率模板分别对第一显示图像进行控件识别，可以得到基于不同分辨率的模板所确定的更为丰富的控件识别信息。由于采用多分辨率的控件模板进行控件识别，针对不同分辨率的第一显示界面均能达到较好的控件识别效果，提高模拟触控第一控件的成功率，降低了获取第一控件所指向第二显示界面的重试次数，并提高了向终端设备返回目标显示界面的效率。
附图说明
[0023]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1为本申请实施例提供的一种控件识别方法的应用场景示意图；
[0025]图2为本申请实施例提供的一种云游戏的服务器架构的示意图；
[0026]图3为本申请实施例提供的一种控件识别方法的流程图；
[0027]图4为本申请实施例提供的不同分辨率的终端设备显示同一显示界面的示意图；
[0028]图5为本申请实施例提供的一种运维模块的示意图；
[0029]图6为本申请实施例提供的对应图5的执行顺序图；
[0030]图7为本申请实施例提供的一种目标显示界面触发流程工作的流程图；
[0031]图8为一种上采样和下采样的示意图；
[0032]图9为一种下采样的示意图；
[0033]图10为本申请实施例提供的一种对第一控件模板进行分辨率调整的示意图；
[0034]图11为本申请实施例提供的一种第一显示界面的示意图；
[0035]图12为本申请实施例提供的对应图11第一显示界面的特征点的示意图；
[0036]图13为一种识别控件的示意图；
[0037]图14为一种识别控件的示意图；
[0038]图15为一种识别控件的示意图；
[0039]图16为一种识别特征点的示意图；
[0040]图17为本申请实施例提供的一种识别特征点的示意图；
[0041]图18为一种SURF算法模型的参数配置的示意图；
[0042]图19为本申请实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种控件识别方法，其特征在于，所述方法包括：获取终端设备针对云产品发送的触发操作，所述触发操作包括所述终端设备的终端标识；根据所述终端标识，获取所述云产品对应所述触发操作的第一显示界面；获取与所述第一显示界面相关的第一控件模板和至少一张分辨率模板，所述分辨率模板为对所述第一控件模板进行分辨率调整得到的，所述分辨率模板的图像分辨率与所述第一控件模板的图像分辨率不同；根据所述第一控件模板和所述分辨率模板分别对所述第一显示界面进行控件识别，确定所述第一显示界面中与所述第一控件模板对应的第一控件的控件区域；通过在所述控件区域模拟触发操作，获取所述第一控件指向的第二显示界面，所述第二显示界面用于确定向所述终端设备返回的目标显示界面。2.根据权利要求1所述的方法，其特征在于，所述分辨率调整为缩放采样，所述方法还包括：对所述第一控件模板进行所述缩放采样，至少获得第一分辨率模板和第二分辨率模板，所述第一控件模板、所述第一分辨率模板和所述第二分辨率模板具有一致的图像清晰度，所述第一分辨率模板的图像分辨率小于所述第一控件模板的图像分辨率，所述第二分辨率模板的图像分辨率大于所述第一控件模板的图像分辨率。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一控件模板和所述分辨率模板对所述第一显示界面进行控件识别，确定所述第一显示界面中与所述第一控件模板对应的第一控件的控件区域，包括：根据所述第一控件模板、所述第一分辨率模板和所述第二分辨率模板分别与所述第一显示界面进行针对所述第一控件的特征点匹配，得到与所述第一控件模板对应的第一特征点识别结果，与所述第一分辨率模板对应的第二特征点识别结果和与所述第二分辨率模板对应的第三特征点识别结果；根据所述第一特征点识别结果、所述第二特征点识别结果和所述第三特征点识别结果，确定所述第一显示界面中与所述第一控件模板对应的第一控件的控件区域。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一特征点识别结果、所述第二特征点识别结果和所述第三特征点识别结果，确定所述第一显示界面中与所述第一控件模板对应的第一控件的控件区域，包括：综合所述第一特征点识别结果、所述第二特征点识别结果和所述第三特征点识别结果中分别识别到的特征点，确定所述第一显示界面中与所述第一控件模板对应的第一控件的控件区域；或者，确定所述第一特征点识别结果、所述第二特征点识别结果和所述第三特征点识别结果中分别识别到的特征点数量；将所述第一特征点识别结果、所述第二特征点识别结果和所述第三特征点识别结果中特征点数量超出阈值的特征点识别结果作为目标识别结果，根据所述目标识别结果确定所述第一显示界面中与所述第一控件模板对应的第一控件的控件区域。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于与所述云产品关联的目标显示界面触发流程，确定与所述第一显示界面相关的所
述第一控件模板。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：根据所述触发操作中携带的流程标识，从多个显示界面触发流程中确定所述目标显示界面触发流程；或者，根据所述云产品预设的流程标识，从多个显示界面触发流程中确定所述目标显示界面触发流程。7.根据权利要求5所述的方法，其特征在于，若所述目标显示界面触发流程包括一次控件模拟操作，所述方法还包括：将所述第二显示界面作为所述目标显示界面，并向所述终端设备返回所述第二显示界面；若所述目标显示界面触发流程包括多次控件模拟操作，所述方法还包括：基于所述目标显示界面触发流程确定与所述第二显示界面相关的第二控件模板；将所述第二控件模板作为所述第一控件模板，所述第二显示界面作为所述第一显示界面，执行所述获取与所述第一显示界面相关的第一控件模板和至少一张分辨率模板的操作。8.根据权利要求1
‑
7任意一项所述的方法，其特征在于，所述根据所述第一控件模板和所述分辨率模板对所述第一显示界面进行控件识别，确定所述第一显示界面中与所述第...

【专利技术属性】
技术研发人员：任明星，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：