动态控件位置检测与测试方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种动态控件位置检测方法及装置、动态控件的测试方法及装置、计算机设备及存储介质，该方法包括：获取目标应用在待测分辨率下输出的待测图像；确定所述目标应用中的关联静态控件在待测图像中的基准位置，关联静态控件是目标应用中与待测动态控件关联的静态控件；根据在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和待测图像对应的变换尺度，确定所述待测动态控件在所述待测图像中的位置参数；根据所述基准位置和所述位置参数，确定所述待测动态控件在所述待测图像中的位。如此，仅需对同一目标应用在参考分辨率下的静态控件和动态控件进行标记即可准确确定在其它分辨率下的位置。

Dynamic Control Location Detection and Testing Method, Device, Equipment and Storage Media

【技术实现步骤摘要】
动态控件位置检测与测试方法、装置、设备及存储介质
本专利技术涉及计算机
，尤其是涉及一种动态控件位置检测方法及装置、动态控件的测试方法及装置、计算机设备以及存储介质。
技术介绍
随着信息技术的日益发展，各类应用的类型和功能也随之越来越丰富，并使得用户能够在各种不同的电子设备上进行使用。应用中通常均会包括设置有静态控件和动态控件的用户交互界面(UserInterface，UI)，以游戏类应用为例，同一游戏应用的UI界面上通常会布置动态控件(如实现技能的控件)和静态控件(如实现界面缩放的控件)。而不同电子设备的分辨率通常不同，同一应用中的UI界面适配不同分辨率的电子设备时UI界面中的控件的位置会发生变化，在一些应用场景中通常需要分别确定不同分辨率下的UI界面中的静态控件和动态控件的位置。
技术实现思路
本专利技术实施例提供一种动态控件位置检测方法及装置、动态控件的测试方法及装置、计算机设备以及存储介质，能够高效、精确地检测动态控件在目标应用中的位置。本专利技术实施例的技术方案是这样实现的：第一方面，提供一种动态控件位置检测方法，包括：获取目标应用在待测分辨率下输出的待测图像；确定所述目标应用中的关联静态控件在所述待测图像中的基准位置，所述关联静态控件是所述目标应用中与待测动态控件关联的静态控件；根据在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测动态控件在所述待测图像中的位置参数；根据所述基准位置和所述位置参数，确定所述待测动态控件在所述待测图像中的位置。第二方面，提供一种动态控件位置检测装置，包括：获取模块，用于获取目标应用在待测分辨率下输出的待测图像；基准确定模块，用于确定所述目标应用中的关联静态控件在所述待测图像中的基准位置，所述关联静态控件是所述目标应用中与待测动态控件关联的静态控件；参数确定模块，用于据在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测动态控件在所述待测图像中的位置参数；位置模块，用于根据所述基准位置和所述位置参数，确定所述待测动态控件在所述待测图像中的位置。第三方面，提供一种动态控件的测试方法，包括：获取目标应用在待测分辨率下输出的待测图像；基于所述目标应用中与待测动态控件对应的关联静态控件在待测图像中的基准位置、在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述目标应用中待测动态控件在所述待测图像中的位置；模拟对应所述位置的点击操作，并发送给所述目标应用；获取所述目标应用通过所述待测动态控件响应所述点击操作的结果。第四方面，提供一种动态控件的测试装置，包括：接收模块，用于获取目标应用在待测分辨率下输出的待测图像；位置确定模块，用于基于所述目标应用中与待测动态控件对应的关联静态控件在待测图像中的基准位置、在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述目标应用中待测动态控件在所述待测图像中的位置；点击模块，用于模拟对应所述位置的点击操作，并发送给所述目标应用；测试结果模块，用于获取所述目标应用通过所述待测动态控件响应所述点击操作的结果。第五方面，提供一种计算机设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，实现本专利技术任一实施例所提供的动态控件位置检测方法、或实现本专利技术任一实施例所提供的动态控件的测试方法。第六方面，提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本专利技术任一实施例所提供的动态控件位置检测方法、或实现本专利技术任一实施例所提供的动态控件的测试方法。本专利技术实施例中，获取目标应用在待测分辨率下输出的待测图像，确定所述待测动态控件在所述待测图像中的位置，通过关联静态控件在所述待测图像中的基准位置、所述待测动态控件与所述关联静态控件在参考分辨率的参考图像中的位置关系、和所述参考图像与所述待测图像对应的变换尺度，即可确定所述目标应用中的待测动态控件在所述待定分辨率下的位置，提升了对目标应用在不同分辨率下的动态控件的位置标记的效率，且位置的检测的准确性不受待测动态控件的尺寸的影响，效率和准确性高。附图说明图1为实施本专利技术实施例所提供动态控件位置检测方法的应用架构图；图2为本专利技术一实施例中动态控件位置检测方法的应用场景示意图；图3为本专利技术另一实施例中动态控件位置检测方法的应用场景示意图；图4为本专利技术一实施例提供的动态控件位置检测方法的流程图；图5为本专利技术一实施例提供的动态控件位置检测方法中参考点的确定示意图；图6为本专利技术一实施例提供的动态控件位置检测方法中参考点的设置示意图；图7为本专利技术另一实施例提供的动态控件位置检测方法的流程图；图8为本专利技术另一实施例提供的动态控件位置检测方法中确定关联静态控件的流程图；图9为本专利技术另一实施例提供的动态控件位置检测方法中推算待测动态控件的流程图；图10为本专利技术另一实施例提供的动态控件位置检测方法中校准待测动态控件位置的流程图；图11为本专利技术一实施例中动态控件位置检测装置的硬件结构示意图；图12为本专利技术一实施例中动态控件的测试方法的流程示意图；图13为本专利技术另一实施例中动态控件的测试方法的流程示意图；图14为本专利技术另一实施例中动态控件的测试装置的硬件结构示意图。具体实施方式以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。对本专利技术进行进一步详细说明之前，对本专利技术实施例中涉及的名词和术语进行说明，本专利技术实施例中涉及的名词和术语适用于如下的解释。1)用户交互界面(UserInterface，UI)，是人机进行交互和信息交换的媒介，用于实现信息的内部形式与人操作动作之间的转换。2)静态控件，在应用的UI界面中控件内的内容，如包括图案、图层颜色等不会发生变化的UI控件，如游戏类应用中的用于缩放界面的放大镜控件，在不同游戏场景界面中放大镜控件内的放大镜图案不会发生变化；再如游戏应用中的用于控制射击的攻击控件，在不同游戏场景界面中攻击控件内的“剑”的图案不会发生变化。3)动态控件，在应用的UI界面中控件内的内容，如包括图案、图层颜色等会发生变化的UI控件，其中，以游戏应用为例，控件内的内容会发生变化可以是指随着游戏的进度而发生变化，或根据不同游戏用户所属的级别不同而发生变化、或根据游戏用户所购买的不同游戏装备而发生变化等。如游戏类应用中的技能控件，该技能控件内的图案可以根据游戏的进度而由“+”的图案变换成为“手”的图案，当技能控件内的图案为“+”的图案时表示点击后可以对人物角色进行升级，当技能控件内的图案为“手”的图案时表示点击后可以实现恢复功能本文档来自技高网...

【技术保护点】
1.一种动态控件位置检测方法，其特征在于，包括：获取目标应用在待测分辨率下输出的待测图像；确定所述目标应用中的关联静态控件在所述待测图像中的基准位置，所述关联静态控件是所述目标应用中与待测动态控件关联的静态控件；根据在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测动态控件在所述待测图像中的位置参数；根据所述基准位置和所述位置参数，确定所述待测动态控件在所述待测图像中的位置。

【技术特征摘要】
1.一种动态控件位置检测方法，其特征在于，包括：获取目标应用在待测分辨率下输出的待测图像；确定所述目标应用中的关联静态控件在所述待测图像中的基准位置，所述关联静态控件是所述目标应用中与待测动态控件关联的静态控件；根据在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测动态控件在所述待测图像中的位置参数；根据所述基准位置和所述位置参数，确定所述待测动态控件在所述待测图像中的位置。2.如权利要求1所述的方法，其特征在于，所述确定所述目标应用中的关联静态控件在所述待测图像中的基准位置，包括：基于控件模板对所述目标应用中所述待测图像进行检测，确定与待测动态控件对应的关联静态控件在所述待测图像中的基准位置。3.如权利要求2所述的方法，其特征在于，所述基于控件模板对所述目标应用中所述待测图像进行检测，包括：将所述关联静态控件在所述参考图像中的位置确定为参考位置，根据所述参考位置确定所述目标应用中所述待测图像的检测区域；基于控件模板对所述待测图像的检测区域进行检测。4.如权利要求3所述的方法，其特征在于，所述参考位置携带有所述关联静态控件的长度参数和宽度参数、以及所包括顶点的坐标参数；所述根据所述参考位置确定所述目标应用中所述待测图像的检测区域，包括：将所述顶点向靠近所述待测图像的边缘的方向平移设置距离，将所述长度参数和所述宽度参数分别增加设置比例；根据平移后的所述顶点的坐标、以及增加设置比例后的所述长度参数和所述宽度参数确定所述待测图像的检测区域。5.如权利要求2所述的方法，其特征在于，所述基于控件模板对所述目标应用中所述待测图像进行检测之前，还包括：确定与所述待测动态控件对应的所述关联静态控件在所述参考图像中的尺寸；将所述关联静态图像基于所述尺寸按照不同的变换尺度进行变换，分别建立与所述不同的变换尺度对应的控件模板。6.如权利要求5所述的方法，其特征在于，所述基于控件模板对所述目标应用中所述待测图像进行检测，确定所述目标应用中与待测动态控件对应的关联静态控件在所述待测图像中的基准位置，包括：通过所述多个控件模板分别对所述目标应用中所述待测图像进行检测；当确定至少一控件模板在所述待测图像中的匹配位置的相似度高于阈值时，将符合相似度条件的控件模板确定为匹配控件模板；将所述匹配控件模板在所述待测图像中的相应匹配位置，确定为所述目标应用中与待测动态控件对应的关联静态控件在所述待测图像中的基准位置。7.如权利要求1所述的方法，其特征在于，所述根据在参考分辨率的参考图像中所述待测动态控件与所述关联静态控件的位置关系、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测动态控件在所述待测图像中的位置参数，包括：根据所述参考图像中，所述关联静态控件的目标参考点与所述待测动态控件的关联参考点之间的参考距离、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测图像中所述目标参考点与所述关联参考点之间的目标距离；根据所述参考图像中所述待测动态控件的尺寸、以及所述参考图像和所述待测图像对应的变换尺度，确定所述待测图像中所述待测动态控件的目标尺寸。8.如权利要求7所述的方法，其特征在于，包括：所述根据所述基准位置和所述位置参数，确定所述待测动态控件在所述待测图像中的位置，包括：根据所述基准位置，确...

【专利技术属性】
技术研发人员：李旭冬，王洁梅，周大军，张力柯，荆彦青，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44