控件定位方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种控件定位方法、装置、电子设备及可读存储介质，所述方法包括：接收预存储的目标操控指令目标控件的第一描述信息；分别获取界面中m个待定位控件的第二描述信息，第二描述信息包括第二特征信息和待定位控件与其预设范围内的第二参考控件的第二关系信息，第二特征信息用于指示待定位控件的属性信息，第二关系信息用于指示待定位控件与第二参考控件之间的位置关系，m为大于0的整数；分别获取第一描述信息与m个待定位控件的第二描述信息的相似度值；确定与目标相似度值对应的待定位控件为待操控目标控件，目标相似度值大于预设阈值，且目标相似度值为获取的m个相似度值中的最大相似度值。度值中的最大相似度值。度值中的最大相似度值。

【技术实现步骤摘要】
控件定位方法、装置、电子设备及可读存储介质


[0001]本申请属于自动化测试
，具体涉及一种控件定位方法、装置、电子设备及可读存储介质。

技术介绍

[0002]自动化测试中比较关键的环节是控件定位，即按照脚本步骤中记录的关键信息，在测试设备上定位到该步骤要操作的目标控件，然后进行相应的操作。以下为常见的控件定位方法。
[0003]方法一，记录控件的关键信息，如控件类型、身份标识号(Identity document，ID)、文本或可扩展标记语言路径语言(Xml Path Language，xpath)等，执行脚本时，通过这些关键信息在控件树中找到目标控件的位置；
[0004]方法二，通过光学字符识别(Optical Character Recognition，OCR)技术或图像识别技术，找到界面中的目标文本或目标图片，从而定位到目标控件。
[0005]方法三，利用目标控件的周围信息计算一个偏移量，得到一个在目标控件范围内的坐标，从而定位到目标控件。
[0006]但是，上述方法一在关键信息不同的情况下，例如，不同设备可能xpath不同，此时就需要人工制定规则来解决xpath不同导致的影响。对于方案二，在控件没有明显特征的情况下，也需要人工制定规则，从而定位到待操控控件。至于方案三，适应场景也有限，且偏移量也需要人工去调整。
[0007]可见，上述定位待操控控件的方法的适用场景有限，需要大量的维护工作。

技术实现思路

[0008]本申请实施例的目的是提供一种控件定位方法、装置、电子设备及可读存储介质，能够解决相关技术中定位待操控控件的方法的适用场景有限，需要大量的维护工作的问题。
[0009]第一方面，本申请实施例提供了一种控件定位方法，包括接收预存储的目标控件的第一描述信息，其中，所述第一描述信息包括第一特征信息和所述目标控件与其预设范围内的第一参考控件的第一关系信息，所述第一特征信息用于指示所述目标控件的属性信息，所述第一关系信息用于指示所述目标控件与所述第一参考控件之间的位置关系；分别获取界面中m个待定位控件的第二描述信息，其中，所述第二描述信息包括第二特征信息和所述待定位控件与其预设范围内的第二参考控件的第二关系信息，所述第二特征信息用于指示所述待定位控件的属性信息，所述第二关系信息用于指示所述待定位控件与所述第二参考控件之间的位置关系，m为大于0的整数；分别获取所述第一描述信息与m个所述待定位控件的第二描述信息的相似度值；确定与目标相似度值对应的待定位控件为所述目标控件，其中，所述目标相似度值大于预设阈值，且所述目标相似度值为获取的m个相似度值中的最大相似度值。
[0010]第二方面，本申请实施例提供了一种控件定位装置，包括接收模块，用于接收预存储的目标控件的第一描述信息，其中，所述第一描述信息包括第一特征信息和所述目标控件与其预设范围内的第一参考控件的第一关系信息，所述第一特征信息用于指示所述目标控件的属性信息，所述第一关系信息用于指示所述目标控件与所述第一参考控件之间的位置关系；第一获取模块，用于分别获取界面中m个待定位控件的第二描述信息，其中，所述第二描述信息包括第二特征信息和所述待定位控件与其预设范围内的第二参考控件的第二关系信息，所述第二特征信息用于指示所述待定位控件的属性信息，所述第二关系信息用于指示所述待定位控件与所述第二参考控件之间的位置关系，m为大于0的整数；第二获取模块，用于分别获取所述第一描述信息与m个所述待定位控件的第二描述信息的相似度值；确定模块，用于确定与目标相似度值对应的待定位控件为所述目标控件，其中，所述目标相似度值大于预设阈值，且所述目标相似度值为获取的m个相似度值中的最大相似度值。
[0011]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0012]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0013]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0014]在本申请实施例中，通过接收预存储的目标控件的第一描述信息，再获取终端设备界面中的待定位控件的第二描述信息，将第一描述信息与界面中各待定位控件的第二描述信息进行计算，得到目标控件与界面中各待定位控件的相似度值，将与最大相似度值对应的待定位控件确定为目标控件，从而准确定位出目标控件。由于描述信息包括的特征信息和关系信息可以适应于各种场景，不需要人工大量的维护，从而解决相关技术中定位待操控控件的方法的适用场景有限，需要大量的维护工作的问题。
附图说明
[0015]图1是本申请实施例提供的控件定位方法的一种流程示意图；
[0016]图2是本申请实施例提供的匹配模型的一种结构示意图；
[0017]图3a是本申请实施例中对界面中的控件进行移动前的界面控件示意图；
[0018]图3b是本申请实施例中对界面中的控件进行移动后的界面控件示意图；
[0019]图4a是本申请实施例中减小界面分辨率前的界面控件示意图；
[0020]图4b是本申请实施例中减小界面分辨率后的界面控件示意图；
[0021]图5a是本申请实施例中增大界面分辨率前的界面控件示意图；
[0022]图5b是本申请实施例中增大界面分辨率后的界面控件示意图；
[0023]图6a是本申请实施例中缺失界面控件前的界面控件示意图；
[0024]图6b是本申请实施例中缺失界面控件前的界面控件示意图；
[0025]图7是本申请实施例提供的控件定位装置的一种结构示意图；
[0026]图8是本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
[0027]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0028]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0029]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的控件定位方法、装置、电子设备及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种控件定位方法，其特征在于，包括：接收预存储的目标控件的第一描述信息，其中，所述第一描述信息包括第一特征信息和所述目标控件与其预设范围内的第一参考控件的第一关系信息，所述第一特征信息用于指示所述目标控件的属性信息，所述第一关系信息用于指示所述目标控件与所述第一参考控件之间的位置关系；分别获取界面中m个待定位控件的第二描述信息，其中，所述第二描述信息包括第二特征信息和所述待定位控件与其预设范围内的第二参考控件的第二关系信息，所述第二特征信息用于指示所述待定位控件的属性信息，所述第二关系信息用于指示所述待定位控件与所述第二参考控件之间的位置关系，m为大于0的整数；分别获取所述第一描述信息与m个所述待定位控件的第二描述信息的相似度值；确定与目标相似度值对应的待定位控件为所述目标控件，其中，所述目标相似度值大于预设阈值，且所述目标相似度值为获取的m个相似度值中的最大相似度值。2.根据权利要求1所述的控件定位方法，其特征在于，分别获取界面中m个待定位控件的第二描述信息，包括：分别获取界面中m个待定位控件的第二特征信息；对于各个所述待定位控件，获取所述待定位控件与其预设范围内的第二参考控件的第二关系信息；根据所述第二特征信息和所述第二关系信息，获取所述待定位控件的第二描述信息。3.根据权利要求2所述的控件定位方法，其特征在于，根据所述第二特征信息和所述第二关系信息，获取所述待定位控件的第二描述信息，包括：将所述第二特征信息和所述第二关系信息进行向量转化处理，将得到的向量作为所述待定位控件的描述信息。4.根据权利要求3所述的控件定位方法，其特征在于，分别获取所述第一描述信息与m个所述待定位控件的第二描述信息相似度值，包括：将所述第一描述信息与一个所述待定位控件的第二描述信息输入匹配模型中，通过所述匹配模型的计算，得到所述目标控件与所述一个待定位控件的一个相似度值；将所述第一描述信息与下一个所述待定位控制的第二描述信息输入所述匹配模型中，通过所述匹配模型的计算，得到所述目标控件与所述下一个待定位控件的相似度值，如此重复，分别得到所述目标控件的第一描述信息与m个所述待定位控件的第二描述信息的相似度值。5.根据权利要求4所述的控件定位方法，其特征在于，在将所述第二特征信息和所述第二关系信息进行向量转化处理之前，所述方法包括：对所述第二特征信息和所述第二关系信息进行归一化处理。6.根据权利要求4所述的控件定位方法，其特征在于，在接收预存储的目标控件的第一描述信息之前，所述方法包括：获取相...

【专利技术属性】
技术研发人员：蒋晓海，谢春鸿，
申请(专利权)人：北京云测信息技术有限公司，
类型：发明
国别省市：