界面元素定位方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种界面元素定位方法、装置、存储介质及电子设备，其中方法包括：获取待测试的目标界面元素以及目标界面元素在界面内的目标位置信息；在待测试界面中查找与目标界面元素相匹配的候选界面元素；确定候选界面元素在待测试界面中的位置信息与目标位置信息间的第一相似度是否符合预设相似条件；如果第一相似度符合预设相似条件，则确定候选界面元素为目标界面元素在待测试界面中的对应界面元素。通过将目标界面元素在界面内的目标位置信息，与候选界面元素在待测试界面中的位置信息进行相似度判断，可以将误识别的界面元素筛除，从而准确得到目标界面元素在待测试界面中的对应界面元素。的对应界面元素。的对应界面元素。

【技术实现步骤摘要】
界面元素定位方法、装置、存储介质及电子设备


[0001]本公开涉及图像处理
，具体地，涉及一种界面元素定位方法、装置、存储介质及电子设备。

技术介绍

[0002]若要在移动设备上针对移动游戏或任意一款应用程序进行自动化测试，可以预先录制自动测试脚本，在自动测试脚本中记录每一步待操作的目标界面元素(如按钮、图像等)，移动设备根据每一步的目标界面元素在待测试界面中识别出对应界面元素，并在识别后根据其在待测试界面中的位置对其进行操作。然而在大规模移动设备集群上，部分移动设备的界面分辨率与目标界面元素对应的界面分辨率不同，导致同一界面元素在不同设备的待测试界面上显示时存在差异，由于这种差异，移动设备极易将待测试界面中的其他界面元素误识别为目标界面元素的对应界面元素，甚至可能在待测试界面中识别出多个对应界面元素，由于无法准确获得目标界面元素在待测试界面中的对应界面元素，导致移动设备集群的脚本运行通过率低。

技术实现思路

[0003]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该专利技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种界面元素定位方法，其特征在于，包括：获取待测试的目标界面元素以及所述目标界面元素在界面内的目标位置信息；在待测试界面中查找与所述目标界面元素相匹配的候选界面元素；确定所述候选界面元素在所述待测试界面中的位置信息与所述目标位置信息间的第一相似度是否符合预设相似条件；如果所述第一相似度符合所述预设相似条件，则确定所述候选界面元素为所述目标界面元素在所述待测试界面中的对应界面元素，且将所述候选界面元素在所述待测试界面中的位置确定为所述目标界面元素在所述待测试界面中的位置。2.根据权利要求1所述的方法，其特征在于，所述目标位置信息包括所述目标界面元素的各顶点在所述界面中的区域信息；所述确定所述候选界面元素在所述待测试界面中的位置信息与所述目标位置信息间的第一相似度是否符合预设相似条件，包括：确定所述候选界面元素的各顶点在所述待测试界面中的区域信息；比较所述候选界面元素各顶点的区域信息与所述目标界面元素中对应顶点的区域信息是否相同；根据比较结果，确定所述第一相似度是否符合所述预设相似条件。3.根据权利要求2所述的方法，其特征在于，所述根据比较结果，确定所述第一相似度是否符合所述预设相似条件，包括：如果所述候选界面元素的所有顶点的区域信息均与所述目标界面元素的对应顶点的区域信息相同，则确定所述第一相似度符合所述预设相似条件。4.根据权利要求3所述的方法，其特征在于，所述目标位置信息还包括所述目标界面元素内的辅助参考点在所述界面中的区域信息；所述根据比较结果，确定所述第一相似度是否符合所述预设相似条件，还包括：如果所述候选界面元素存在至少一个顶点的区域信息与所述目标界面元素的对应顶点的区域信息不同，则确定所述候选界面元素是否存在一半以上顶点的区域信息与所述目标界面元素的对应顶点的区域信息相同；如果所述候选界面元素存在一半以上顶点的区域信息与所述目标界面元素的对应顶点的区域信息相同，则获取所述候选界面元素内的辅助参考点在所述待测试界面中的区域信息；判断所述候选界面元素内的辅助参考点的区域信息是否与所述目标界面元素内的所述辅助参考点的区域信息相同；如果所述候选界面元素内的辅助参考点的区域信息与所述目标界面元素内的所述辅助参考点的区域信息相同，则确定所述第一相似度符合所述预设相似条件。5.根据权利要求1所述的方法，其特征在于，所述在待测试界面中查找与所述目标界面元素相匹配...

【专利技术属性】
技术研发人员：李彬，石其鑫，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：