页面元素定位方法、页面测试方法、装置、设备和介质制造方法及图纸

本申请公开了一种页面元素定位方法、页面测试方法、装置、设备、介质和程序产品，涉及人工智能领域，尤其涉及深度学习、图像处理和测试技术。具体实现方案为：确定待测试的页面图像中与元素模板匹配的初始定位区域；在所述页面图像中，以所述初始定位区域的中心点为初始点向四周进行区域增长，得到与所述元素模板匹配的目标定位区域；其中，所述区域增长的终止条件是根据增长的区域边界上各点与所述初始点的差异表现确定。本申请在待测试的页面图像中通过模板匹配确定初始定位区域，然后基于初始定位区域的中心点，通过区域增长确定目标定位区域，可以适配不同分辨率的真机，提高了定位的效率和准确性。位的效率和准确性。位的效率和准确性。

【技术实现步骤摘要】
页面元素定位方法、页面测试方法、装置、设备和介质


[0001]本申请涉及人工智能领域，尤其涉及一种深度学习、图像处理和测试技术，具体涉及一种页面元素定位方法、页面测试方法、装置、设备、介质和程序产品。

技术介绍

[0002]前端自动化测试的视觉召回技术是指：通过利用视觉相关的载体(例如图像)上所承载的信息，达到判断页面区块静态资源的内容是否存在或者符合预期的效果，将不符合预期效果的用例召回，例如：关键控件的缺失或关键控件元素样式错乱等。
[0003]目前，现有技术中通常是通过模板匹配的方法，从待测试的图像中定位出与模板相似的区域，以验证该区域内容是否符合预期。然而，现有的模板匹配方法，对于模板和待测试图像分辨率不同的情况下，则无法准确、高效地进行定位。

技术实现思路

[0004]本申请提供一种页面元素定位方法、页面测试方法、装置、设备、介质和程序产品，以提高页面元素定位和页面测试的效率和准确性。
[0005]第一方面，本申请提供了一种页面元素定位方法，包括：
[0006]确定待测试的页面图像中与元素模板匹配的初始定位区域；
[0007]在所述页面图像中，以所述初始定位区域的中心点为初始点向四周进行区域增长，得到与所述元素模板匹配的目标定位区域；
[0008]其中，所述区域增长的终止条件是根据增长的区域边界上各点与所述初始点的差异表现确定。
[0009]第二方面，本申请还提供了一种页面测试方法，包括：
[0010]在待测试的页面图像中定位与元素模板匹配的目标区域；
[0011]计算所述元素模板与目标区域的图像相似度，根据所述图像相似度的取值确定所述页面图像的测试结果；
[0012]其中，所述目标区域是按照如本申请任意实施例所述的页面元素定位方法定位得到。
[0013]第三方面，本申请还提供了一种页面元素定位装置，包括：
[0014]初始定位区域确定模块，用于确定待测试的页面图像中与元素模板匹配的初始定位区域；
[0015]目标定位区域确定模块，用于在所述页面图像中，以所述初始定位区域的中心点为初始点向四周进行区域增长，得到与所述元素模板匹配的目标定位区域；
[0016]其中，所述区域增长的终止条件是根据增长的区域边界上各点与所述初始点的差异表现确定。
[0017]第四方面，本申请还提供了一种页面测试装置，包括：
[0018]目标区域定位模块，用于在待测试的页面图像中定位与元素模板匹配的目标区
域；
[0019]测试结果获取模块，用于计算所述元素模板与目标区域的图像相似度，根据所述图像相似度的取值确定所述页面图像的测试结果；
[0020]其中，所述目标区域是由如本申请任意实施例所述的页面元素定位装置定位得到。
[0021]第五方面，本申请还提供了一种电子设备，包括：
[0022]至少一个处理器；以及
[0023]与所述至少一个处理器通信连接的存储器；其中，
[0024]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例所述的页面元素定位方法。
[0025]第六方面，本申请还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意实施例所述的页面元素定位方法。
[0026]第七方面，本申请还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本申请任意实施例所述的页面元素定位方法。
[0027]第八方面，本申请还提供了一种电子设备，包括：
[0028]至少一个处理器；以及
[0029]与所述至少一个处理器通信连接的存储器；其中，
[0030]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例所述的页面测试方法。
[0031]第九方面，本申请还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意实施例所述的页面测试方法。
[0032]第十方面，本申请还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本申请任意实施例所述的页面测试方法。
[0033]应当理解，本部分所描述的内容并非旨在标识本申请的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解，上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
[0034]附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0035]图1是根据本申请实施例的页面元素定位方法的流程示意图；
[0036]图2是根据本申请实施例的页面元素定位方法的流程示意图；
[0037]图3是根据本申请实施例的页面测试方法的流程示意图；
[0038]图4是根据本申请实施例的页面元素定位装置的结构示意图；
[0039]图5是根据本申请实施例的页面测试装置的结构示意图；
[0040]图6是用来实现本申请实施例的页面元素定位方法的电子设备的框图。
具体实施方式
[0041]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0042]图1是根据本申请实施例的页面元素定位方法的流程示意图，本实施例可适用于在进行页面测试时先依照元素模板在待测试的页面图像上进行定位的情况，涉及人工智能领域，尤其涉及深度学习、图像处理和测试技术。该方法可由一种页面元素定位装置来执行，该装置采用软件和/或硬件的方式实现，优选是配置于电子设备中，例如计算机设备或服务器等。如图1所示，该方法具体包括如下：
[0043]S101、确定待测试的页面图像中与元素模板匹配的初始定位区域。
[0044]其中，页面图像可以是待测试的移动终端的页面图像，需要测试页面图像上是否存在元素模板上的元素，以及该元素在页面图像上的显示是否符合预期的效果等。因此，就要在页面图像上对该元素进行定位。本申请实施例中可以使用现有技术中的任一种模板匹配方法，确定页面图像中与元素模板匹配的初始定位区域。
[0045]S102、在页面图像中，以初始定位区域的中心点为初始点向四周进行区域增长，得到与元素模板匹配的目标定位区域；其中，区域增长的终止条件是根据增长的区域边界上各点与初始点的差异表现确定。
[0046]前端自动化测试过程中，需要对大量不同型号的终端设备进行测试，而这些设备的屏幕尺寸和分辨率各不相同。因此，按照现有的模板匹配方法确定的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种页面元素定位方法，包括：确定待测试的页面图像中与元素模板匹配的初始定位区域；在所述页面图像中，以所述初始定位区域的中心点为初始点向四周进行区域增长，得到与所述元素模板匹配的目标定位区域；其中，所述区域增长的终止条件是根据增长的区域边界上各点与所述初始点的差异表现确定。2.根据权利要求1所述的方法，其中，所述在所述页面图像中，以所述初始定位区域的中心点为初始点向四周进行区域增长，得到与所述元素模板匹配的目标定位区域，包括：在所述页面图像中，以所述初始定位区域的中心点为初始点，向所述初始点的四周以矩形进行扩散，直到得到的目标矩形的每条边上各点像素值的均值，都小于所述中心点的像素值与预设阈值的乘积，并将所述目标矩形对应的区域作为所述目标定位区域。3.根据权利要求1所述的方法，其中，所述确定待测试的页面图像中与元素模板匹配的初始定位区域，包括：利用预先训练的特征提取模型，分别对所述页面图像和元素模板进行图像特征提取；根据所述提取的图像特征，计算所述元素模板与所述页面图像中各区域的图像相似度；利用质量感知模板匹配方法，根据所述图像相似度，计算所述页面图像中使整体匹配质量最大化的目标区域，并将所述目标区域作为所述初始定位区域。4.根据权利要求3所述的方法，其中，在进行所述区域增长之前，所述方法还包括：根据所述元素模板与所述页面图像中各区域的图像相似度，确定所述页面图像的质量热力图；利用与所述元素模板大小相同的均值滤波器，对所述质量热力图进行卷积平滑操作。5.根据权利要求4所述的方法，还包括：在所述质量热力图中显示所述目标定位区域。6.根据权利要求1所述的方法，其中，所述元素模板包括特定页面元素的模板和自定义页面区域的模板。7.一种页面测试方法，包括：在待测试的页面图像中定位与元素模板匹配的目标区域；计算所述元素模板与目标区域的图像相似度，根据所述图像相似度的取值确定所述页面图像的测试结果；其中，所述目标区域是按照如权利要求1
‑
6中任一项所述的页面元素定位方法定位得到。8.一种页面元素定位装置，包括：初始定位区域确定模块，用于确定待测试的页面图像中与元素模板匹配的初始定位区域；目标定位区域确定模块，用于在所述页面图像中，以所述初始定位区域的中心点为初始点向四周进行区域增长，得到与所述元素模板匹配的目标定位区域；其中，所述区域增长的终止条件是根据增长的区域边界上各点与所述初始点的差异表现确定。9.根据权利要求8所述的装置，其中，所述目标定位区域确定模块具体用于：
在所述页面图像中，以所述初始定位区域的中心点为初始点，向所述初始点的四周以矩形进行扩散，直到得到的目标矩形的每条边上各点像素值的均值，都小于所述中心点的像素值与预设阈值的乘积，并将所述目标矩形对应的...

【专利技术属性】
技术研发人员：任彦伟，尹飞，顾友达，熊冰，邢潘红，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：