一种用于自动化测试的页面元素定位方法和装置制造方法及图纸

本发明专利技术公开了一种用于自动化测试的页面元素定位方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：通过图像识别算法获取待识别页面的所有特征点；将每个所述特征点分别与页面元素对应的标准图像进行匹配，以获取多个匹配点；根据各所述匹配点确定所述页面元素在所述待识别页面中的位置。该实施方式通过图像识别算法来辅助自动化测试框架以精确定位待识别页面的页面元素，提高了对页面元素的识别、定位精度，进而提高了测试效率。

【技术实现步骤摘要】
一种用于自动化测试的页面元素定位方法和装置
本专利技术涉及计算机领域，尤其涉及一种用于自动化测试的页面元素定位方法和装置。
技术介绍
在安卓UI(UserInterface，用户界面)自动化测试中，安装好要测试的应用后，分析该应用中的所有页面元素以确保各页面元素能够被测试框架获取到。现有技术中可以通过UiAutomator来分析获取页面元素，其中，UiAutomator是用于安卓的自动化测试框架，基本上支持所有的安卓事件操作，可以不查看源码来抓取应用界面上的页面元素。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：自动化测试中，需要对页面元素进行识别、定位，然而UiAutomator识别、定位页面元素的准确率较低，经常由于页面元素识别错误而导致测试用例执行中断，如果想要继续执行测试则需要重新运行测试脚本，影响测试效率。
技术实现思路
有鉴于此，本专利技术实施例提供一种用于自动化测试的页面元素定位方法和装置，通过图像识别算法来辅助自动化测试框架以精确定位待识别页面的页面元素，该方式提高了对页面元素的识别、定位精度，进而提高了测试效率。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种用于自动化测试的页面元素定位方法。本专利技术实施例的一种用于自动化测试的页面元素定位方法，包括：通过图像识别算法获取待识别页面的所有特征点；将每个所述特征点分别与页面元素对应的标准图像进行匹配，以获取多个匹配点；根据各所述匹配点确定所述页面元素在所述待识别页面中的位置。可选地，所述通过图像识别算法获取待识别页面的所有特征点，包括：构建待识别页面中每个像素点的黑森矩阵，以得到每个像素点的特征值；对每个像素点的特征值分别进行非极大值抑制处理，以确定所述待识别页面的所有初步特征点；选取每个所述初步特征点的主方向；根据每个所述初步特征点所在的尺度值以及所述主方向，为每个所述初步特征点分别构造一个特征向量，所述特征向量即为所述特征点。可选地，所述将每个所述特征点分别与页面元素对应的标准图像进行匹配，以获取多个匹配点，包括：分别计算所述待识别页面中每个所述特征点与标准图像的所有特征点的欧式距离；分别确认每个所述特征点对应的最小的欧氏距离和次最小的欧氏距离的比值小于设定的阈值，所述特征点与对应最小欧氏距离的特征点构成匹配点对；通过随机抽样一致性算法去除所述匹配点对中的匹配错误的匹配点对，以获取多个匹配点。可选地，所述根据各所述匹配点确定所述页面元素在所述待识别页面中的位置，包括：根据各所述匹配点确定匹配中心点，将所述匹配中心点在屏幕的坐标作为所述页面元素在所述待识别页面中的位置。可选地，所述图像识别算法为SURF算法。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种用于自动化测试的页面元素定位装置。本专利技术实施例的一种用于自动化测试的页面元素定位装置，包括：获取模块，用于通过图像识别算法获取待识别页面的所有特征点；匹配模块，用于将每个所述特征点分别与所述页面元素对应的标准图像进行匹配，以获取多个匹配点；确定模块，用于根据各所述匹配点确定所述页面元素在所述待识别页面中的位置。可选地，所述获取模块，还用于：构建待识别页面中每个像素点的黑森矩阵，以得到每个像素点的特征值；对每个像素点的特征值分别进行非极大值抑制处理，以确定所述待识别页面的所有初步特征点；选取每个所述初步特征点的主方向；以及根据每个所述初步特征点所在的尺度值以及所述主方向，为每个所述初步特征点分别构造一个特征向量，所述特征向量即为所述特征点。可选地，所述匹配模块，还用于：分别计算所述待识别页面中每个所述特征点与标准图像的所有特征点的欧式距离；分别确认每个所述特征点对应的最小的欧氏距离和次最小的欧氏距离的比值小于设定的阈值，所述特征点与对应最小欧氏距离的特征点构成匹配点对；以及通过随机抽样一致性算法去除所述匹配点对中的匹配错误的匹配点对，以获取多个匹配点。可选地，所述确定模块，还用于：根据各所述匹配点确定匹配中心点，将所述匹配中心点在屏幕的坐标作为所述页面元素在所述待识别页面中的位置。为实现上述目的，根据本专利技术实施例的再一方面，提供了一种电子设备。本专利技术实施例的一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例的一种用于自动化测试的页面元素定位方法。为实现上述目的，根据本专利技术实施例的再一方面，提供了一种计算机可读介质。本专利技术实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本专利技术实施例的一种用于自动化测试的页面元素定位方法。上述专利技术中的一个实施例具有如下优点或有益效果：通过图像识别算法来辅助自动化测试框架以精确定位待识别页面的页面元素，该方式提高了对页面元素的识别、定位精度，提高了测试效率；基于SURF(Speeded-UpRobustFeatures)算法获取待识别页面的特征点，不仅具有对尺度和旋转的鲁棒性，而且运算速度较快，基于少量特征点就能定位待识别页面的页面元素；将SURF算法和RANSAC算法(RANdomSampleConsensus，随机抽样一致性算法)相结合，应用到自动化测试中，提高了页面元素的识别精度。上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：图1是根据本专利技术实施例的页面元素定位方法的主要步骤的示意图；图2是根据本专利技术实施例的页面元素定位方法的主要流程示意图；图3是根据本专利技术实施例的页面元素定位装置的主要模块的示意图；图4是本专利技术实施例可以应用于其中的示例性系统架构图；图5是适用于来实现本专利技术实施例的电子设备的计算机装置的结构示意图。具体实施方式以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1是根据本专利技术实施例的页面元素定位方法的主要步骤的示意图。如图1所示，本专利技术实施例的页面元素定位方法，主要包括如下步骤：步骤S101：通过图像识别算法获取待识别页面的所有特征点。其中，所述待识别页面为待进行测试的应用程序在当前页面的屏幕的截图。所述图像识别算法可以是SURF(Speeded-UpRobustFeatures，加速稳健特征)算法、SIFT(Scale-invariantfeaturetransform，尺度不变特征转换)算法等。SURF算法是一个稳健的图像识别和描述算法，该算法在适中的条件下能够完成两幅图像中物体的匹配，且基本实现了实时处理。SIFT算法具有尺度不变性，可在图像中检测出关键点。步骤S102：将每个所述特征点分别与页面元素对应的标准图像进行匹配，以获取多个匹配点。其中，页面元素对应的标准图像为待进行测试的应用程序中每个页面中包含的页面元素所对应的标准图像。所述页面元素包括控件(比如按钮、文本框)和图像元素。通过图像匹配算法，比如最近邻次近邻比值法、特征点匹配算法，本文档来自技高网...

【技术保护点】
1.一种用于自动化测试的页面元素定位方法，其特征在于，包括：通过图像识别算法获取待识别页面的所有特征点；将每个所述特征点分别与页面元素对应的标准图像进行匹配，以获取多个匹配点；根据各所述匹配点确定所述页面元素在所述待识别页面中的位置。

【技术特征摘要】
1.一种用于自动化测试的页面元素定位方法，其特征在于，包括：通过图像识别算法获取待识别页面的所有特征点；将每个所述特征点分别与页面元素对应的标准图像进行匹配，以获取多个匹配点；根据各所述匹配点确定所述页面元素在所述待识别页面中的位置。2.根据权利要求1所述的方法，其特征在于，所述通过图像识别算法获取待识别页面的所有特征点，包括：构建待识别页面中每个像素点的黑森矩阵，以得到每个像素点的特征值；对每个像素点的特征值分别进行非极大值抑制处理，以确定所述待识别页面的所有初步特征点；选取每个所述初步特征点的主方向；根据每个所述初步特征点所在的尺度值以及所述主方向，为每个所述初步特征点分别构造一个特征向量，所述特征向量即为所述特征点。3.根据权利要求1所述的方法，其特征在于，所述将每个所述特征点分别与页面元素对应的标准图像进行匹配，以获取多个匹配点，包括：分别计算所述待识别页面中每个所述特征点与标准图像的所有特征点的欧式距离；分别确认每个所述特征点对应的最小的欧氏距离和次最小的欧氏距离的比值小于设定的阈值，所述特征点与对应最小欧氏距离的特征点构成匹配点对；通过随机抽样一致性算法去除所述匹配点对中的匹配错误的匹配点对，以获取多个匹配点。4.根据权利要求1所述的方法，其特征在于，所述根据各所述匹配点确定所述页面元素在所述待识别页面中的位置，包括：根据各所述匹配点确定匹配中心点，将所述匹配中心点在屏幕的坐标作为所述页面元素在所述待识别页面中的位置。5.根据权利要求1至4的任一项所述的方法，其特征在于，所述图像识别算法为SURF算法。6.一种用于自动化测试的页面元素定位装置，其特征在于，包括：获取模块，用于...

【专利技术属性】
技术研发人员：张慧，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11