一种基于可视化页面的无脚本自动化测试方法技术

本发明专利技术涉及一种基于可视化页面的无脚本自动化测试方法，包括以下步骤：(1)在应用层输入测试任务，将测视任务发送至实现层；(2)实现层接收测试任务并将需要测试的页面以图片形式上传；(3)AI能力层接收图片，在图片中获取元素的位置信息和内容信息并将元素的位置信息和内容信息回传至实现层；(4)实现层与AI能力层循环交互完成测试动作，将测试后的结果反馈到应用层。本发明专利技术基于视觉效果进行数据提取及自动化测试，适用于不同测试平台(手机、电脑)并且对平台本身系统及承载程序都可实现无脚本自动化测试，减少了测试前准备工作，减少测试环节带来的时间消耗，提高测试效率，减少测试成本，降低测试要求，能够快速响应测试需求。

【技术实现步骤摘要】
一种基于可视化页面的无脚本自动化测试方法
本专利技术属于互联网
，尤其涉及一种基于可视化页面的无脚本自动化测试方法。
技术介绍
软件产品再投入使用前，需要对其进行测试，用户界面是系统和用户之间进行交互和信息交换的媒介。它实现信息的内部形式与人类可以接受形式之间的转换。用户界面的目的在于使得用户能够方便有效率地去操作硬件以达成双向之交互，完成所希望借助硬件完成之工作。用户界面使用广泛，随着移动通信以及电子商务等技术的发展，装载于移动终端中的应用越来越多，例如外卖应用，即时通信应用等等，不同的应用的用户界面一般包含有适量的页面元素以实现应用之操作功能。在软件产品开发阶段，需要对其用户界面中的页面元素进行测试。现有市场其一是通过开发语言编写测试适用于测试平台运行的自动化脚本，其二是通过适用于测试平台的第三方封装的工具进行脚本录制，然后进行自动化测试；现有自动化测试方式中，整个测试流程通过编写一个自动化测试脚本实现，在每个页面元素测试时，均需手动配置页面元素定位代码以及测试代码，即同一个页面元素需要被多次点击测试时，需要重复配置定位代码以及测试代码，此外，对于同一应用的不同版本，由于其页面元素的定位方式可能不同，导致需要为其不同版本单独编写自动化测试脚本。因此，现有的用户界面页面元素测试方法操作繁琐、工作量大。而且现有技术都无法快速进行测试，特别是在系统或者相关程序有功能进行更新时，测试准备工作较繁琐，维护工作量大，耗时多。
技术实现思路
本专利技术针对现有技术中的问题，提供了一种基于可视化页面的无脚本自动化测试方法。为了达到目的，本专利技术提供的技术方案为：本专利技术涉及一种基于可视化页面的无脚本自动化测试方法，自动化测试的测试系统包括应用层、实现层和AI能力层，所述的自动化测试方法包括以下步骤：(1)在应用层输入测试任务，将测视任务发送至实现层；(2)实现层接收测试任务并将需要测试的页面以图片形式上传；(3)AI能力层接收图片，在图片中获取元素的位置信息和内容信息并将元素的位置信息和内容信息回传至实现层；(4)实现层与AI能力层循环交互完成测试动作，将测试后的结果反馈到应用层。优选地，步骤(3)中获取元素的位置信息和内容信息的具体步骤为：(3.1)目标检测：通过YOLOv3算法检测出图片中所包含的物体，并定位物体所在的位置和对应的物体类别；(3.2)文字检测：通过PSEnet算法对任意形状的文本进行定位并识别相邻文本；(3.3)文字识别：通过DeepText算法预测输出字符序列；(3.4)位置匹配：通过SIFT算法找出不同尺度空间上的特征点，并计算出特征点的方向。优选地，步骤(3.2)中识别相邻文本以宽度优先搜索算法为基础，从具有最小尺度的核开始，通过逐步在较大的核中加入更多的像素来扩展它们的区域，完成直到发现最大的核。优选地，步骤(3.3)中，文字识别包括以下步骤：(3.3.1)变换：使用空间变换网络归一化输入文本图像；(3.3.2)特征提取：将输入的文本图像映射到专注于与字符识别相关的属性的表示形式，同时抑制不相关的特征；(3.3.3)序列建模：捕获字符序列中的上下文信息；(3.3.4)预测：从已识别的图像特征中预测输出字符序列。优选地，步骤(3.4)中位置匹配的具体步骤为：(3.4.1)尺度空间极值检测：搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点；(3.4.2)关键点定位：在每个候选的位置上，确定位置和尺度；(3.4.3)方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向；(3.4.4)关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。优选地，步骤(3.1)目标检测过程中，通过双log函数减小回归损失，具体公式为bx＝σ(tx)+cxby＝σ(ty)+cyloglog(b/p)＝t；式中：cx和cy为网格的坐标相对于整个图像featuremap的偏移坐标；σ(tx)和σ(ty)为sigmoid激活过后的偏移；pw和ph为预设的anchorbox的宽和高；tx、ty、tw和th为整个网络的输出值；bx为最终得到的目标框的左上角x坐标值；by为最终得到的目标框的左上角y坐标值；bw为最终得到的目标框的宽；bh为最终得到的目标框的高。优选地，步骤(3.1)目标检测过程中，通过损失函数优化解决目标数据比例失衡，优化公式为式中：Lfl为总损失，包括正样本损失和负样本损失；α为Focal_loss的比重；1-α为负样本的比重；y为真实的概率；y’为预测的概率；logy’为y’预测概率的信息量；γ为解决简单和困难样本平衡的系数。优选地，步骤(3.3)文字识别过程中，文字识别过程中通过Adam算法进行优化，Adam算法的计算公式为：mt＝μ×mt-1+(1-μ)×gt式中：式中：mt为对梯度的一阶矩估计；nt为对梯度的二阶矩估计；μ、v为矩估计的指数衰减速率mt-1为mt的上一期值；nt-1为nt的上一期值；gt为时间步序列上的梯度；为对mt的校正；为对nt的校正；η为步长；∈为用于数值稳定的常数；Δθt为第t步时的权重更新的梯度值。优选地，步骤(3.4)位置匹配过程中，通过在SIFT算法中加入NMS算法和IOU算法进行高质量位置信息提取，IOU算法的计算公式为：式中：IoU为模型预测的bbox和GroudTruth之间的交并比；DetectionResult为预测的边框；GroundTruth为真实的边框；NMS算法的计算公式为：式中：si为第i个框的得分；Nt为设定的阈值；M为预测框中得分最大的边框；b为预测的边框集合；bi为预测的边框第i个边框iou(M,bi)为M与bi的iou值。采用本专利技术提供的技术方案，与现有技术相比，具有如下有益效果：1、本专利技术基于视觉效果进行数据提取及自动化测试，适用于不同测试平台(手机、电脑)并且对平台本身系统及承载程序都可实现无脚本自动化测试，只需录入测试步骤，即可完成测试执行。2、本专利技术大大减少测试前准备工作，减少测试环节带来的时间消耗，提高测试效率，减少测试成本，降低测试要求，能够快速响应测试需求。附图说明图1为本专利技术的流程框图。具体实施方式为进一步了解本专利技术的内容，结合实施例对本专利技术作详细描述，以本文档来自技高网...

【技术保护点】
1.一种基于可视化页面的无脚本自动化测试方法，其特征在于，自动化测试的测试系统包括应用层、实现层和AI能力层，所述的自动化测试方法包括以下步骤：/n(1)在应用层输入测试任务，将测视任务发送至实现层；/n(2)实现层接收测试任务并将需要测试的页面以图片形式上传；/n(3)AI能力层接收图片，在图片中获取元素的位置信息和内容信息并将元素的位置信息和内容信息回传至实现层；/n(4)实现层与AI能力层循环交互完成测试动作，将测试后的结果反馈到应用层。/n

【技术特征摘要】
1.一种基于可视化页面的无脚本自动化测试方法，其特征在于，自动化测试的测试系统包括应用层、实现层和AI能力层，所述的自动化测试方法包括以下步骤：
(1)在应用层输入测试任务，将测视任务发送至实现层；
(2)实现层接收测试任务并将需要测试的页面以图片形式上传；
(3)AI能力层接收图片，在图片中获取元素的位置信息和内容信息并将元素的位置信息和内容信息回传至实现层；
(4)实现层与AI能力层循环交互完成测试动作，将测试后的结果反馈到应用层。


2.根据权利要求1所述的基于可视化页面的无脚本自动化测试方法，其特征在于，步骤(3)中获取元素的位置信息和内容信息的具体步骤为：
(3.1)目标检测：通过YOLOv3算法检测出图片中所包含的物体，并定位物体所在的位置和对应的物体类别；
(3.2)文字检测：通过PSEnet算法对任意形状的文本进行定位并识别相邻文本；
(3.3)文字识别：通过DeepText算法预测输出字符序列；
(3.4)位置匹配：通过SIFT算法找出不同尺度空间上的特征点，并计算出特征点的方向。


3.根据权利要求2所述的基于可视化页面的无脚本自动化测试方法，其特征在于，步骤(3.2)中识别相邻文本以宽度优先搜索算法为基础，从具有最小尺度的核开始，通过逐步在较大的核中加入更多的像素来扩展它们的区域，完成直到发现最大的核。


4.根据权利要求2所述的基于可视化页面的无脚本自动化测试方法，其特征在于，步骤(3.3)中，文字识别包括以下步骤：
(3.3.1)变换：使用空间变换网络归一化输入文本图像；
(3.3.2)特征提取：将输入的文本图像映射到专注于与字符识别相关的属性的表示形式，同时抑制不相关的特征；
(3.3.3)序列建模：捕获字符序列中的上下文信息；
(3.3.4)预测：从已识别的图像特征中预测输出字符序列。


5.根据权利要求2所述的基于可视化页面的无脚本自动化测试方法，其特征在于，步骤(3.4)中位置匹配的具体步骤为：
(3.4.1)尺度空间极值检测：搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点；
(3.4.2)关键点定位：在每个候选的位置上，确定位置和尺度；
(3.4.3)方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向；
(3.4.4)关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。


6.根据权利要求2所述的基于可视化页面的无脚本自动化测试方法，其特征在于，步骤(3.1)目标检测过程中，通过双log函数减小回归损失，具体公式为：
bx＝σ(tx)+cx
...

【专利技术属性】
技术研发人员：宋文韬，
申请(专利权)人：宋文韬，
类型：发明
国别省市：广东;44