基于深度学习的界面控件测试方法及系统技术方案

本发明专利技术提供了一种基于深度学习的界面控件测试方法及系统，所述方法包含：获取待测试控件测试过程的界面序号、目标文本、目标控件位置及输入信息；根据界面序号截取对应的屏幕界面数据，将屏幕界面数据带入通过场景文本检测公共数据集训练获得的文本检测模型中获得文本位置信息；根据文本位置信息对屏幕界面数据中对应区域进行截图获得文本区域截图数据，将文本区域截图数据带入通过文本识别公共数据集训练获得的文本识别模型中获得文本信息；将文本信息与目标文本进行匹配，根据匹配得到的目标文本获得对应的目标控件位置及输入信息；根据输入信息对目标控件位置对应的目标控件执行对应的指令操作。

【技术实现步骤摘要】
基于深度学习的界面控件测试方法及系统
本专利技术涉及界面控件测试领域，尤指代一种基于深度学习的界面控件方法及测试系统。
技术介绍
为了保证软件产品的质量，软件产品在发布之前都会进行大量的测试工作。在现有技术中，测试人员可以借助自动化测试工具或其它手段，对界面进行测试，以实现节约人力和降低时间成本。界面自动化测试最为重要的一件事情就是得到要操作的控件对象，比如一个文本框、点击框、下拉框等等。精确、快速的得到目标控件对象是界面控件自动化测试的关键。传统的界面控件测试一般分为两种方法：一种通过录制界面控件的图片并保存在特定的路径下，然后通过编写测试脚本的方式去找界面中目标控件的位置从而对界面中目标控件进行相应的动作指令测试。第二种是直接通过测试案例驱动，将控件的大致的位置坐标和对控件操作的动作指令填写到案例数据中，通过案例中填写的目标控件周围的目标文本位置坐标和控件周围的目标文本信息，并指定寻找目标文本图片的文本框大小按每个像素不断遍历，每遍历一次得到的图片送到OCR识别服务中去识别，识别的结果与控件周围的目标文本匹配，找到目标控件周围的文本位置坐标，然后再根据得到的文本位置坐标和案例中填写的控件与周围的目标文本的相对位置去遍历找到目标控件。第一种方法的缺点：1、当界面发生变化时录制的界面控件的位置和编写的测试脚本都要随之变化。2、当界面显示在分辨率较低的显示器上面显示时，原来在较高分辨率录制的控件图片在分辨率较低的显示器上可能识别不到，这种情况下需要重新录制脚本。不断的重复录制和修改脚本浪费了人力和时间成本，导致测试工作效率不高。第二种方法的缺点：1、在测试案例中需要填写目标控件周围的目标文本位置起点和终点坐标，然而在实际测试过程中测试人员是很难知道目标文本在界面中的位置的，起点坐标在填写时只能估计很小的坐标，终点坐标在填写时只能估计很大的坐标，但这样会增加图片遍历的次数，非常耗时。2、在寻找控件周围的目标文本图片时，需要指定寻找目标文本框的大小按像素不断遍历，当指定的目标文本框的大小通过遍历不能找到该目标文本的图片时，需要换文本框的大小重新遍历。这种方式不智能，效率很低，而且如果规定的目标文本框较小或者较大，都很有可能存在找不目标本文图片的情况。
技术实现思路
本专利技术目的在于提供一种基于深度学习的界面控件方法及测试系统，提高对界面控件进行识别的精确度、易用性更强，从而节约测试的人力、时间成本。为达上述目的，本专利技术所提供的基于深度学习的界面控件测试方法，具体包含：获取待测试控件测试过程的界面序号、目标文本、目标控件位置及输入信息；根据所述界面序号截取对应的屏幕界面数据，将所述屏幕界面数据带入通过场景文本检测公共数据集训练获得的文本检测模型中获得文本位置信息；根据所述文本位置信息对所述屏幕界面数据中对应区域进行截图获得文本区域截图数据，将所述文本区域截图数据带入通过文本识别公共数据集训练获得的文本识别模型中获得文本信息；将所述文本信息与所述目标文本进行匹配，根据匹配得到的目标文本获得对应的目标控件位置及输入信息；根据所述输入信息对所述目标控件位置对应的目标控件执行对应的指令操作。在上述基于深度学习的界面控件测试方法中，优选的，获取待测试控件测试过程的界面序号、目标文本、目标控件位置及输入信息还包含：根据所述界面序号、所述目标文本、所述目标控件位置及所述输入信息生成测试案例；根据一条或多条测试案例生成案例模板数据。在上述基于深度学习的界面控件测试方法中，优选的，所述目标控件位置包含：目标控件与所述目标文本的相对位置和最短距离。在上述基于深度学习的界面控件测试方法中，优选的，根据所述界面序号截取对应的屏幕界面数据包含：根据所述界面序号通过GUI自动截屏方法截取对应的屏幕界面数据。在上述基于深度学习的界面控件测试方法中，优选的，所述文本检测模型构建流程包含：将场景文本检测公共数据集中图像数据按预设比例划分为训练集图像数据和验证集图像数据；通过卷积神经网络算法提取所述训练集图像数据和所述验证集图像数据的图片特征；对所述图片特征做预设像素的文本二分类预测及预设像素相邻方向的连接的文本二分类预测，根据预设像素的文本二分类预测和连接的文本二分类预测获得连通域集合，根据所述连通域集合获得文字块实例分割数据；根据所述文字块实例分割数据通过OpenCV提取带方向信息的外接矩形框，获得文本边界框；根据所述训练集图像数据、所述文本边界框和所述验证集图像数据构建文本检测模型。在上述基于深度学习的界面控件测试方法中，优选的，将场景文本检测公共数据集中图像数据按预设比例划分为训练集图像数据和验证集图像数据还包含：将所述训练集图像数据和所述验证集图像数据转化为tfrecord文件格式。在上述基于深度学习的界面控件测试方法中，优选的，所述文本识别模型构建流程包含：将文本识别公共数据集中图像数据按预设比例划分为训练集图像数据和验证集图像数据；通过卷积神经网络算法提取所述训练集图像数据和所述验证集图像数据的图像卷积特征；通过循环神经网络算法分析所述图像卷积特征的特性向量序列，获得文本字符序列概率；通过CTC算法转录所述文本字符序列概率获得文本数据；根据所述文本数据、所述训练集图像数据和所述验证集图像数据构建文本识别模型。在上述基于深度学习的界面控件测试方法中，优选的，将文本识别公共数据集中图像数据按预设比例划分为训练集图像数据和验证集图像数据还包含：将所述文本识别公共数据集中图像数据归一化处理为预设尺寸的标准图像数据；将所述标准图像数据转化为tfrecord文件格式后，按预设比例划分为训练集图像数据和验证集图像数据。在上述基于深度学习的界面控件测试方法中，优选的，根据所述输入信息对所述目标控件位置对应的目标控件执行对应的指令操作包含：根据所述输入信息调用GUI自动化技术对所述目标控件位置对应的目标控件执行对应的指令操作。本专利技术还提供一种基于深度学习的界面控件测试系统，所述系统包含设置模块、文本位置检测模块、文本信息提取模块、匹配模块和测试模块；所述设置模块用于获取待测试控件测试过程的界面序号、目标文本、目标控件位置及输入信息；所述文本位置检测模块用于根据所述界面序号截取对应的屏幕界面数据，将所述屏幕界面数据带入通过场景文本检测公共数据集训练获得的文本检测模型中获得文本位置信息；所述文本信息提取模块用于根据所述文本位置信息对所述屏幕界面数据中对应区域进行截图获得文本区域截图数据，将所述文本区域截图数据带入通过文本识别公共数据集训练获得的文本识别模型中获得文本信息；所述匹配模块用于将所述文本信息与所述目标文本进行匹配，根据匹配得到的目标文本获得对应的目标控件位置及输入信息；所述测试模块用于根据所述输入信息对所述目标控件位置对应的目标控件执行对应的指令操作。在上述基于深度学习的界面控件测试系统中，优选的，所述设置模块还包含：根据所述界面序号、所述目标文本、所述目标控件位置及所述输入信息生成测试案例；根据一条或多条测试案例生成案例模板数据；其中，所述目标控件位置包含：目标控本文档来自技高网...

【技术保护点】
1.一种基于深度学习的界面控件测试方法，其特征在于，所述方法包含：/n获取待测试控件测试过程的界面序号、目标文本、目标控件位置及输入信息；/n根据所述界面序号截取对应的屏幕界面数据，将所述屏幕界面数据带入通过场景文本检测公共数据集训练获得的文本检测模型中获得文本位置信息；/n根据所述文本位置信息对所述屏幕界面数据中对应区域进行截图获得文本区域截图数据，将所述文本区域截图数据带入通过文本识别公共数据集训练获得的文本识别模型中获得文本信息；/n将所述文本信息与所述目标文本进行匹配，根据匹配得到的目标文本获得对应的目标控件位置及输入信息；/n根据所述输入信息对所述目标控件位置对应的目标控件执行对应的指令操作。/n

【技术特征摘要】
1.一种基于深度学习的界面控件测试方法，其特征在于，所述方法包含：
获取待测试控件测试过程的界面序号、目标文本、目标控件位置及输入信息；
根据所述界面序号截取对应的屏幕界面数据，将所述屏幕界面数据带入通过场景文本检测公共数据集训练获得的文本检测模型中获得文本位置信息；
根据所述文本位置信息对所述屏幕界面数据中对应区域进行截图获得文本区域截图数据，将所述文本区域截图数据带入通过文本识别公共数据集训练获得的文本识别模型中获得文本信息；
将所述文本信息与所述目标文本进行匹配，根据匹配得到的目标文本获得对应的目标控件位置及输入信息；
根据所述输入信息对所述目标控件位置对应的目标控件执行对应的指令操作。


2.根据权利要求1所述的基于深度学习的界面控件测试方法，其特征在于，获取待测试控件测试过程的界面序号、目标文本、目标控件位置及输入信息还包含：根据所述界面序号、所述目标文本、所述目标控件位置及所述输入信息生成测试案例；根据一条或多条测试案例生成案例模板数据。


3.根据权利要求2所述的基于深度学习的界面控件测试方法，其特征在于，所述目标控件位置包含：目标控件与所述目标文本的相对位置和最短距离。


4.根据权利要求1所述的基于深度学习的界面控件测试方法，其特征在于，根据所述界面序号截取对应的屏幕界面数据包含：根据所述界面序号通过GUI自动截屏方法截取对应的屏幕界面数据。


5.根据权利要求1所述的基于深度学习的界面控件测试方法，其特征在于，所述文本检测模型构建流程包含：
将场景文本检测公共数据集中图像数据按预设比例划分为训练集图像数据和验证集图像数据；
通过卷积神经网络算法提取所述训练集图像数据和所述验证集图像数据的图片特征；
对所述图片特征做预设像素的文本二分类预测及预设像素相邻方向的连接的文本二分类预测，根据预设像素的文本二分类预测和连接的文本二分类预测获得连通域集合，根据所述连通域集合获得文字块实例分割数据；
根据所述文字块实例分割数据通过OpenCV提取带方向信息的外接矩形框，获得文本边界框；
根据所述训练集图像数据、所述文本边界框和所述验证集图像数据构建文本检测模型。


6.根据权利要求5所述的基于深度学习的界面控件测试方法，其特征在于，将场景文本检测公共数据集中图像数据按预设比例划分为训练集图像数据和验证集图像数据还包含：将所述训练集图像数据和所述验证集图像数据转化为tfrecord文件格式。


7.根据权利要求1所述的基于深度学习的界面控件测试方法，其特征在于，所述文本识别模型构建流程包含：
将文本识别公共数据集中图像数据按预设比例划分为训练集图像数据和验证集图像数据；
通过卷积神经网络算法提取所述训练集图像数据和所述验证集图像数据的图像卷积特征；
通过循环神经网络算法分析所述图像卷积特征的特性向量序列，获得文本字符序列概率；
通过CTC算法转录所述文本字符序列概率获得文本数据；
根据所述文本数据、所述训练集图像数据和所述验证集图像数据构建文本识别模型。


8.根据权利要求7所述的基于深度学习的界面控件测试方法，其特征在于，将文本识别公共数据集中图像数据按预设比例划分为训练集图像数据和验证集图像数据还包含：
将所述文本识别公共数据集中图像数据归一化处理为预设尺寸的标准图像数据；
将所述标准图像数据转化为tfrecord文件格式后，按预设比例划分为训练集图像数据和验证集图像数据。


9.根据权利要求1所述的基于深度学习的界面控件测试方法，其特征在于，根据所述输入信息对所述目标控件位置对应的目标控件执行对应的指令操作包含：
根据所述输入信息调用GUI自动化技术对所述目标控件位置对应的目标控件执行对应的指令操作。


10.一种基于深度学习的界面控件测试系统，其特征在于，...

【专利技术属性】
技术研发人员：吴思奥，张浩，傅媛媛，丘士丹，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11