软件测试方法和系统技术方案

本申请公开了一种软件测试方法和系统，涉及图像识别技术和自动测试技术，包括录制步骤和测试步骤；录制步骤包括：录制多个指令组且将多个指令组写入自动测试脚本中；在录制指令组时，获取调整指令和第一点击指令，根据调整指令调整截屏区域的位置及大小，根据第一点击指令对当前的截屏区域进行截屏，得到第一截图，以及从第一点击指令中获取第一点击指令对应的第一点击位置；并生成识别第一截图的图像识别指令，以及生成用于在识别到第一截图后点击所述第一点击位置的第二点击指令。通过本申请，用户可以在录制阶段灵活调整截屏区域的位置和大小，使得截图可以避开动态画面，这样可以避免脚本回放时识别失败。以避免脚本回放时识别失败。以避免脚本回放时识别失败。

【技术实现步骤摘要】
软件测试方法和系统


[0001]本申请涉及图像识别技术和软件测试技术，特别是一种软件测试方法和系统。

技术介绍

[0002]自动化测试技术，通常结合图像识别技术来完成自动化测试。其测试原理是通过人工录制测试脚本，然后通过图像识别技术进行脚本的回放来完成测试。
[0003]在测试脚本中，通常会抓取软件画面的截图作为执行点击指令的执行依据，即在执行脚本回放时，图像识别模型会识别当前的画面和截图之间是否一直来判断是否要执行点击指令。但是部分软件画面中会有诸如滚动广告或者动画等动态画面区域，这些区域的画面可能难以在剧本回放时复现，因此会影响图像识别模型的判断。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种软件测试方法和系统，以降低对截图的影响。
[0005]一方面，本申请实施例提供了：
[0006]一种软件测试方法，包括录制步骤和测试步骤；
[0007]所述录制步骤包括：录制多个指令组且将多个指令组写入自动测试脚本中；
[0008]其中，在录制指令组时，获取调整指令和第一点击指令，根据所述调整指令调整截屏区域的位置及大小，根据所述第一点击指令对当前的截屏区域进行截屏，得到第一截图，以及从所述第一点击指令中获取所述第一点击指令对应的第一点击位置；并生成识别所述第一截图的图像识别指令，以及生成用于在识别到所述第一截图后点击所述第一点击位置的第二点击指令；
[0009]所述测试步骤包括：执行所述自动测试脚本中的各所述指令组，其中，在执行图像识别指令时，调用图像识别模型预测第二截图和所述第一截图是否相同画面，若是，则执行所述图像识别指令对应的第二点击指令；其中，所述第二截图为软件画面中与所述第一截图位置相同的截图。
[0010]在一些实施例中，所述调整指令包括鼠标移动指令和若干个按钮指令；
[0011]在录制指令时，还包括以下步骤：
[0012]显示软件画面和当前的截屏区域；
[0013]所述根据所述调整指令调整截屏区域的位置及大小的步骤，具体包括：
[0014]根据所述鼠标移动指令确定所述截屏区域的中心坐标在所述软件画面中的位置；
[0015]根据所述按钮指令调整所述截屏区域的各边界与所述中心坐标的距离。
[0016]在一些实施例中，所述图像识别模型包括预处理单元和图像分类单元；
[0017]所述调用图像识别模型预测第二截图和所述第一截图是否相同画面的步骤，包括:
[0018]调用所述预处理单元，将所述第一截图和所述第二截图作差，得到第三截图；
[0019]将所述第三截图输入到所述图像分类模型中进行分类，得到用于表示所述第一截图和第二截图是否为相同的画面的分类结果。
[0020]在一些实施例中，所述显示软件画面和当前的截屏区域，包括：
[0021]在第一图层上显示所述软件画面；
[0022]在第二图层上显示所述截屏区域；
[0023]其中，所述第二图层位于第一图层的上方，在所述第二图层中，所述截屏区域为显示为透明区域。
[0024]在一些实施例中，在录制指令组时，还包括以下步骤：
[0025]检测当前画面中的动态画面区域；
[0026]当当前的截屏区域与动态画面区域相交时，产生提示信息。
[0027]在一些实施例中，所述检测当前画面中的动态画面区域，具体包括：
[0028]按照设定间隔获取所述软件的两个画面帧；
[0029]将两个所述画面帧作差，得到差异图；
[0030]根据所述差异图中取值是非零的像素点的位置确定所述动态画面区域。
[0031]在一些实施例中，所述根据所述差异图中取值是非零的像素点的位置确定所述动态画面区域，具体包括：
[0032]将具有相邻关系的取值是非零的像素点归到一个像素块，将包围每个所述像素块的最小矩形区域作为所述动态画面区域。
[0033]在一些实施例中，所述产生提示信息具体为：改变所述第二图层中截屏区域的颜色和透明度，以作为提示信息。
[0034]另一方面，本申请实施例提供了：
[0035]一种软件测试系统，包括录制模块和测试模块；
[0036]所述录制模块用于：录制多个指令组且将多个指令组写入自动测试脚本中；
[0037]其中，在录制指令组时，获取调整指令和第一点击指令，根据所述调整指令调整截屏区域的位置及大小，根据所述第一点击指令对当前的截屏区域进行截屏，得到第一截图，以及从所述第一点击指令中获取所述第一点击指令对应的第一点击位置；并生成识别所述第一截图的图像识别指令，以及生成用于在识别到所述第一截图后点击所述第一点击位置的第二点击指令；
[0038]所述测试模块用于：所述测试步骤包括：执行所述自动测试脚本中的各所述指令组，其中，在执行图像识别指令时，调用图像识别模型预测第二截图和所述第一截图是否相同画面，若是，则执行所述图像识别指令对应的第二点击指令；其中，所述第二截图为软件画面中与所述第一截图位置相同的截图。
[0039]另一方面，本申请实施例提供了：
[0040]一种软件测试系统，包括：
[0041]存储器，用于存储程序；
[0042]处理器，用于记载所述程序以执行上述的软件测试方法。
[0043]本申请实施例包括录制步骤和测试步骤；其中，在录制指令组时，获取调整指令和第一点击指令，根据所述调整指令调整截屏区域的位置及大小，根据所述第一点击指令对当前的截屏区域进行截屏，得到第一截图，以及从所述第一点击指令中获取所述第一点击
指令对应的第一点击位置；并生成识别所述第一截图的图像识别指令，以及生成用于在识别到所述第一截图后点击所述第一点击位置的第二点击指令；然后在测试步骤中，执行所述自动测试脚本中的各所述指令组，其中，在执行图像识别指令时，调用图像识别模型预测第二截图和所述第一截图是否相同画面，若是，则执行所述图像识别指令对应的第二点击指令；其中，所述第二截图为软件画面中与所述第一截图位置相同的截图；本申请可以通过调整指令调整截屏区域的位置及大小，使得用户在选择被识别的第一截图时可以主动避开动态画面区域，同时，也可以灵活调整截屏区域的大小和位置来使得第一截图中包含更多的特征信息，避免第一截图只截取到诸如空白区域等特征较少的区域。
附图说明
[0044]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045]图1是软件测试方法的流程图；
[0046]图2是软件画面和截屏区域的示意图。
具体实施方式
[0047]为使本申请的目的、技术方案和优点更加清楚，以下将参照本申请实施例中的附图，通过实施方式清楚、完整地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种软件测试方法，其特征在于，包括录制步骤和测试步骤；所述录制步骤包括：录制多个指令组且将多个指令组写入自动测试脚本中；其中，在录制指令组时，获取调整指令和第一点击指令，根据所述调整指令调整截屏区域的位置及大小，根据所述第一点击指令对当前的截屏区域进行截屏，得到第一截图，以及从所述第一点击指令中获取所述第一点击指令对应的第一点击位置；并生成识别所述第一截图的图像识别指令，以及生成用于在识别到所述第一截图后点击所述第一点击位置的第二点击指令；所述测试步骤包括：执行所述自动测试脚本中的各所述指令组，其中，在执行图像识别指令时，调用图像识别模型预测第二截图和所述第一截图是否相同画面，若是，则执行所述图像识别指令对应的第二点击指令；其中，所述第二截图为软件画面中与所述第一截图位置相同的截图。2.根据权利要求1所述的软件测试方法，其特征在于，所述调整指令包括鼠标移动指令和若干个按钮指令；在录制指令时，还包括以下步骤：显示软件画面和当前的截屏区域；所述根据所述调整指令调整截屏区域的位置及大小的步骤，具体包括：根据所述鼠标移动指令确定所述截屏区域的中心坐标在所述软件画面中的位置；根据所述按钮指令调整所述截屏区域的边界与所述中心坐标的距离。3.根据权利要求1所述的软件测试方法，其特征在于，所述图像识别模型包括预处理单元和图像分类单元；所述调用图像识别模型预测第二截图和所述第一截图是否相同画面的步骤，包括:调用所述预处理单元，将所述第一截图和所述第二截图作差，得到第三截图；将所述第三截图输入到所述图像分类模型中进行分类，得到用于表示所述第一截图和第二截图是否为相同的画面的分类结果。4.根据权利要求2所述的软件测试方法，其特征在于，所述显示软件画面和当前的截屏区域，包括：在第一图层上显示所述软件画面；在第二图层上显示所述截屏区域；其中，所述第二图层位于第一图层的上方，在所述第二图层中，所述截屏区域为显示为透明区域。5....

【专利技术属性】
技术研发人员：罗维佳，李晓琳，罗剑芳，莫丽娟，黄衍鸿，许淑芬，朱凯，
申请(专利权)人：广州掌动智能科技有限公司，
类型：发明
国别省市：