System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() UI自动化测试断言语句生成方法、装置和设备制造方法及图纸_技高网

UI自动化测试断言语句生成方法、装置和设备制造方法及图纸

技术编号:41269206 阅读:4 留言:0更新日期:2024-05-11 09:24
本发明专利技术提供一种UI自动化测试断言语句生成方法、装置和设备,属于互联网技术领域,该方法包括:获取目标软件的界面图像;目标软件的界面图像为测试人员对目标软件的目标控件操作之后生成的;获取测试人员在界面图像中确定出断言特征图像区域时的凝视点坐标信息;将目标软件的界面图像和凝视点坐标信息,输入至分割一切SAM模型中,得到目标凝视区域图像;将目标凝视区域图像输入至断言语句生成函数,输出脚本断言语句。本发明专利技术的方法提高了断言语句的生成效率和目标软件的测试效率。

【技术实现步骤摘要】

本专利技术涉及互联网,尤其涉及一种ui自动化测试断言语句生成方法、装置和设备。


技术介绍

1、基于图像识别的自动化测试工具(如airtest)在各种桌面应用软件的自动化测试应用中,需要对识别控件进行点击操作后进行断言操作,以验证识别控件点击操作后软件有没有按设计流程反应。

2、相关技术中,在基于图像识别的自动化测试工具的应用过程中,需要在软件用户界面上寻找特征图像后人工进行截图,然后编写基于图片识别的断言语句,最后在自动化测试工具中执行自动化测试脚本,上述断言语句的生成方法比较耗时,效率较低。


技术实现思路

1、针对现有技术中的问题,本专利技术实施例提供一种ui自动化测试断言语句生成方法、装置和设备。

2、具体地,本专利技术实施例提供了以下技术方案:

3、第一方面,本专利技术实施例提供了一种ui自动化测试断言语句生成方法,包括:

4、获取目标软件的界面图像;目标软件的界面图像为测试人员对目标软件的目标控件操作之后生成的;

5、获取测试人员在界面图像中确定出断言特征图像区域时的凝视点坐标信息;

6、将目标软件的界面图像和凝视点坐标信息,输入至分割一切sam模型中,得到目标凝视区域图像;

7、将目标凝视区域图像输入至断言语句生成函数,输出脚本断言语句。

8、进一步地,获取测试人员在界面图像中确定出断言特征图像区域时的凝视点坐标信息,包括:

9、实时获取测试人员的面部图像;

10、根据测试人员的面部图像,获取测试人员的面部特征信息;

11、将测试人员的面部特征信息输入至目标神经网络,确定测试人员的注视点;目标神经网络用于根据测试人员的面部特征信息确定出测试人员的注视点;

12、根据测试人员的注视点和测试人员在注视点的注视时长,确定测试人员在界面图像中确定出断言特征图像区域时的凝视点坐标信息。

13、进一步地,根据测试人员的注视点和测试人员在注视点的注视时长,确定测试人员在界面图像中确定出断言特征图像区域时的凝视点坐标信息,包括:

14、在所述测试人员在所述注视点的注视时长超过阈值的情况下,得到所述凝视点坐标信息。

15、进一步地,目标神经网络基于如下方式进行训练:

16、获取目标数据集;目标数据集中包括多组面部特征信息及所述面部特征信息所对应的校准参考点;

17、将目标数据集划分为训练集、验证集和测试集;

18、根据训练集和验证集对目标神经网络进行训练并通过测试集进行测试,得到训练后的目标神经网络。

19、进一步地,将目标凝视区域图像输入至断言语句生成函数,输出脚本断言语句,包括:

20、将目标凝视区域图像作为断言特征图像,输入至断言语句生成函数,生成断言存在assert_exists类型语句。

21、第二方面,本专利技术实施例还提供了一种ui自动化测试断言语句生成装置,包括:

22、第一获取模块,用于获取目标软件的界面图像;目标软件的界面图像为测试人员对目标软件的目标控件操作之后生成的;

23、第二获取模块,用于获取测试人员在界面图像中确定出断言特征图像区域时的凝视点坐标信息;

24、处理模块,用于将目标软件的界面图像和凝视点坐标信息,输入至分割一切sam模型中,得到目标凝视区域图像;

25、生成模块,用于将目标凝视区域图像输入至断言语句生成函数,输出脚本断言语句。

26、第三方面,本专利技术实施例还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述ui自动化测试断言语句生成方法。

27、第四方面,本专利技术实施例还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述ui自动化测试断言语句生成方法。

28、第五方面,本专利技术实施例还提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如第一方面所述ui自动化测试断言语句生成方法。

29、本专利技术实施例提供的ui自动化测试断言语句生成方法、装置和设备,通过获取测试人员对目标软件的控件进行点击操作之后的目标软件的界面图像,以及测试人员对界面图像的凝视点坐标信息,进而将目标软件的界面图像和凝视点坐标信息,输入至分割一切sam模型中,得到目标凝视区域,从而基于确定出的目标凝视区域也就可以高效准确的生成目标软件测试过程中的断言语句;避免了现有技术中,基于图像识别的自动化测试工具的应用过程中,需要在软件用户界面上寻找特征图像后人工进行截图,然后编写基于图片识别的断言语句的繁琐流程,提高了断言语句的生成效率和目标软件的测试效率。

本文档来自技高网
...

【技术保护点】

1.一种界面设计UI自动化测试断言语句生成方法,其特征在于,包括:

2.根据权利要求1所述的UI自动化测试断言语句生成方法,其特征在于,所述获取所述测试人员在所述界面图像中确定出断言特征图像区域时的凝视点坐标信息,包括:

3.根据权利要求2所述的UI自动化测试断言语句生成方法,其特征在于,所述根据所述测试人员的注视点和所述测试人员在所述注视点的注视时长,确定所述测试人员在所述界面图像中确定出断言特征图像区域时的凝视点坐标信息,包括:

4.根据权利要求2所述的UI自动化测试断言语句生成方法,其特征在于,所述目标神经网络基于如下方式进行训练:

5.根据权利要求1-4任一项所述的UI自动化测试断言语句生成方法,其特征在于,所述将所述目标凝视区域图像输入至断言语句生成函数,输出脚本断言语句,包括:

6.一种UI自动化测试断言语句生成装置,其特征在于,包括:

7.根据权利要求6所述的UI自动化测试断言语句生成装置,其特征在于,所述第二获取模块具体用于:

8.根据权利要求7所述的UI自动化测试断言语句生成装置,其特征在于,所述第二获取模块具体用于:

9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述的UI自动化测试断言语句生成方法。

10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至5任一项所述的UI自动化测试断言语句生成方法。

...

【技术特征摘要】

1.一种界面设计ui自动化测试断言语句生成方法,其特征在于,包括:

2.根据权利要求1所述的ui自动化测试断言语句生成方法,其特征在于,所述获取所述测试人员在所述界面图像中确定出断言特征图像区域时的凝视点坐标信息,包括:

3.根据权利要求2所述的ui自动化测试断言语句生成方法,其特征在于,所述根据所述测试人员的注视点和所述测试人员在所述注视点的注视时长,确定所述测试人员在所述界面图像中确定出断言特征图像区域时的凝视点坐标信息,包括:

4.根据权利要求2所述的ui自动化测试断言语句生成方法,其特征在于,所述目标神经网络基于如下方式进行训练:

5.根据权利要求1-4任一项所述的ui自动化测试断言语句生成方法,其特征在于,所述将所述目标凝视区域图像输入至...

【专利技术属性】
技术研发人员:吴正中张辉李月强张东东邓能文王晓东刘喆
申请(专利权)人:北京城建智控科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1