生成断言参考图库的方法、装置、存储介质、计算机设备制造方法及图纸

本发明专利技术公开了一种生成断言参考图库的方法、装置、存储介质、计算机设备，通过将鼠标点击位置单点信息和点击的软件用户界面输入基于SAM与强化学习的控件区唯一性定位模块，输出点击控件编号和位置、长高信息，用户界面图片编号信息，控件区唯一性定位信息。当用户在上一步操作后，会对新的软件用户界面进行操作，再把新的软件用户界面和鼠标点击位置单点信息输入基于SAM与强化学习的控件区唯一性定位模块，输出新一步的上述三类信息。此时，新一步的点击控件图片信息可作为上一步操作执行是否成功的断言参考图片。将上一步输出的三类信息和新一步输出的点击控件信息进行信息映射关联，形成断言参考图片库。以此来提高断言参考图片库的建立效率。

【技术实现步骤摘要】

本专利技术涉及软件测试的，具体来说，涉及一种在基于图像识别的ui自动化测试中基于sam(segment anything model)的识别控件点击操作后生成断言参考图片库的方法。

技术介绍

1、基于图像识别的自动化测试工具(如airtest)在各种桌面应用软件的自动化测试应用中，需要在对识别控件进行点击操作后进行断言操作，以验证识别控件点击操作后软件有没有按设计流程反应。在这一过程中，断言标准即为识别控件点击操作后，软件用户界面做出操作反应后的一些特征图片。

2、例如在公布号为“cn113254343a”中公开了“一种用户界面测试断言方法、装置、电子设备及存储介质”，在测试过程中，基于测试用例所指示的测试对象的预设图像标识符，从预设图像库中查找是否存在与目标界面截图相匹配的界面截图，根据查找结果，输出测试用例的测试结果。又例如在公布号为“cn115437946a”中公开了“图像断言方法、装置、存储介质、计算机设备”，提出了一种在cypress框架下进行ui自动化测试中计算目标图像与参考图像的相似度的方法，并根据所得相似度来判断测试前端项目测试本文档来自技高网...

【技术保护点】

1.一种生成断言参考图库的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种生成断言参考图库的方法，其特征在于，步骤S2具体还包括以下步骤：

3.根据权利要求2所述的一种生成断言参考图库的方法，其特征在于，步骤S2-1的具体操作为：将各个控件mask内像素进行遍历，得出控件范围内最小和最大的水平和竖向坐标组合为(xmin,ymin),(xmax,ymax)，即为各个控件矩形的左上和右下坐标，l＝xmax-xmin,h＝ymax-ymin，l和h分别为各个控件矩形的长和高，再根据各控件左上角点坐标信息，按从左到右，从上到下的顺序进行控件外接矩形编号。...

【技术特征摘要】

1.一种生成断言参考图库的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种生成断言参考图库的方法，其特征在于，步骤s2具体还包括以下步骤：

3.根据权利要求2所述的一种生成断言参考图库的方法，其特征在于，步骤s2-1的具体操作为：将各个控件mask内像素进行遍历，得出控件范围内最小和最大的水平和竖向坐标组合为(xmin,ymin),(xmax,ymax)，即为各个控件矩形的左上和右下坐标，l＝xmax-xmin,h＝ymax-ymin，l和h分别为各个控件矩形的长和高，再根据各控件左上角点坐标信息，按从左到右，从上到下的顺序进行控件外接矩形编号。

4.根据权利要求2所述的一种生成断言参考图库的方法，其特征在于，步骤2-2的具体操作为：根据鼠标点击位置信息(x,y)与各控件矩形位置和长高信息进行比较，如果满足公式(a)要求，则j代表控件即为操作控件，得出点击控件编号信息、点击控件位置信息和点击控件长高信息，

5.根据权利要求2所述的一种生成断言参考图库的方法，其特征在于，点击控件区特征图为经过双线性插值处理的控件区特征图。

6.根据权利要求2所述的一种生成断言参考图库的方法，其特...

【专利技术属性】
技术研发人员：张辉，吴正中，李月强，王晓东，张东东，刘喆，邓能文，
申请(专利权)人：北京城建智控科技股份有限公司，
类型：发明
国别省市：