基于应用录屏记录的测试用例生成方法、系统和存储介质技术方案

本发明专利技术公开了一种基于应用录屏记录的测试用例生成方法、系统和存储介质，方法包括：获取操作应用程序的录屏记录；对所述录屏记录分别进行触摸点检测、键盘检测和光标检测，得到录屏检测结果；根据所述录屏检测结果对所述录屏记录进行识别，得到录屏识别结果；根据所述录屏识别结果生成测试用例。本发明专利技术实现了UI测试技术中测试用例的自动化生成，基于测试用例实现录屏记录的复现；能够有效节约人力成本，部署简单，安全性高，流程简单，操作简便，有效帮助测试人员进行应用程序的bug（即漏洞）复现，提高测试效率，测试用例的复现成功率高。测试用例的复现成功率高。测试用例的复现成功率高。

【技术实现步骤摘要】
基于应用录屏记录的测试用例生成方法、系统和存储介质


[0001]本专利技术涉及人工智能和机器视觉
，具体涉及一种基于应用录屏记录的测试用例生成方法、系统和存储介质。

技术介绍

[0002]UI测试(User InterfaceTest，即用户界面测试)是测试人员必不可少的工作内容之一。基于使用应用程序(简称APP)的UI测试是由一系列UI操作事件组成，这些事件模仿了用户在使用手机等智能移动终端上给定应用程序的特定功能时的真实行为。
[0003]例如，测试人员要测试“使用淘宝APP搜索某款电脑并加入购物车”的功能，需要进行如下操作：1.在手机主界面滑动查找淘宝APP，然后单击淘宝APP对应的图标；2.单击登录按钮并输入用户名及密码登录；3.在搜索框中输入文字“**电脑”进行搜索；4.单击该电脑对应的链接并进入详情界面，然后单击“加入购物车”按钮。上述操作事件即记录了用户“使用淘宝APP搜索某款电脑并加入购物车”的功能时的真实行为。
[0004]测试人员要进行测试，可以通过录制屏幕(可以是屏幕截图，也可以屏幕视频)来记录用户使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于应用录屏记录的测试用例生成方法，其特征在于，包括：获取操作应用程序的录屏记录；对所述录屏记录分别进行触摸点检测、键盘检测和光标检测，得到录屏检测结果；根据所述录屏检测结果对所述录屏记录进行识别，得到录屏识别结果；根据所述录屏识别结果生成测试用例。2.根据权利要求1所述的基于应用录屏记录的测试用例生成方法，其特征在于，所述录屏记录包括n帧连续的录屏；所述录屏检测结果包括第一检测结果和第二检测结果；所述对所述录屏记录分别进行触摸点检测、键盘检测和光标检测，得到录屏检测结果，包括：基于Yolov7目标检测方法，对所述录屏记录进行触摸点检测，得到所述第一检测结果；基于所述Yolov7目标检测方法，对所述录屏记录进行键盘检测和光标检测，得到所述第二检测结果；所述第一检测结果包括所述录屏记录中是否存在至少一个触摸动作，以及在所述录屏记录中存在至少一个所述触摸动作时，每个所述触摸动作对应的第一动作起始时刻、第一动作结束时刻、触摸动作类型和触摸动作定位；所述第二检测结果包括所述录屏记录中是否存在至少一个输入动作，以及在所述录屏记录中存在至少一个所述输入动作时，每个输入动作对应的第二动作起始时刻、第二动作结束时刻、输入动作定位和输入文字内容；其中，所述触摸动作类型包括单击、双击、长按和滑动。3.根据权利要求2所述的基于应用录屏记录的测试用例生成方法，其特征在于，所述基于Yolov7目标检测方法，对所述录屏记录进行触摸点检测，得到所述第一检测结果，包括：步骤211：按照帧的先后顺序，依次提取所述录屏记录中的每帧录屏；当提取到第i帧录屏时，采用所述Yolov7目标检测方法，对第i帧录屏进行检测，判断第i帧录屏中是否存在触点；若是，执行步骤212，否则执行步骤216；其中1≤i≤n；步骤212：当i＝1时，判定第i帧录屏存在触摸动作，并将第i帧录屏的录屏时刻确定为对应的所述触摸动作的所述第一动作起始时刻，返回步骤211，继续提取所述录屏记录中的第i+1帧录屏；当1＜i＜n时，判定第i帧录屏存在触摸动作，并执行步骤213；当i＝n时，判定第i帧录屏存在触摸动作，并将第i帧录屏的录屏时刻确定为对应的所述触摸动作的所述第一动作结束时刻，执行步骤2110；步骤213：判断第i
‑
1帧录屏中是否存在触点；若是，执行步骤214，否则执行步骤215；步骤214：返回步骤211，继续提取所述录屏记录中的第i+1帧录屏，当i+1＞n后，执行步骤2110；步骤215：将第i帧录屏的录屏时刻确定为对应的所述触摸动作的所述第一动作起始时刻，并返回步骤211，继续提取所述录屏记录中的第i+1帧录屏，当i+1＞n后，执行步骤2110；步骤216：当i＝1时，判定第i帧录屏不存在触摸动作，返回步骤211，继续提取所述录屏记录中的第i+1帧录屏；当1＜i＜n时，判定第i帧录屏不存在触摸动作，并执行步骤217；当i＝n时，判定第i帧录屏不存在触摸动作，执行步骤2110；
步骤217：判断第i
‑
1帧录屏中是否存在触点；若是，执行步骤218，否则执行步骤219；步骤218：判定第i
‑
1帧录屏存在触摸动作，并将第i
‑
1帧录屏的录屏时刻确定为对应的所述触摸动作的所述第一动作结束时刻，返回步骤211，继续提取所述录屏记录中的第i+1帧录屏，当i+1＞n后，执行步骤2110；步骤219：返回步骤211，继续提取所述录屏记录中的第i+1帧录屏，当i+1＞n后，执行步骤2110；步骤2110：当所述录屏记录中包含至少一个所述触摸动作时，按照每个所述触摸动作的所述第一动作起始时刻的先后顺序，依次得到每个所述触摸动作对应的所述触摸动作类型和所述触摸动作定位，完成所述录屏记录的触摸点检测。4.根据权利要求3所述的基于应用录屏记录的测试用例生成方法，其特征在于，步骤2110包括：步骤2110.1：当所述录屏记录中包含至少一个所述触摸动作时，对于所述录屏记录中的第j个所述触摸动作，根据第j个所述触摸动作对应的所述第一动作起始时刻和所述第一动作结束时刻，获取第j个所述触摸动作的录屏帧数；判断所述录屏帧数是否大于或等于第一预设帧数值，若是，执行步骤2110.2，否则判定第j个所述触摸动作为误判，并执行步骤2110.6；其中，1≤j≤m1，m1为所述录屏记录中的触摸动作总数；步骤2110.2：判断所述录屏帧数是否大于或等于第二预设帧数值，若是，执行步骤2110.3，否则执行步骤2110.4；其中，所述第二预设帧数值大于所述第一预设帧数值；步骤2110.3：获取第j个所述触摸动作对应的起始触点位置和结束触点位置，根据所述起始触点位置和所述结束触点位置得到第j个所述触摸动作对应的始末触点位置差；判断所述始末触点位置差是否大于或等于第一位置差阈值，若是，判定第j个所述触摸动作的所述触摸动作类型为滑动，并执行步骤2110.6；否则判定第j个所述触摸动作的所述触摸动作类型为长按，并执行步骤2110.6；步骤2110.4：获取第j个所述触摸动作对应的所述起始触点位置和所述结束触点位置，根据所述起始触点位置和所述结束触点位置得到所述始末触点位置差；判断所述始末触点位置差是否小于所述第一位置差阈值，若是，判定第j个所述触摸动作的所述触摸动作类型为单击，并执行步骤2110.6；否则执行步骤2110.5；步骤2110.5：判断所述始末触点位置差是否小于或等于第二位置差阈值，且第j个所述触摸动作的所述第一动作起始时刻与所述第一动作结束时刻之间存在一帧录屏含有两个重叠触点，若两项同时满足，判定第j个所述触摸动作的所述触摸动作类型为双击，并执行步骤2110.6；若至少...

【专利技术属性】
技术研发人员：师江帆，
申请(专利权)人：杭州龙测科技有限公司，
类型：发明
国别省市：