基于图像识别的UI巡检问题定位方法、装置和电子设备制造方法及图纸

本发明专利技术公开了一种基于图像识别的UI巡检问题定位方法、装置和电子设备，其中方法包括以下步骤：调用录屏软件获取测试用例全过程的视频文件；在捕获异常画面的同时记录错误的步骤以及时间戳；截取视频在所述时间戳前后一段时间的图像，每间隔第一时间进行截取帧图片；将截取的帧图片进行图像处理，通过图像识别算法进行归因分析，将错误的问题定位上报；根据不同种类的问题原因进行对应处理。本发明专利技术用于解决传统UI界面的自动化巡检存在的难以稳定定位的问题。定位的问题。定位的问题。

【技术实现步骤摘要】
基于图像识别的UI巡检问题定位方法、装置和电子设备


[0001]本专利技术属于计算机
，具体涉及基于图像识别的UI巡检问题定位方法、装置和电子设备。

技术介绍

[0002]随着企业的用户界面(UserInterface，UI)业务越来越多，涉及的相关UI界面的自动化巡检用例也开始较快增长。传统的UI界面的自动化巡检在用例报错时一般只会上传截图与部分元素信息，但部分出错并不一定是系统自身的问题，上报的截图和元素信息没有任何异常，导致问题的定位依然需要人工验证且未必能完全复现问题，从而使得一些偶现问题难以定位甚至被忽略。
[0003]以上方式存在以下问题：(1)不充分的错误信息：当出现问题时，现有系统只上传截图和部分元素信息，而这些信息不一定足以定位问题根本原因。这使得问题难以准确诊断和解决。(2)缺乏上下文：当出现问题时，现有系统无法提供出错之前或之后的操作步骤或其他相关信息，使得问题难以追踪并且可能导致误解。(3)无法处理偶然性错误：当偶发问题发生时，由于无法完全还原当时的环境，问题可能无法再次发生，从而导致问题挂起甚至被忽略。(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像识别的UI巡检问题定位方法，其特征在于，包括以下步骤：调用录屏软件获取测试用例全过程的视频文件；在捕获异常画面的同时记录错误的步骤以及时间戳；截取视频在所述时间戳前后一段时间的图像，每间隔第一时间进行截取帧图片；将截取的帧图片进行图像处理，通过图像识别算法进行归因分析，将错误的问题定位上报；根据不同种类的问题原因进行对应处理。2.如权利要求1所述的基于图像识别的UI巡检问题定位方法，其特征在于，所述通过图像识别算法进行归因分析具体包括：读取图像，并将其转换为灰度图像；选择灰度图像中白色的颜色特征；计算白色像素的数量，再除以总像素数即得到白色占比；白色占比超过第一阈值归因为操作成功但浏览器未加载。3.如权利要求2所述的基于图像识别的UI巡检问题定位方法，其特征在于，若白色占比低于第一阈值则找出二值化图像中的轮廓，返回轮廓列表；遍历轮廓列表，对于每个轮廓得到外接矩形的坐标和大小，如果所有图像的轮廓并无大致变化则归因为执行动作不生效。4.如权利要求3所述的基于图像识别的UI巡检问题定位方法，其特征在于，判断是否有矩形位于图像的右下角且坐标加上长宽各自到达屏幕的最大值则归因为环境广告类。5.一种基于图像识别的UI巡检问题定位装置，其特征在于，包括：视频用例录屏模块，用于调用录屏软件获取测试用例全过程的视频文件；异常画面获取模块，用于在捕获异常画面的同时记录错误的步骤以及时间戳；帧图片截取模块，用于截取视频在所述时间戳前后一段时间的图像，每间隔第一时间进行截取帧图片；图像处理模块，用于将截取的帧图片进行图像处...

【专利技术属性】
技术研发人员：吴方洲，陈鹏，丁颖，陈宇，汪宁，芦帅，
申请(专利权)人：杭州乒乓智能技术有限公司，
类型：发明
国别省市：