基于视觉理解的全自动定位UI显示问题的检测方法技术

本发明专利技术公开了一种基于视觉理解的全自动定位UI显示问题的检测方法，包括以下步骤：数据收集：收集不同UI界面的样本数据；UI显示问题分类：根据UI显示问题的类型，定义合适的问题模型；特征提取：对收集到的UI显示数据进行处理并提取UI界面中的特征；训练模型与测试：根据定义的问题模型，使用及其学习或者深度学习算法训练模型，使用已训练好的模型对新的UI显示数据进行测试，并判断新的UI显示数据是否存在问题；问题定位：若检测到相关UI显示问题，则通过模型输出的结果定位问题所在的具体位置。本发明专利技术能够极大地节省时间和人力成本，有助于加快问题解决的速度，提高开发效率，有助于提高软件的可靠性和用户体验。

【技术实现步骤摘要】

本专利技术涉及软件应用，尤其涉及一种基于视觉理解的全自动定位ui显示问题的检测方法。

技术介绍

1、图形用户界面(graphical user interface，简称gui，也简称ui)在几乎所有现代桌面软件和移动应用程序中扮演着重要的角色。在软件应用程序和最终用户之间提供了一个可视化的桥梁，通过他们可以彼此进行交互。

2、随着移动设备的升级和审美的发展，gui的视觉效果越来越吸引人，用户更加关注应用程序的可访问性和可用性。然而，这样的gui复杂性给gui实现带来了巨大的调整。根据我们对众测错误报告的初步研究，由于软件或者硬件的兼容性，在不同设备上进行gui渲染时，总是会出现文本重叠、组件遮挡、图像缺失等显示问题。他们会对应用程序的可用性产生负面影响，导致用户体验不佳。为了检测这些问题，故提出一种基于视觉理解的全自动定位ui显示问题的检测方法。

技术实现思路

1、本专利技术的目的是解决现有技术中存在的缺点，而提出的一种基于视觉理解的全自动定位ui显示问题的检测方法，通过对ui屏幕截图的视觉信息进本文档来自技高网...

【技术保护点】

1.一种基于视觉理解的全自动定位UI显示问题的检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于视觉理解的全自动定位UI显示问题的检测方法，其特征在于，所述屏幕截图数据通过基于启发式的训练数据自动生成算法自动生成。

3.根据权利要求1所述的基于视觉理解的全自动定位UI显示问题的检测方法，其特征在于，所述特征提取是将处理后的图像通过卷积神经网络ResNet50算法提取特征图，卷积层的参数由一组可学习的滤波器组成，通过卷积运算提取截图输入的不同特性，卷积层之后，截图被抽象为特征图。

4.根据权利要求3所述的基于视觉理解的全自动定位UI显示问...

【技术特征摘要】

1.一种基于视觉理解的全自动定位ui显示问题的检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于视觉理解的全自动定位ui显示问题的检测方法，其特征在于，所述屏幕截图数据通过基于启发式的训练数据自动生成算法自动生成。

3.根据权利要求1所述的基于视觉理解的全自动定位ui显示问题的检测方法，其特征在于，所述特征提取是将处理后的图像通过卷积神经网络resnet50算法提...

【专利技术属性】
技术研发人员：潘曦，郇战，李一芒，曹荧荧，
申请(专利权)人：常州大学，
类型：发明
国别省市：