一种基于计算机视觉的GUI软件自动化测试系统及方法技术方案

本发明专利技术公开了一种基于计算机视觉的GUI软件自动化测试系统及方法，涉及软件工程技术领域，该系统包括计算机视觉模块、测试驱动模块和动作模拟模块；其中，计算机视觉模块包括多种基于深度学习的目标检测模型，根据各目标检测模型识别的UI元素，得到目标关键字集合；动作模拟模块用于模拟用户在目标GUI软件上的动作交互，得到动作关键字集合；测试驱动模块中测试用例生成子模块用于根据目标关键字集合和动作关键字集合生成目标GUI软件的测试用例，测试用例执行子模块用于执行目标GUI软件的测试用例，得到测试结果。本发明专利技术运用基于深度学习的计算机视觉技术，实现对软件界面的精准识别，显著提升了测试自动化的可靠性。

【技术实现步骤摘要】

本专利技术涉及软件工程，特别是涉及一种基于计算机视觉的gui软件自动化测试系统及方法。

技术介绍

1、随着软件开发逐步迈向敏捷化及持续交付的新阶段，gui软件的自动化测试在保障应用程序质量与用户体验方面扮演着至关重要的角色。目前，gui测试自动化的方法大致可归为三类：脚本驱动测试、捕获与重放测试以及基于模型的测试。这些方法在实施过程中，依赖于两种主要的ui组件检测技术，分别是入侵式ui组件检测技术与基于图像匹配的计算机视觉技术。

2、然而，这些方法和技术在实施过程中均面临一些挑战。基于脚本的测试方法虽然具有高度的灵活性，但随着软件的不断更新，需要频繁地维护和更新测试脚本，导致测试脚本的编写和维护成本相对较高。捕获与重放测试方法虽然易用，但对界面变动的敏感性较高，缺乏足够的鲁棒性。而基于模型的测试方法虽然能够覆盖更多的测试场景，但模型的创建和维护过程复杂，成本同样较高。

3、同样，gui测试自动化所依赖的组件识别技术也面临一些技术挑战。入侵式的ui组件检测技术高度依赖于ui组件的内部结构，因此仅适用于特定的编程语言或开发框架，这在很大本文档来自技高网...

【技术保护点】

1.一种基于计算机视觉的GUI软件自动化测试系统，其特征在于，包括：计算机视觉模块、测试驱动模块和动作模拟模块；

2.根据权利要求1所述的一种基于计算机视觉的GUI软件自动化测试系统，其特征在于，所述目标检测模型包括UI组件类型检测模型、图标类型检测模型、字符检测模型和通用目标检测模型。

3.根据权利要求1所述的一种基于计算机视觉的GUI软件自动化测试系统，其特征在于，所述目标关键字集合包括UI组件类别关键字集合、图标类型关键字集合、字符关键字集合和通用目标关键字集合。

4.根据权利要求1所述的一种基于计算机视觉的GUI软件自动化测试系统，其特征在于，...

【技术特征摘要】

1.一种基于计算机视觉的gui软件自动化测试系统，其特征在于，包括：计算机视觉模块、测试驱动模块和动作模拟模块；

2.根据权利要求1所述的一种基于计算机视觉的gui软件自动化测试系统，其特征在于，所述目标检测模型包括ui组件类型检测模型、图标类型检测模型、字符检测模型和通用目标检测模型。

3.根据权利要求1所述的一种基于计算机视觉的gui软件自动化测试系统，其特征在于，所述目标关键字集合包括ui组件类别关键字集合、图标类型关键字集合、字符关键字集合和通用目标关键字集合。

4.根据权利要求1所述的一种基于计算机视觉的gui软件自动化测试系统，其特征在于，所述测试用例为测试单元组成的序列；所述测试单元包括操作测试单元和断言测试单元；所述操作测试单元是由所述目标关键字集合中的目标关键字和所述动作关键字集合中的动作关键字构成的；所述断言测试单元是由所述目标关键字集合中的目标关键字构成的。

<...

【专利技术属性】
技术研发人员：张玉志，潘磊，
申请(专利权)人：南开大学，
类型：发明
国别省市：