【技术实现步骤摘要】
本专利技术涉及用户界面，特别是涉及一种基于机器视觉的软件界面元素关联关系识别方法及系统。
技术介绍
1、软件用户界面是系统与用户进行信息交换的媒介，是人机交互中最为重要的环节。在过去几十年间，随着图形用户界面(gui)的广泛使用，理解软件使用方式的难度大幅度降低，其在人机交互性、美观性、实用性上所具有的巨大价值为软件领域带来了一场变革，gui也逐渐成为用户与软件进行交互时不可替代的存在。
2、如今随着软件大范围的普及使用，软件设计、软件测试等软件全生命周期中各项工作的资源耗费急剧增加。软件设计领域高度依赖于设计者本身的过往经验以及主观认知，及其需要大量的ui设计修改的特点为软件设计师带来了巨额的工作量，多频次的返工更是使得软件设计的工程时间不断被延长；软件测试领域需要测试人员反复进行大量且易失误的同质化操作，但这一过程中所耗费的大量的资源在传统的软件测试方法中是难以剩下的。因此如何推动软件全生命周期的智能化和自动化的实现目前已经成为了软件工程领域新的研究热点。而如何让计算机对软件的用户界面形成正确的理解正是这一智能化和自动化...
【技术保护点】
1.一种基于机器视觉的软件界面元素关联关系识别方法，其特征在于，包括：
2.根据权利要求1所述的基于机器视觉的软件界面元素关联关系识别方法，其特征在于，对目标软件界面的图像进行特征提取，得到界面GUI组件的位置和界面GUI组件的类别，具体包括：
3.根据权利要求2所述的基于机器视觉的软件界面元素关联关系识别方法，其特征在于，所述目标检测模型为YOLOv7目标检测模型，所述YOLOv7目标检测模型为采用训练集对YOLOv7进行训练得到的，所述训练集包括多个样本数据，各所述样本数据包括输入数据和标签数据，所述输入数据为样本软件界面图像，所述标签数据...
【技术特征摘要】
1.一种基于机器视觉的软件界面元素关联关系识别方法，其特征在于，包括：
2.根据权利要求1所述的基于机器视觉的软件界面元素关联关系识别方法，其特征在于，对目标软件界面的图像进行特征提取，得到界面gui组件的位置和界面gui组件的类别，具体包括：
3.根据权利要求2所述的基于机器视觉的软件界面元素关联关系识别方法，其特征在于，所述目标检测模型为yolov7目标检测模型，所述yolov7目标检测模型为采用训练集对yolov7进行训练得到的，所述训练集包括多个样本数据，各所述样本数据包括输入数据和标签数据，所述输入数据为样本软件界面图像，所述标签数据为对应输入数据中界面gui组件的边界框的位置和类别。
4.根据权利要求1所述的基于机器视觉的软件界面元素关联关系识别方法，其特征在于，对目标软件界面的图像进行边缘轮廓提取得到多个轮廓，并确定各轮...
【专利技术属性】
技术研发人员：艾骏，赵杰宇，施韬，刘景瑜，张明星，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。