基于目标检测的页面UI要素识别方法和系统技术方案

本发明专利技术涉及目标检测技术领域，提供一种基于目标检测的页面UI要素识别方法和系统，方法包括：获取页面图像，构建数据集，并将数据集分为训练集和测试集；对YOLOv8s网络模型进行特征提取网络、特征融合网络和损失函数的修改，形成基于全维度动态卷积核的OD_YOLOv8s模型；将训练集输入OD_YOLOv8s模型进行训练，得到目标检测模型；将测试集输入所述目标检测模型，输出数字大屏截图的UI要素检测结果。根据本发明专利技术的方案，本发明专利技术能够精细辨识页面UI要素，有效改善目标图像尺度多变造成的漏检，有效提高图像描述生成技术的稳定性以达到编码的质量要求。

【技术实现步骤摘要】

本专利技术涉及目标检测，尤其涉及一种基于目标检测的页面ui要素识别方法和系统。

技术介绍

1、现行的软件按照系统结构可以划分为前端与后端，前端负责用户交互以及数据的可视化展示，后端实现功能逻辑和数据库交互。前端开发者的主要任务是依据ui原型图结合现有的组件库对页面进行编码，实现页面的样式、布局、功能。复杂的样式匹配与频繁的布局调整使得这项工作繁琐且工作量较大，如果能优化从ui原型到页面编码生成这一过程，能极大地减轻前端开发者的工作量。本专利报告旨在优化这一过程，实现了从ui原型图到前端页面编码生成的自动化过程，减轻了手工编码的负担，降低了前端工作的资源消耗与时间成本。

2、在探索ui原型图到前端应用自动化转换的研究中，代码的生成方法可以分为基于规定约束的代码转换、基于模板的代码转换、基于深度学习的代码转换。基于规定约束的代码转换依赖于软件工程技术，开发人员针对前端开发制定一套包括代码、接口、映射关系的规范来实现设计与代码的转换。这种方法需要以完整的形式化规范为前提，导致整个流程异常繁琐且复杂，工作效率远低于直接编写代码。基于模板的代码转换，使用本文档来自技高网...

【技术保护点】

1.基于目标检测的页面UI要素识别方法，其特征在于，包括：

2.根据权利要求1所述的基于目标检测的页面UI要素识别方法，其特征在于，还包括：

3.根据权利要求1所述的基于目标检测的页面UI要素识别方法，其特征在于，所述YOLOv8s网络模型包括输入层、特征提取网络、特征融合网络以及输出层；

4.根据权利要求1所述的基于目标检测的页面UI要素识别方法，其特征在于，对YOLOv8s网络模型进行特征融合网络的修改为：

5.根据权利要求1-4中任一项所述的基于目标检测的页面UI要素识别方法，其特征在于，所述YOLOv8s网络模型使用DFL Loss...

【技术特征摘要】

1.基于目标检测的页面ui要素识别方法，其特征在于，包括：

2.根据权利要求1所述的基于目标检测的页面ui要素识别方法，其特征在于，还包括：

3.根据权利要求1所述的基于目标检测的页面ui要素识别方法，其特征在于，所述yolov8s网络模型包括输入层、特征提取网络、特征融合网络以及输出层；

4.根据权利要求1所述的基于目标检测的页面ui要素识别方法，其特征在于，对yolov8s网络模型进行特征融合网络的修改为：

5.根据权利要求1-4中任一项所述的基于目标检测的页面ui要素识别方法，其特征在于，所述yo...

【专利技术属性】
技术研发人员：王辰，陈济球，王卫威，罗香，阳杰，刘万，
申请(专利权)人：陕西航天七零六信息科技有限公司，
类型：发明
国别省市：