基于半监督学习的UI元素智能分类方法、系统及产品技术方案

本发明专利技术公开了一种基于半监督学习的UI元素智能分类方法、系统及产品，以Transformer结构为基础，引入Mean Teacher一致性正则机制以提升模型在小样本条件下的泛化能力，通过多模态特征融合实现对碎片化与重叠化UI元素的精准分类与结构化分组。首先对每个UI元素提取图像、文本、颜色、位置与类别等多源特征，并统一编码为256维嵌入表示；然后将嵌入序列输入多层Transformer编码器进行上下文建模，输出三类结构标签并据此自动完成元素分组；本发明专利技术能够有效提升UI元素分类的准确性与稳定性，减少对人工标注的依赖，适用于界面自动生成、低代码开发、UI原型解析与交互行为建模等场景。

【技术实现步骤摘要】

本专利技术属于计算机视觉、机器学习与人机交互界面，涉及一种用户界面（ui）元素自动分类方法、系统及产品，特别涉及一种基于半监督学习方法进行用户界面（ui）元素自动分类与分组的方法、系统及产品，适用于自动化代码生成、界面优化、智能测试等多种应用场景。

技术介绍

1、用户界面（user interface，ui）设计原型作为软件系统前端交互部分的可视化蓝图，广泛应用于软件开发过程的早期阶段。它在沟通产品设计意图、验证用户交互流程、缩短开发周期等方面具有不可替代的重要作用。随着“低代码”、“自动化开发”等技术的兴起，越来越多的研究与工业实践开始尝试将ui设计原型直接转化为前端代码，从而实现界面设计到界面实现的自动化过渡，显著提高研发效率。然而，在该自动化过程中仍面临若干关键难题，其中最突出的是对原型中碎片化、重叠化ui元素的精准识别与分类问题。

2、在实际ui设计中，尤其是使用sketch、figma等主流设计工具时，一个视觉功能组件常常由多个细粒度的图层叠加组成，例如一个按钮可能由边框、文字、图标等多个独立元素构成。这种“碎片化”现象虽然利于视觉表本文档来自技高网...

【技术保护点】

1.一种基于半监督学习的UI元素智能分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于半监督学习的UI元素智能分类方法，其特征在于，步骤1的具体实现包括以下子步骤：

3.根据权利要求2所述的基于半监督学习的UI元素智能分类方法，其特征在于：步骤1.1中，采用精确对齐方式，针对每个UI元素的图像单独裁剪后进行编码；然后采用预训练的ResNet-50作为图像编码基础网络，所述ResNet-50最后一层全连接层的输出维度设置为256，以生成固定维度的视觉嵌入向量；所有UI元素的图像均统一缩放至固定尺寸，并经由ResNet-50处理后，输出一个二维张量，每...

【技术特征摘要】

1.一种基于半监督学习的ui元素智能分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于半监督学习的ui元素智能分类方法，其特征在于，步骤1的具体实现包括以下子步骤：

3.根据权利要求2所述的基于半监督学习的ui元素智能分类方法，其特征在于：步骤1.1中，采用精确对齐方式，针对每个ui元素的图像单独裁剪后进行编码；然后采用预训练的resnet-50作为图像编码基础网络，所述resnet-50最后一层全连接层的输出维度设置为256，以生成固定维度的视觉嵌入向量；所有ui元素的图像均统一缩放至固定尺寸，并经由resnet-50处理后，输出一个二维张量，每行对应一个ui元素的图像编码；其中，表示ui元素的数量，表示每个元素的嵌入维度。

4.根据权利要求2所述的基于半监督学习的ui元素智能分类方法，其特征在于：步骤1.2中，首先对文本进行标准化处理，包括全部转换为小写和去除特殊字符；然后采用预训练的roberta分词器进行分词，并将其映射为32维的索引向量表示；进一步采用填充和截断策略，将所有文本标准化为固定长度的张量；为实现文本特征与图像特征维度对齐，最后采用压缩策略将张量的每一列进行求和，压缩张量的第一维，最后输出一个二维张量。

5.根据权利要求2所述的基于半监督学习的ui元素智能分类方法，其特征在于：步骤1.3中，颜色信息以通道表示，并将每...

【专利技术属性】
技术研发人员：和诗雨，马于涛，赵玉琦，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：