一种用户界面组件识别方法、装置、设备及可读存储介质制造方法及图纸

本申请公开了一种用户界面组件识别方法、装置、设备及可读存储介质，涉及软件设计技术领域，包括：获取待识别用户界面设计稿，所述用户界面设计稿包括至少一个组件的图像；将所述待识别用户界面设计稿输入组件检测模型，得到所述组件的分类结果和所述组件的位置信息；其中，所述组件检测模型是基于特征提取子模型生成的，所述特征提取子模型是根据未标注训练数据训练得到的。可见，本申请由于预先根据未标注训练数据训练生成了特征提取子模型，使得基于特征提取子模型训练生成的组件检测模型在训练时可以利用大量的未标注训练数据，从而使得通过组件检测模型对待识别用户界面设计稿进行组件识别时的准确性大大提高。进行组件识别时的准确性大大提高。进行组件识别时的准确性大大提高。

【技术实现步骤摘要】
一种用户界面组件识别方法、装置、设备及可读存储介质


[0001]本申请涉及软件设计
，更具体地说，涉及一种用户界面组件识别方法、装置、设备及可读存储介质。

技术介绍

[0002]随着移动端应用程序APP、小程序的崛起，研发工程师需要设计各种软件，并且通过计算机语言编写代码实现。工程师编写程序从工具化变为工程化，从面向过程变为面向对象，不断提升编写速度，来应对不同的业务需求和功能。因此，有款可以实现输入一张移动端用户界面(UI)设计稿一键式生成前端代码的产品兴起。其中，UI设计稿中的各个组件准确的识别是一项基础工作。
[0003]现阶段的设计稿的组件识别采用的是基于图像的目标检测算法，也即先对设计稿中的组件进行特征提取，然后根据提取出的特征对区域进行分类，最后对于候选区域的边界应用边界框回归器进行进一步区域位置的调整，从而实现UI设计稿中各个组件的识别。然而现阶段基于图像的目标检测算法通常是只基于已标注的训练数据训练得到的，训练样本数量较低，导致在对设计稿进行组件识别时的准确率较为一般。

技术实现思路

[0004]本申请实施例提供了一种用户界面组件识别方法、装置、设备及可读存储介质，能够提高组件识别的准确率。
[0005]有鉴于此，本申请实施例提供了一种用户界面组件识别方法，所述方法包括：
[0006]获取待识别用户界面设计稿，所述用户界面设计稿包括至少一个组件的图像；
[0007]将所述待识别用户界面设计稿输入组件检测模型，得到所述组件的分类结果和所述组件的位置信息；其中，所述组件检测模型是基于特征提取子模型生成的，所述特征提取子模型是根据未标注训练数据训练得到的。
[0008]可选地，在所述获取待识别用户界面设计稿之前，所述方法还包括：
[0009]获取未标注训练数据和已标注训练数据；
[0010]根据所述未标注训练数据对初始特征提取子模型进行训练，得到特征提取子模型；
[0011]基于所述特征提取子模型构建初始组件检测模型；
[0012]根据所述已标注训练数据对所述初始组件检测模型进行训练，得到所述组件检测模型。
[0013]可选地，所述根据所述未标注训练数据对初始特征提取子模型进行训练，得到特征提取子模型，包括：
[0014]对所述未标注训练数据进行预处理，得到预处理后的未标注训练数据，所述预处理包括剪切图像、图像加噪声、旋转图像、饱和度调整、文字遮挡中的至少一种；
[0015]根据所述预处理后的未标注训练数据对所述初始特征提取子模型进行训练，得到
所述特征提取子模型。
[0016]可选地，所述根据所述已标注训练数据对所述初始组件检测模型进行训练，得到所述组件检测模型，包括：
[0017]获取所述已标注训练数据对应的代码文件；
[0018]对所述代码文件进行数据处理，得到锚框数据；
[0019]根据所述已标注训练数据和所述锚框数据对所述初始组件检测模型进行训练，得到所述组件检测模型。
[0020]可选地，所述对所述代码文件进行数据处理，得到锚框数据，包括：
[0021]第一获取单元，用于获取待识别用户界面设计稿，所述用户界面设计稿包括至少一个组件的图像；
[0022]输入单元，用于将所述待识别用户界面设计稿输入组件检测模型，得到所述组件的分类结果和所述组件的位置信息；其中，所述组件检测模型是基于特征提取子模型生成的，所述特征提取子模型是根据未标注训练数据训练得到的。
[0023]可选地，所述装置还包括：
[0024]第二获取单元，用于获取未标注训练数据和已标注训练数据；
[0025]训练单元，用于根据所述未标注训练数据对初始特征提取子模型进行训练，得到特征提取子模型；
[0026]构建单元，用于基于所述特征提取子模型构建初始组件检测模型；
[0027]所述训练单元，还用于根据所述已标注训练数据对所述初始组件检测模型进行训练，得到所述组件检测模型。
[0028]可选地，所述训练单元，具体用于：
[0029]对所述未标注训练数据进行预处理，得到预处理后的未标注训练数据，所述预处理包括剪切图像、图像加噪声、旋转图像、饱和度调整、文字遮挡中的至少一种；
[0030]根据所述预处理后的未标注训练数据对所述初始特征提取子模型进行训练，得到所述特征提取子模型。
[0031]本申请实施例还提供了一种计算机设备，包括：存储器、处理器以及总线系统；
[0032]其中，所述存储器用于存储程序；
[0033]所述处理器用于执行所述存储器中的程序，以实现上述所述的任意一种用户界面组件识别方法；
[0034]所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
[0035]本申请实施例还提供了一种计算机可读存储介质，存储有指令，当其在计算机上运行时，使得计算机执行如上述所述的任意一种用户界面组件识别方法。
[0036]本申请实施例提供了一种用户界面组件识别方法，包括：获取待识别用户界面设计稿，所述用户界面设计稿包括至少一个组件的图像；将所述待识别用户界面设计稿输入组件检测模型，得到所述组件的分类结果和所述组件的位置信息；其中，所述组件检测模型是基于特征提取子模型生成的，所述特征提取子模型是根据未标注训练数据训练得到的。可见，本申请由于预先根据未标注训练数据训练生成了特征提取子模型，使得基于特征提取子模型训练生成的组件检测模型在训练时可以利用大量的未标注训练数据，从而使得通
过组件检测模型对待识别用户界面设计稿进行组件识别时的准确性大大提高。
附图说明
[0037]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0038]图1为本申请实施例提供的一种用户界面组件识别方法的流程示意图；
[0039]图2为本申请实施例提供的一种用户界面设计稿的结构示意图；
[0040]图3为本申请实施例提供的另一种用户界面组件识别方法的流程示意图；
[0041]图4为本申请实施例提供的一种用户界面组件识别装置的结构示意图。
具体实施方式
[0042]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0043]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用户界面组件识别方法，其特征在于，所述方法包括：获取待识别用户界面设计稿，所述用户界面设计稿包括至少一个组件的图像；将所述待识别用户界面设计稿输入组件检测模型，得到所述组件的分类结果和所述组件的位置信息；其中，所述组件检测模型是基于特征提取子模型生成的，所述特征提取子模型是根据未标注训练数据训练得到的。2.根据权利要求1所述的方法，其特征在于，在所述获取待识别用户界面设计稿之前，所述方法还包括：获取未标注训练数据和已标注训练数据；根据所述未标注训练数据对初始特征提取子模型进行训练，得到特征提取子模型；基于所述特征提取子模型构建初始组件检测模型；根据所述已标注训练数据对所述初始组件检测模型进行训练，得到所述组件检测模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述未标注训练数据对初始特征提取子模型进行训练，得到特征提取子模型，包括：对所述未标注训练数据进行预处理，得到预处理后的未标注训练数据，所述预处理包括剪切图像、图像加噪声、旋转图像、饱和度调整、文字遮挡中的至少一种；根据所述预处理后的未标注训练数据对所述初始特征提取子模型进行训练，得到所述特征提取子模型。4.根据权利要求2所述的方法，其特征在于，所述根据所述已标注训练数据对所述初始组件检测模型进行训练，得到所述组件检测模型，包括：获取所述已标注训练数据对应的代码文件；对所述代码文件进行数据处理，得到锚框数据；根据所述已标注训练数据和所述锚框数据对所述初始组件检测模型进行训练，得到所述组件检测模型。5.根据权利要求4所述的方法，其特征在于，所述对所述代码文件进行数据处理，得到锚框数据，包括：对所述代码文件进行数据解析，得到多个矩形框；根据矩形框聚类算法对...

【专利技术属性】
技术研发人员：唐玉宾，
申请(专利权)人：北京尽微致广信息技术有限公司，
类型：发明
国别省市：