组件识别方法、装置、电子设备及存储介质制造方法及图纸

技术编号:32289699 阅读:33 留言:0更新日期:2022-02-12 19:58
本申请公开了一种组件识别方法、装置、电子设备及存储介质,其中,组件识别方法包括:将第一图像输入设定识别模型,得到设定识别模型输出的第一图像中的至少一个UI区块;第一图像基于第一视觉稿确定;设定识别模型用于在输入的图像中识别出至少一个UI区块;每个UI区块至少包括能够以UI组件渲染得到的图像区域;在第一视觉稿对应的DOM的节点中,确定与至少一个UI区块中的每个UI区块对应的一个第一节点;将每个第一节点对应的图像输入设定分类模型,得到设定分类模型输出的第一节点对应的UI组件类型;设定分类模型用于确定输入的图像对应的UI组件类型。UI组件类型。UI组件类型。

【技术实现步骤摘要】
组件识别方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
,尤其涉及一种组件识别方法、装置、电子设备及存储介质。

技术介绍

[0002]在前端业务开发过程中,为了通过组件代码生成视觉稿中对应的用户界面(UI,User Interface)代码,需要人工识别并标注对应的文档对象模型(DOM,Document Object Model)中的节点对应的UI组件类型,上述做法存在效率不高的问题。

技术实现思路

[0003]有鉴于此,本申请实施例提供一种组件识别方法、装置、电子设备及存储介质,以至少解决相关技术在组件识别时效率不高的问题。
[0004]本申请实施例的技术方案是这样实现的:
[0005]本申请实施例提供了一种组件识别方法,所述方法包括:
[0006]将第一图像输入设定识别模型,得到所述设定识别模型输出的所述第一图像中的至少一个UI区块;所述第一图像基于第一视觉稿确定;所述设定识别模型用于在输入的图像中识别出至少一个UI区块;每个UI区块至少包括能够以UI组件渲染得到的图像区域;...

【技术保护点】

【技术特征摘要】
1.一种组件识别方法,其特征在于,所述方法包括:将第一图像输入设定识别模型,得到所述设定识别模型输出的所述第一图像中的至少一个用户界面UI区块;所述第一图像基于第一视觉稿确定;所述设定识别模型用于在输入的图像中识别出至少一个UI区块;每个UI区块至少包括能够以UI组件渲染得到的图像区域;在第一视觉稿对应的文档对象模型DOM的节点中,确定与所述至少一个UI区块中的每个UI区块对应的一个第一节点;将每个第一节点对应的图像输入设定分类模型,得到所述设定分类模型输出的第一节点对应的UI组件类型;所述设定分类模型用于确定输入的图像对应的UI组件类型。2.根据权利要求1所述的方法,其特征在于,所述在第一视觉稿对应的DOM的节点中,确定与所述至少一个UI区块中的每个UI区块对应的一个第一节点时,所述方法包括:遍历所述第一视觉稿对应的DOM的节点;在第一参数大于第一设定阈值的情况下,确定对应的节点为第一UI区块对应的第一节点;其中,所述第一参数表征第二图像与所述第一UI区块的区域重叠率;所述第二图像根据节点的节点信息对所述第一视觉稿裁剪得到。3.根据权利要求1所述的方法,其特征在于,在所述将第一图像输入设定识别模型之前,所述方法还包括:通过边缘检测,在第一视觉稿中确定出至少两个第一矩形区域;基于至少一个第一矩形区域裁剪所述第一视觉稿,得到对应的第一图像。4.根据权利要求3所述的方法,其特征在于,在所述基于至少一个第一矩形区域裁剪所述第一视觉稿时,所述方法包括:合并在设定方向相邻的第一矩形区域,得到第二矩形区域;其中,所述第二矩形区域在设定方向的长度小于第二设定阈值;基于所述第二矩形区域裁剪所述第一视觉稿。5.根据权利要求1所述的方法,其特征在于,所述每个第一节点对应的图像,包括:根据第一节点的节点信息裁剪所述第一视觉稿,得到的第二图像;和/或,根据第一节点对应的UI区块裁剪所述第一视觉稿,得到的第三图像。6.根据权利要求1所述的方法,其特征在于,在所述将第一图像输入设定识别模型之前,所述方法还包括:基于对应有至少一个第一标注的第二视觉稿,训练所述设定识别模型和所述设定分类模型;其中,所述第一标注包括能够以UI组件渲染得到的图像区域的第一位置信息和对应的...

【专利技术属性】
技术研发人员:夏姝
申请(专利权)人:北京京东世纪贸易有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1