基于多模态的组件分类方法及装置制造方法及图纸

本申请提供基于多模态的组件分类方法及装置，其中所述基于多模态的组件分类方法包括：接收针对待识别设计稿的识别指令，其中，所述待识别设计稿中包括至少一个界面组件；获取各界面组件对应的组件图像信息、组件文本信息和组件结构信息；根据各界面组件对应的组件图像信息、组件文本信息和组件结构信息，确定各界面组件对应的组件分类信息。通过本方法，在对界面组件进行组件分类的过程中，参考了组件图像信息、组件文本信息和组件结构信息，通过多模态分类算法结合了组件的多个维度的特征信息对界面组件进行分类，使得组件识别过程中组件分类的错误数量降低、准确率提升，达到了组件精准识别的效果。组件精准识别的效果。组件精准识别的效果。

【技术实现步骤摘要】
基于多模态的组件分类方法及装置


[0001]本申请涉及界面设计
，特别涉及基于多模态的组件分类方法。本申请同时涉及基于多模态的组件分类装置，一种计算设备，以及一种计算机可读存储介质。

技术介绍

[0002]前端页面开发是一种创建WEB页面或APP(Application，应用程序)等前端页面并呈现给用户的过程。对前端页面的开发过程中，有专门的设计人员对用户界面(User Inteerface，UI)进行设计，设计稿即为设计人员为用户界面制作的设计稿件，系统可以根据设计稿生成对应的UI界面。
[0003]在生成UI界面的过程中，需要根据设计稿中的组件来生成对应的页面，但是设计稿的组件种类繁多，有些组件也比较类似，如果组件分类错误的话，会导致生成UI界面出现问题，因此如何准确识别组件分类，就成为技术人员急需解决的问题。

技术实现思路

[0004]有鉴于此，本申请实施例提供了基于多模态的组件分类方法。本申请同时涉及基于多模态的组件分类装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的上述问题。
[0005]根据本申请实施例的第一方面，提供了一种基于多模态的组件分类方法，包括：
[0006]接收针对待识别设计稿的识别指令，其中，所述待识别设计稿中包括至少一个界面组件；
[0007]获取各界面组件对应的组件图像信息、组件文本信息和组件结构信息；
[0008]根据各界面组件对应的组件图像信息、组件文本信息和组件结构信息，确定各界面组件对应的组件分类信息。
[0009]根据本申请实施例的第二方面，提供了一种基于多模态的组件分类装置，包括：
[0010]接收模块，被配置为接收针对待识别设计稿的识别指令，其中，所述待识别设计稿中包括至少一个界面组件；
[0011]获取模块，被配置为获取各界面组件对应的组件图像信息、组件文本信息和组件结构信息；
[0012]分类模块，被配置为根据各界面组件对应的组件图像信息、组件文本信息和组件结构信息，确定各界面组件对应的组件分类信息。
[0013]根据本申请实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述计算机指令时实现所述基于多模态的组件分类方法的步骤。
[0014]根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现所述基于多模态的组件分类方法的步骤。
[0015]本申请提供的基于多模态的组件分类方法，接收针对待识别设计稿的识别指令，
其中，所述待识别设计稿中包括至少一个界面组件；获取各界面组件对应的组件图像信息、组件文本信息和组件结构信息；根据各界面组件对应的组件图像信息、组件文本信息和组件结构信息，确定各界面组件对应的组件分类信息。
[0016]通过本方法，在对界面组件进行组件分类的过程中，参考了组件图像信息、组件文本信息和组件结构信息，通过多模态分类算法结合了组件的多个维度的特征信息对界面组件进行分类，使得组件识别过程中组件分类的错误数量降低、准确率提升，达到了组件精准识别的效果。
附图说明
[0017]图1是本申请一实施例提供的一种基于多模态的组件分类方法的流程图；
[0018]图2是本申请一实施例提供的一种应用于APP界面生成的基于多模态的组件分类方法的处理流程图；
[0019]图3是本申请一实施例提供的一种基于多模态的组件分类装置的结构示意图；
[0020]图4是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
[0021]在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
[0022]在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0023]应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0024]需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
[0025]在本申请中，提供了基于多模态的组件分类方法，本申请同时涉及基于多模态的组件分类装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
[0026]图1示出了根据本申请一实施例提供的一种基于多模态的组件分类方法的流程图，具体包括以下步骤：
[0027]步骤102：接收针对待识别设计稿的识别指令，其中，所述待识别设计稿中包括至少一个界面组件。
[0028]其中，本申请实施例提及的设计稿可以是信息技术(Information technology，IT)产品的设计稿，设计稿的内容可以包括产品的前端界面内容，设计稿的内容可以包括文本内容和非文本内容，非文本内容可以包括图像、线条等等。
[0029]待识别设计稿具体是指在本申请提供的方法中，需要进行处理的设计稿，在实际应用中，当开发人员设计一款应用时，会制作该应用对应的设计稿，在设计稿中会包括有该应用的界面设计、界面组件、交互关系等等。通过识别设计稿，获得设计稿中包含的界面组件，再从组件库中查找对应的界面组件，从而根据设计稿生成应用界面。
[0030]该设计稿对于用户而言是可以明确各种界面组件，但是对于终端而言，无法确定这些界面组件都是什么组件，因此，需要对设计稿进行识别，从而获得各界面组件所述的组件类别，便于在后续的处理过程中从组件库中查询相应的界面组件，最后生成设计稿生成应用界面。
[0031]基于此，需要被识别的设计稿即为待识别设计稿，本申请提供的方法应用于电子设备，电子设备例如可以具有显示屏并支持信息浏览等，如可以是个人移动终端如手机、平板电脑、个人计算机、智能穿戴设备等等。
[0032]用户操作电子终端本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态的组件分类方法，其特征在于，包括：接收针对待识别设计稿的识别指令，其中，所述待识别设计稿中包括至少一个界面组件；获取各界面组件对应的组件图像信息、组件文本信息和组件结构信息；根据各界面组件对应的组件图像信息、组件文本信息和组件结构信息，确定各界面组件对应的组件分类信息。2.如权利要求1所述的方法，其特征在于，获取各界面组件对应的组件图像信息、组件文本信息和组件结构信息，包括：识别所述待识别设计稿，获得待识别设计稿对应的设计稿结构信息，其中，所述设计稿结构信息包括各界面组件对应的组件结构信息；生成所述待识别设计稿对应的设计稿图像；基于所述设计稿图像获得各界面组件对应的组件图像信息和组件文本信息。3.如权利要求2所述的方法，其特征在于，基于所述设计稿图像获得各界面组件对应的组件图像信息和组件文本信息，包括：对所述设计稿图像进行图像识别，获得各界面组件对应的组件图像信息；识别各组件图像信息，获得各组件图像信息中的组件文本信息。4.如权利要求2所述的方法，其特征在于，根据各界面组件对应的组件图像信息、组件文本信息和组件结构信息，确定各界面组件对应的组件分类信息，包括：将所述设计稿结构信息和所述设计稿图像输入至组件分类模型；获得所述组件分类模型基于各界面组件对应的组件图像信息、组件文本信息和组件结构信息输出的各界面组件对应组件分类信息。5.如权利要求4所述的方法，其特征在于，所述组件分类模型包括嵌入层、特征提取层、特征融合层和输出层；将所述设计稿结构信息和所述设计稿图像输入至组件分类模型，包括：将所述设计稿结构信息和所述设计稿图像输入至所述组件分类模型的嵌入层，获得各界面组件对应的组件结构嵌入信息、组件图像嵌入信息、组件文本嵌入信息；将各界面组件的组件结构嵌入信息、组件图像嵌入信息、组件文本嵌入信息输入至所述特征提取层，获得各界面组件的组件结构特征信息、组件图像特征信息、组件文本特征信息；将各界面组件的组件结构特征信息、组件图像特征信息、组件文本特征信息输入至所述特征融合层，获得各界面组件对应的组件融合特征信息；将各界面组件对应的组件融合特征信息输入至所述输出层，获得各界面组件对应的组件分类信息。6.如权利要求5所述的方法，其特征在于，将各界面组件的组件结构特征信息、组件图像特征信息、组件文本特征信息输入至所述特征融合层，获得各界面组件对应的组件融合特征信息，包括：获取结构权重信息、图像权重信息和文本权重信息；将各界面组件的组件结构特征信息、组件图...

【专利技术属性】
技术研发人员：赵薇，刘洋，吴通通，张天宇，孙子钧，杨帆，柳景明，
申请(专利权)人：北京看云软件有限公司，
类型：发明
国别省市：