【技术实现步骤摘要】
界面语义数据生成方法、装置、计算机设备和存储介质
[0001]本申请涉及人工智能
，特别是涉及一种界面语义数据生成方法、装置、计算机设备和存储介质。
技术介绍
[0002]随着计算机技术的发展，出现了各式各样的应用程序，为人们的生活提供便利。应用程序的界面作为人与系统进行交互以及信息交换的媒介，也变得越来越丰富，这对学习界面的语义带来了挑战。
[0003]传统技术中，仅通过界面中的文本信息预测界面的标签，无法准确地表达界面的语义，非常局限。
技术实现思路
[0004]基于此，有必要针对上述技术问题，提供一种提高准确性的界面语义数据生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种界面语义数据生成方法。方法包括：获取对界面的布局信息进行编码得到的布局编码数据；基于界面中的组件携带的视觉信息进行动作意图挖掘，得到组件意图信息；组件意图信息用于反映组件上表达的动作意图；对组件意图信息进行编码处理，得到组件的组件意图编码数据；基于布局编码数据...
【技术保护点】
【技术特征摘要】
1.一种界面语义数据生成方法，其特征在于，所述方法包括：获取对界面的布局信息进行编码得到的布局编码数据；基于所述界面中的组件携带的视觉信息进行动作意图挖掘，得到组件意图信息；所述组件意图信息用于反映所述组件上表达的动作意图；对所述组件意图信息进行编码处理，得到所述组件的组件意图编码数据；基于所述布局编码数据、所述组件的所述组件意图编码数据和所述组件的原生编码数据，得到所述界面的界面语义数据；所述原生编码数据，是对所述组件的原生形态信息进行编码得到的。2.根据权利要求1所述的方法，其特征在于，所述获取对界面的布局信息进行编码得到的布局编码数据包括：获取界面的布局信息；所述布局信息中包括至少一个组件节点；所述至少一个组件节点之间具有层次结构关系；确定各所述组件节点对应的节点类型信息；所述组件节点对应的节点类型信息用于指示所述组件节点所表征的组件是否能够触发所述界面的下一界面；在对所述布局信息中各所述组件节点赋值相应的节点类型信息之后进行编码，得到所述界面的布局编码数据。3.根据权利要求2所述的方法，其特征在于，所述在对所述布局信息中各所述组件节点赋值相应的节点类型信息之后进行编码，得到所述界面的布局编码数据包括：在对所述布局信息中各所述组件节点赋值相应的节点类型信息之后，得到组件布局向量；将所述组件布局向量确定为布局编码器的输入，通过所述布局编码器的各个隐藏层进行编码处理，得到所述布局编码器输出的所述界面的布局编码数据；其中，当前隐藏层的输出是通过对上一隐藏层的输出进行线性变换后再进行非线性变换得到的。4.根据权利要求3所述的方法，其特征在于，所述方法还包括所述布局编码器的训练步骤；所述布局编码器的训练步骤包括：在每轮迭代训练中，将样本界面的样本组件布局向量进行编码，得到所述本轮布局编码器输出的样本布局编码数据；对所述样本布局编码数据进行解码处理，得到样本布局解码数据；朝着所述样本布局解码数据与所述样本组件布局向量之间差异减小的方向，对所述本轮布局编码器进行调参，以得到训练完成的布局编码器。5.根据权利要求1所述的方法，其特征在于，所述基于所述布局编码数据、所述组件的所述组件意图编码数据和所述组件的原生编码数据，得到所述界面的界面语义数据包括：将所述组件的所述组件意图编码数据和所述组件的原生编码数据进行融合处理，得到所述组件的组件编码数据；基于所述组件编码数据和所述布局编码数据，得到所述界面的界面语义数据。6.根据权利要求5所述的方法，其特征在于，所述界面中包括多个组件；所述基于所述组件编码数据和所述布局编码数据，得到所述界面的界面语义数据包括：将所述多个组件的组件编码数据进行融合处理，得到组件组合编码数据；将所述组件组合编码数据与所述布局编码数据进行融合处理，得到所述界面的界面语
义数据。7.根据权利要求5所述的方法，其特征在于，所述组件编码数据是通过第一线性层将所述组件意图编码数据和所述组件的原生编码数据进行融合处理得到的输出；所述方法还包括所述第一线性层的训练步骤；所述第一线性层的训练步骤包括：从样本界面的各个样本组件中确定出中心组件和相应的上下文组件；在每轮迭代训练中，确定本轮第一线性层输出的所述上下文组件的组件编码...
【专利技术属性】
技术研发人员：赵明，刘枫，刘志斌，何阳，
申请(专利权)人：金蝶软件中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。