基于卷积和循环神经网络的GUI原型图转代码方法技术

本发明专利技术公开了基于卷积和循环神经网络的GUI原型图转代码方法，基于卷积和循环神经网络技术，生成端到端训练的模型pix2code，pix2code通过神经网络和模式识别技术，将单个GUI图像“训练”成为领域特定语言DSL，再将DSL转为代码，使用多项训练输入完成整个步骤。本发明专利技术从输入图像的像素值中进行学习，其训练过程不是单纯的DSL转换，而是一个学习的过程，能够为各种平台有效地生成计算机代码，其中包括IOS和Android原生移动界面以及基于Web的多平台HTML/CSS界面，而无需对模型进行任何更改或特定调整。特定调整。特定调整。

【技术实现步骤摘要】
基于卷积和循环神经网络的GUI原型图转代码方法


[0001]本专利技术涉及计算机视觉、深度神经网络以及图像处理领域，具体涉及基于卷积和循环神经网络的GUI原型图转代码方法。

技术介绍

[0002]机器学习是人工智能及模式识别领域的共同研究热点，其理论和方法已被广泛应用于解决工程应用和科学领域的复杂问题。机器学习是一种数据分析技术，让计算机执行人和动物与生俱来的活动：从经验中学习。机器学习算法使用计算方法直接从数据中“学习”信息，而不依赖于预定方程模型。当可用于学习的样本数量增加时，这些算法可自适应提高性能。使用机器学习技术自动生成程序是一个相对较新的研究领域。
[0003]基于设计人员创建的图形用户界面GUI模型实现客户端软件的过程是开发人员的责任。然而，实现 GUI 代码非常耗时，并且阻碍了开发人员将大部分时间用于实现他们正在构建的软件的实际功能和逻辑。此外，用于实现这种 GUI 的计算机语言是针对每个目标运行系统的；因此，当正在构建的软件预期使用本地技术在多个平台上运行时，就会导致繁琐和重复的工作。
[0004]基于卷积神经本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于卷积和循环神经网络的GUI原型图转代码方法，其特征在于，通过深度神经网络，生成端到端训练的模型pix2code，所述的深度神经网络包括卷积神经网络CNN和循环神经网络LSTM，用于学习描述图像中对象的潜在变量及其与相应的可变长度文本描述的关系；所述的卷积神经网络CNN执行无监督特征学习，输入原始图像到卷积神经网络CNN，获取原始图像的特征表示；所述的循环神经网络LSTM对与输入图片相关的文本描述执行语言建模；该方法具体分为训练阶段Training和采样阶段Sampling两个部分：训练阶段Training，GUI 图像由基于卷积神经网络CNN的视觉模型进行编码，由循环神经网络LSTM层堆栈组成的语言模型编码上下文，即与DSL代码对应的单热编码标记序列，然后将得到的两个特征向量连接起来，并输入到充当解码器的第二个 LSTM 层堆栈中，最后，使用softmax层一次对一个token进行采样，softmax层的输出大小对应于领域特定语言DSL词汇量大小；采样阶段Sampling，使用每个预测的输入上下文都将更新以包含最后一个预测的标记，使用传统的编译器设计技术将生成的领域特定语言DSL令牌序列编译为所需的目标语言，即计算机代码。2.根据权利要求1基于卷积和循环神经网络的GUI原型图转代码方法，其特征在于，所述的卷积神经网络CNN和循环神经网络LSTM的深度学习方法对图像进行分析的计算机视...

【专利技术属性】
技术研发人员：王国栋，肖寅，
申请(专利权)人：中奥智能工业研究院南京有限公司，
类型：发明
国别省市：