一种基于图像识别的制造技术

本发明专利技术公开了一种基于图像识别的

【技术实现步骤摘要】
一种基于图像识别的UI界面生成方法、系统、设备及介质


[0001]本专利技术涉及图像识别
，具体涉及一种基于图像识别的
UI
界面生成方法
、
系统
、
设备及存储介质
。

技术介绍

[0002]人机交互界面
(UserInterface
，
UI)
通常指人与物或者人与软件互动过程的界面
。
随着计算机技术的进步和发展，在不同的计算机应用场景下都需要设计对应的
UI
界面供用户使用，使得
UI
界面的开发需求相对较大
。
[0003]在传统
UI
界面生成方法中，通常需要手动设计和编写
XAML
代码，并进行一系列的调试和优化工作才可生成所需的
UI
界面，但是传统的
UI
生成方式相对繁琐，需要专业度相对较高的人员才可完成开发，且其开发过程耗时长
、
易出错，开发效率无法提高
。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术的目的在于提供一种基于图像识别的
UI
界面生成方法
、
系统
、
设备及存储介质，使得
UI
界面开发过程更简单
、
更高效
、
更准确，并且可自动适应各种场景
。
[0005]本专利技术的目的采用如下技术方案实现：
[0006]一种基于图像识别的
UI
界面生成方法，包括：
[0007]响应于图像输入指令读取界面图像，对所述界面图像进行预处理后再对所述界面图像进行区域划分；
[0008]识别和提取区域中的界面元素信息，所述界面元素信息包括文本信息
、
控件信息
、
位置信息以及尺寸信息；
[0009]基于所述界面元素信息生成代码，加载代码以生成相应的显示
UI
界面
。
[0010]进一步地，对所述界面图像进行预处理的方法包括：
[0011]将所述界面图像转化为灰度图像，对灰度图像进行二值化处理
。
[0012]进一步地，对所述界面图像进行区域划分的方法为：
[0013]基于
Halcon
图像处理算法对二值化处理后的图像进行界面布局识别，将所述界面图像中的连通区域划分出来
。
[0014]进一步地，识别和提取区域中的界面元素信息的方法包括：
[0015]基于
Halcon
图像处理算法对划分后的区域进行界面元素分析，若识别出区域中存在控件，则识别控件类型并将其对应的显示元素标记为控件信息；所述显示元素包括文本框
、
按钮；
[0016]若识别出区域中存在文本，则对文本进行文字识别以获得文本信息；
[0017]根据划分后的区域的边界坐标确定区域的尺寸信息；
[0018]基于区域的边界坐标计算出该区域的中心坐标以确定该区域的位置信息
。
[0019]进一步地，对文本进行文字识别过程中，还包括：
[0020]基于
Halcon
图像处理算法对区域中的文字进行边缘检测和细节提取，执行文字重叠检测后对文字进行分割以获得文本信息
。
[0021]进一步地，生成相应的显示
UI
界面的方法为：
[0022]创建显示
UI
界面，基于所述控件信息相对应的控件代码在新建的显示
UI
界面中创建所述显示元素；
[0023]基于所述尺寸信息和所述位置信息所对应的代码设置新建界面中所述显示元素的位置和尺寸；
[0024]根据所述文本信息的位置将文本内容写入显示
UI
界面中
。
[0025]进一步地，所述图像输入指令在所述界面图像导入系统时自动发起，或在所述界面图像导入后触发生成按键时发起
。
[0026]进一步地，还提供一种基于图像识别的
UI
界面生成系统，执行如上述的基于图像识别的
UI
界面生成方法，所述系统包括：
[0027]图像处理模块，用于接收到图像输入指令后读取界面图像，对所述界面图像进行预处理后再对所述界面图像进行区域划分；
[0028]元素识别模块，用于识别和提取区域中的界面元素信息，所述界面元素信息包括文本信息
、
控件信息
、
位置信息以及尺寸信息；
[0029]界面生成模块，用于根据所述界面元素信息生成代码，加载代码以生成相应的显示
UI
界面
。
[0030]进一步地，还提供一种电子设备，包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如上述的基于图像识别的
UI
界面生成方法
。
[0031]进一步地，还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在一个或多个处理器上运行时，执行如上述的基于图像识别的
UI
界面生成方法
。
[0032]相比现有技术，本专利技术的有益效果在于：
[0033]本专利技术利用
Halcon
图像处理技术对界面图像进行分析，识别输入的界面图像所包含的界面元素，将界面元素转换为代码，通过加载代码的方式生成相应的显示
UI
界面；通过计算机视觉和自动化技术代替传统手写代码的
UI
生成方式，能够快速
、
准确地从图像中生成对应的界面，具有更高效
、
准确的特点，并且可以自动适应各种场景
。
附图说明
[0034]图1为本专利技术基于图像识别的
UI
界面生成方法的流程示意图；
[0035]图2为本专利技术基于图像识别的
UI
界面生成系统的模块示意图
。
具体实施方式
[0036]下面，结合附图以及具体实施方式，对本专利技术做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例
。
[0037]实施例一
[0038]本实施例提供一种基于图像识别的
UI
界面生成方法，该方法利用先进的图像处理技术和脚本引擎技术，能够快速
、
准确地从图像中生成对应的
WPF
界面
。
与传统方法相比，本实施例所述的方案具有更高效
、
准确的特点，并且可以自动适应各种场景
。
[0039]如图1所示，本实施例的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于图像识别的
UI
界面生成方法，其特征在于，包括：响应于图像输入指令读取界面图像，对所述界面图像进行预处理后再对所述界面图像进行区域划分；识别和提取区域中的界面元素信息，所述界面元素信息包括文本信息
、
控件信息
、
位置信息以及尺寸信息；基于所述界面元素信息生成代码，加载代码以生成相应的显示
UI
界面
。2.
根据权利要求1所述的基于图像识别的
UI
界面生成方法，其特征在于，对所述界面图像进行预处理的方法包括：将所述界面图像转化为灰度图像，对灰度图像进行二值化处理
。3.
根据权利要求2所述的基于图像识别的
UI
界面生成方法，其特征在于，对所述界面图像进行区域划分的方法为：基于
Halcon
图像处理算法对二值化处理后的图像进行界面布局识别，将所述界面图像中的连通区域划分出来
。4.
根据权利要求1所述的基于图像识别的
UI
界面生成方法，其特征在于，识别和提取区域中的界面元素信息的方法包括：基于
Halcon
图像处理算法对划分后的区域进行界面元素分析，若识别出区域中存在控件，则识别控件类型并将其对应的显示元素标记为控件信息；所述显示元素包括文本框
、
按钮；若识别出区域中存在文本，则对文本进行文字识别以获得文本信息；根据划分后的区域的边界坐标确定区域的尺寸信息；基于区域的边界坐标计算出该区域的中心坐标以确定该区域的位置信息
。5.
根据权利要求4所述的基于图像识别的
UI
界面生成方法，其特征在于，对文本进行文字识别过程中，还包括：基于
Halcon
图像处理算法对区域中的文字进行边缘检测和细节提取，执行文字重叠检测后对文字进行分割以获得文本信息
。6.

【专利技术属性】
技术研发人员：林志谋，蔡文生，明德，
申请(专利权)人：广东保伦电子股份有限公司，
类型：发明
国别省市：