一种UI界面语义识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种UI界面语义识别方法、装置、设备及存储介质，属于UI元素识别技术领域。所述方法包括：获取目标UI图像中UI元素的基本信息；针对所述目标UI图像，采用边缘检测算法处理，得到具有区域轮廓的UI图像；基于所述具有区域轮廓的UI图像，构建图像金字塔；其中，所述图像金字塔包括多个层的图像，所述具有区域轮廓的UI图像为最底层的图像；基于所述图像金字塔，为UI元素的基本信息赋予关联语义信息。建立了UI界面中UI元素的语义层次关系，实现了有效的UI界面语义识别。进一步地，通过构建图像金字塔，解决了现有技术当中，区域检测准确率不高的技术问题。

【技术实现步骤摘要】

本专利技术涉及一种ui界面语义识别方法、装置、设备及存储介质，属于ui元素识别。

技术介绍

1、实现超自动化，首先需要解决ui元素识别的问题，也即是需要识别ui界面上元素及相互关系，只有解决了这个问题，才有可能实现基于自然语言指令控制pra机器人自动完成基于ui界面的自动化任务，或者其他超自动化场景下的相关任务。

2、因此，需要一种ui界面语义识别方法，能够识别ui界面上元素及相互关系。

技术实现思路

1、目的：为了克服现有技术中存在的不足，本专利技术提供一种ui界面语义识别方法、装置、设备及存储介质，能够实现识别ui界面上元素及相互关系。

2、技术方案：为解决上述技术问题，本专利技术采用的技术方案为：

3、第一方面，本专利技术提供了一种ui界面语义识别方法，所述方法包括：

4、获取目标ui图像中ui元素的基本信息；其中，所述基本信息是采用目标检测算法从目标ui图像中能够直接提取到的信息；

5、针对所述目标ui图像，采用边缘检测算法处理，得到具有区域本文档来自技高网...

【技术保护点】

1.一种UI界面语义识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的UI界面语义识别方法，其特征在于，所述基本信息包括：UI元素的类别信息和位置信息，以及文本信息；获取目标UI图像中UI元素的基本信息，包括：

3.根据权利要求1所述的UI界面语义识别方法，其特征在于，基于所述具有区域轮廓的UI图像，构建图像金字塔的步骤，包括：

4.根据权利要求3所述的UI界面语义识别方法，其特征在于，所述图像金字塔为三层图像金字塔，基于所述具有区域轮廓的UI图像，构建图像金字塔的步骤，包括：

5.根据权利要求3所述的UI界面语义识别方法，其特...

【技术特征摘要】

1.一种ui界面语义识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的ui界面语义识别方法，其特征在于，所述基本信息包括：ui元素的类别信息和位置信息，以及文本信息；获取目标ui图像中ui元素的基本信息，包括：

3.根据权利要求1所述的ui界面语义识别方法，其特征在于，基于所述具有区域轮廓的ui图像，构建图像金字塔的步骤，包括：

4.根据权利要求3所述的ui界面语义识别方法，其特征在于，所述图像金字塔为三层图像金字塔，基于所述具有区域轮廓的ui图像，构建图像金字塔的步骤，包括：

5.根据权利要求3所述的ui界面语义识别方法，其特征在于，所述图像金字塔用于表征区域之间的层...

【专利技术属性】
技术研发人员：林平，唐琦松，吴鑫，靳志业，谢涛，
申请(专利权)人：上海艺赛旗软件股份有限公司，
类型：发明
国别省市：