图形界面的元素特征生成方法及电子设备技术

本申请提供一种图形界面的元素特征生成方法及电子设备，方法包括：从样例图形界面图像中，确定待检索的目标元素；根据特征提取网络组合中若干特征提取网络，分别为目标元素生成与每一特征提取网络对应的特征向量；其中，特征提取网络组合包括多个可选的特征提取网络；将目标元素的若干特征向量进行融合处理，得到语境检索特征。本申请方案，可以为目标元素生成包括语境信息的语境检索特征，便于后续对目标元素进行准确检索。对目标元素进行准确检索。对目标元素进行准确检索。

【技术实现步骤摘要】
图形界面的元素特征生成方法及电子设备


[0001]本申请涉及计算机视觉
，特别涉及一种图形界面的元素特征生成方法及电子设备。

技术介绍

[0002]RPA(Robotic Process Automation，机器人流程自动化)技术可以模拟人执行重复的图形界面操作，减轻用户的人工操作成本。在模拟执行图形界面操作过程中，需要识别用户在图形界面上所操作的元素，并重新对该元素进行自动化操作，从而触发相应的功能。常用的技术基于操作系统底层的解析来实现，但是不同软件的设计方法不同，对系统底层进行解析的方案无法统一，也可能无法完成解析。

技术实现思路

[0003]本申请实施例的目的在于提供一种图形界面的元素特征生成方法及电子设备，用于借助元素的语境信息对元素进行精准检索，以便实现RPA技术。
[0004]一方面，本申请提供了一种图形界面的元素特征生成方法，包括：
[0005]从样例图形界面图像中，确定待检索的目标元素；
[0006]根据特征提取网络组合中若干特征提取网络，分别为所述目标元素生成与每一特征提取网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图形界面的元素特征生成方法，其特征在于，包括：从样例图形界面图像中，确定待检索的目标元素；根据特征提取网络组合中若干特征提取网络，分别为所述目标元素生5成与每一特征提取网络对应的特征向量；其中，所述特征提取网络组合包括多个可选的特征提取网络；将所述目标元素的若干特征向量进行融合处理，得到语境检索特征。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：分别确定所述目标元素的语境检索特征，与指定图形界面图像中每一0元素的语境检索特征之间的相似度；根据所述相似度，确定所述指定图形界面图像中所述目标元素的元素检索结果。3.根据权利要求1所述的方法，其特征在于，所述从样例图形界面图像中，确定待搜索的目标元素，包括：5对所述样例图形界面图像进行目标检测，得到多个元素；展示所述样例图形界面图像上经过检索的多个元素，并响应于选择指令，从所述多个元素中选中至少一个元素，作为目标元素。4.根据权利要求1所述的方法，其特征在于，在所述根据特征提取网络组合中若干特征提取网络，分别为所述目标元素生成与每一特征提取网0络对应的特征向量之前，所述方法还包括：响应于模型选择指令，从所述多个可选的特征提取网络中，选择用于提取特征向量的若干特征提取网络。5.根据权利要求1所述的方法，其特征在于，所述根据特征提取网络组合中若干特征提取网络，分别为所述目标元素生成与每一特征提取网络对应的特征向量，包括：根据每一特征提取网络对应的截图规则，从所述样例图形界面图像中截取出目标元素所在的局部图像；其中，不同特征提取网络对应的截图规则，所指示的截取图像区域的范围不同；根据每一特征提取网络对其对应的局部图像进行处理，得到与其对应的特征向量。6.根据权利要求5所述的方法，其特征在于，所述根据每一特征提取网络对应的截图规则，从所述样例图形界面图像中截取出目标元素所在的局部图像，包括：根据每一特征提取网络对应的截图规...

【专利技术属性】
技术研发人员：黄博，张泉，高磊，赵素馨，
申请(专利权)人：上海弘玑信息技术有限公司，
类型：发明
国别省市：