一种UI元素定位方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种UI元素定位方法、装置、设备及存储介质，所述方法包括：基于包括有基准UI元素的图像块，生成对应的第一振幅图；其中，所述包括有基准UI元素的图像块是从第一界面提取得到的；所述第一界面表示为RPA流程设计阶段时目标UI元素所在界面；响应于接收到对目标UI元素进行定位的指令，从第二界面中提取包括有待匹配UI元素的图像块，并且基于该包括有待匹配UI元素的图像块生成对应的第二振幅图；其中，所述第二界面表示为在运行阶段时目标UI元素所处的界面；所述第二界面与所述第一界面至少部分相同；计算所述第一振幅图与所述第二振幅图之间的相似度，并且将相似度最高的待匹配UI元素确定为目标UI元素，从而实现对UI元素的准确定位。

【技术实现步骤摘要】

本专利技术涉及一种ui元素定位方法、装置、设备及存储介质，属于ui元素定位。

技术介绍

1、rpa(robotic process automation机器人流程自动化)技术是一种基于流程自动化机器人，来代替人类执行一些重复的工作。ui元素的定位是rpa运行成功的关键。

2、rpa分为rpa程序的设计阶段和运行阶段，在设计阶段，用户可以通过厂商提供的rpa设计rpa流程，在rpa流程设计好之后，可以通过部署在终端的rpa运行器运行该设计好的rpa流程。

3、不管是在设计阶段还是运行阶段，ui界面中的ui元素能够准确的被定位，都是一个极其重要的因素。在设计阶段，若能准确定位ui元素，则设计器能够准确拾取ui元素，提升设计rpa流程的效率。在运行阶段，若能准确定位ui元素，则运行器能够准确拾取ui元素，提升rpa流程的运行效率，减少出错的情况。

4、在现有技术中，可以使用基于图像匹配的方法对待匹配的ui元素执行定位，但是在实际的应用过程中，这种方法往往受到诸多干扰，以至于无法准确匹配到目标ui元素，使得无法对目标ui元素进行本文档来自技高网...

【技术保护点】

1.一种UI元素定位方法，其特征在于，所述方法包括：

2.根据权利要求1所述的UI元素定位方法，其特征在于，计算所述第一振幅图与所述第二振幅图之间的相似度之前，还包括：

3.根据权利要求2所述的UI元素定位方法，其特征在于，其中所述统一所述第一振幅图以及所述第三振幅图的尺寸，包括：

4.根据权利要求2或3所述的UI元素定位方法，其特征在于，计算所述第一振幅图与所述第二振幅图之间的相似度，包括：

5.根据权利要求2所述的UI元素定位方法，其特征在于，对第一振幅图以及第二振幅图作空间金字塔池化处理，得到对应的特征向量，包括：

6.根...

【技术特征摘要】

1.一种ui元素定位方法，其特征在于，所述方法包括：

2.根据权利要求1所述的ui元素定位方法，其特征在于，计算所述第一振幅图与所述第二振幅图之间的相似度之前，还包括：

3.根据权利要求2所述的ui元素定位方法，其特征在于，其中所述统一所述第一振幅图以及所述第三振幅图的尺寸，包括：

4.根据权利要求2或3所述的ui元素定位方法，其特征在于，计算所述第一振幅图与所述第二振幅图之间的相似度，包括：

5.根据权利要求2所述的ui元素定位方法，其特征在于，对第一振幅图以及第二振幅图作空间金字塔池化处理，得到对应...

【专利技术属性】
技术研发人员：林平，吴鑫，唐琦松，谢涛，
申请(专利权)人：上海艺赛旗软件股份有限公司，
类型：发明
国别省市：