一种UI元素的编号方法、定位方法、装置、设备以及介质制造方法及图纸

本发明专利技术公开了一种UI元素的编号方法、定位方法、装置、设备以及介质，所述方法包括识别接收到的UI图像中的UI元素；针对所述UI图像，提取其中的第一区域轮廓；基于所述第一区域轮廓，确定其中的第二区域轮廓，其中，所述第二区域轮廓之间不重叠；针对所述第二区域轮廓执行编号，得到第二区域轮廓的区域编号；基于所述区域编号，对所述第二区域轮廓内的UI元素执行编号，本发明专利技术考虑到一定区域内部的UI元素相互位置关系的不变性，不易受到屏幕大小、分辨率以及缩放比的影响，具有很好的稳定性，能够提升UI元素定位的准确性。升UI元素定位的准确性。升UI元素定位的准确性。

【技术实现步骤摘要】
一种UI元素的编号方法、定位方法、装置、设备以及介质


[0001]本专利技术涉及一种UI元素的编号方法、定位方法、装置、设备以及介质，属于RPA流程设计


技术介绍

[0002]RPA(Robotic Process Automation机器人流程自动化)技术是一种基于流程自动化机器人，来代替人类执行一些重复的工作。UI元素的定位是RPA运行成功的关键。
[0003]在涉及到远程桌面应用、JAVA应用以及自定义图形界面应用等场景时，通用元素标识方法不再有效，现有技术当中的一种可行的方式是对UI元素执行编号，以实现UI元素的定位。但是这方法容易受到屏幕大小、分辨率以及缩放比的影响，不稳定。

技术实现思路

[0004]本专利技术的目的在于克服现有技术中的不足，提供一种UI元素的编号方法、定位方法、装置、设备以及介质，用于解决UI元素编号的稳定性差的问题。
[0005]为达到上述目的，本专利技术是采用下述技术方案实现的：
[0006]第一方面，本专利技术提供了一种区域划分方法，包括：
[0007]识别接收到的UI图像中的UI元素；
[0008]针对所述UI图像，提取其中的第一区域轮廓；
[0009]基于所述第一区域轮廓，确定其中的第二区域轮廓，其中，所述第二区域轮廓之间不重叠；
[0010]针对所述第二区域轮廓执行编号，得到第二区域轮廓的区域编号；
[0011]基于所述区域编号，对所述第二区域轮廓内的UI元素执行编号。
[0012]进一步的，识别接收到的UI图像中的UI元素的步骤，包括：
[0013]基于预先训练好的目标检测模型，识别接收到的UI图像中的UI元素。
[0014]进一步的，所述第一区域轮廓存在重叠的情况，针对所述UI图像，提取其中的第一区域轮廓的步骤，包括：
[0015]采用基于canny的边缘检测算法处理所述UI图像，得到具有区域轮廓的UI图像；
[0016]针对所述具有区域轮廓的UI图像执行轮廓提取，得到所述第一区域轮廓。
[0017]进一步的，在所述的基于所述第一区域轮廓，确定其中的第二区域轮廓的步骤之前，还包括：
[0018]针对所述第一区域轮廓，将不满足预设尺寸阈值的第一区域轮廓剔除。
[0019]进一步的，基于所述第一区域轮廓，确定其中的第二区域轮廓的步骤，包括：
[0020]以所述UI图像、第一区域轮廓为输入，输入预设的动态规划算法中进行处理，得到第二区域轮廓；其中，所述动态规划算法的约束条件为在所述的UI图像之中，区域轮廓之间不重叠，目标函数为各区域轮廓之间的总间隔最小。
[0021]进一步的，基于所述第一区域轮廓，确定其中的第二区域轮廓的步骤，包括：
[0022]基于所述第一区域轮廓和UI图像，以UI图像任意一边为起点，并且以一定步长搜寻步长内的第一区域轮廓的轮廓线；
[0023]保留各步长内尺寸最长的轮廓线，并且剔除其余的轮廓线；
[0024]延伸所述最长的轮廓线的两端，直至所述UI图像的边，获得所述第二轮廓区域。
[0025]第二方面，本专利技术提供一种UI元素定位方法，所述定位方法应用于RPA流程执行阶段，所述定位方法包括：
[0026]针对待定位的UI图像，应用前述中任一所述的UI元素的编号方法，得到所述待定位UI图像中UI元素的编号；
[0027]基于所述RPA流程中预先配置好的UI元素的编号，从所述待定位UI图像中UI元素的编号查找相同的编号，实现UI元素的定位。
[0028]第三方面，本专利技术提供一种UI元素的编号装置，包括：
[0029]识别模块，其用于识别接收到的UI图像中的UI元素；
[0030]提取模块，其用于针对所述UI图像，提取其中的第一区域轮廓；
[0031]确定模块，其用于基于所述第一区域轮廓，确定其中的第二区域轮廓，其中，所述第二区域轮廓之间不重叠；
[0032]区域编号模块，其用于针对所述第二区域轮廓执行编号，得到第二区域轮廓的区域编号；
[0033]UI元素编号模块，其用于基于所述区域编号，对所述第二区域轮廓内的UI元素执行编号。
[0034]第四方面，本专利技术提供一种电子设备，包括处理器及存储介质；
[0035]所述存储介质用于存储指令；
[0036]所述处理器用于根据所述指令进行操作以执行根据前述任一项所述方法的步骤。
[0037]第五方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述方法的步骤。
[0038]与现有技术相比，本专利技术所达到的有益效果：
[0039]本专利技术提供一种UI元素的编号方法、定位方法、装置、设备以及介质，首先通过边缘检测算法检测出UI图像中的第一区域轮廓，然后从第一区域轮廓中确定出不重叠的第二区域轮廓，再基于该第二区域轮廓执行编号得到区域编号，最后基于区域编号，对各个第二区域轮廓内的UI元素执行编号，该方法考虑到一定区域内部的UI元素相互位置关系的不变性，不易受到屏幕大小、分辨率以及缩放比的影响，具有很好的稳定性，能够提升UI元素定位的准确性。
附图说明
[0040]图1是本专利技术实施例提供的一种UI元素的编号方法的流程图。
[0041]图2是本专利技术实施例提供的一种UI元素的编号装置的框图。
[0042]图3是是本专利技术实施例提供的一种电子设备的框图。
具体实施方式
[0043]下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术
的技术方案，而不能以此来限制本专利技术的保护范围。
[0044]在相关技术当中，RPA技术的实现可以分为RPA流程的设计阶段和RPA流程的执行阶段。
[0045]在设计阶段，需要确定在后续的自动化流程中UI界面上被点击的UI元素，这些UI元素可以是某个按钮、下拉框或者其他组件。
[0046]在执行阶段，RPA机器人可以根据常规的元素定位方法来定位目标UI元素，使得自动化流程能够正常运行下去。该常规的元素定位方法，比如是采用Windows系统上的UIA、网页的xpath(XML Path Language)等通用元素标识方法来定位UI元素。
[0047]当RPA的应用场景中，涉及到远程桌面应用、JAVA应用以及自定义图形界面应用时，上述的常规的元素定位方法便不再适用，在现有技术中，一种可行的方法是，采用CV(computer vision)计算机视觉识别技术，比如深度学习技术，来识别和定位元素。CV识别时先把整个应用保存为一张图片，再识别图片上的图标、文字块、按钮、编辑框这些元素。获得这些UI元素的位置信息和内容(比如文本类UI元素的文本信息)之后，存入RPA流程作为这些元素的标识。若RPA机器人需要找到它们，或者比较两个UI元素是否相同，可以直接使用UI元素的位置信息和内容进行定位或者比较，但是位置信息难以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种UI元素的编号方法，其特征在于，包括：识别接收到的UI图像中的UI元素；针对所述UI图像，提取其中的第一区域轮廓；基于所述第一区域轮廓，确定其中的第二区域轮廓，其中，所述第二区域轮廓之间不重叠；针对所述第二区域轮廓执行编号，得到第二区域轮廓的区域编号；基于所述区域编号，对所述第二区域轮廓内的UI元素执行编号。2.根据权利要求1所述的UI元素的编号方法，其特征在于，识别接收到的UI图像中的UI元素的步骤，包括：基于预先训练好的目标检测模型，识别接收到的UI图像中的UI元素。3.根据权利要求1所述的UI元素的编号方法，其特征在于，所述第一区域轮廓存在重叠的情况，针对所述UI图像，提取其中的第一区域轮廓的步骤，包括：采用基于canny的边缘检测算法处理所述UI图像，得到具有区域轮廓的UI图像；针对所述具有区域轮廓的UI图像执行轮廓提取，得到所述第一区域轮廓。4.根据权利要求3所述的UI元素的编号方法，其特征在于，在所述的基于所述第一区域轮廓，确定其中的第二区域轮廓的步骤之前，还包括：针对所述第一区域轮廓，将不满足预设尺寸阈值的第一区域轮廓剔除。5.根据权利要求4所述的UI元素的编号方法，其特征在于，基于所述第一区域轮廓，确定其中的第二区域轮廓的步骤，包括：以所述UI图像、第一区域轮廓为输入，输入预设的动态规划算法中进行处理，得到第二区域轮廓；其中，所述动态规划算法的约束条件为在所述的UI图像之中，区域轮廓之间不重叠，目标函数为各区域轮廓之间的总间隔最小。6.根据权利要求4所述的UI元素的编号方法，其特征在于，基于所述第一区...

【专利技术属性】
技术研发人员：吴鑫，林平，唐琦松，谢涛，
申请(专利权)人：上海艺赛旗软件股份有限公司，
类型：发明
国别省市：