一种RPA系统截图定位方法、装置、设备及介质制造方法及图纸

本申请公开了一种RPA系统截图定位方法、装置、设备及介质，属于RPA和自动化测试技术领域。该方法包括：在RPA流程开发与调试阶段：根据第一选取位置获取定位元素的第一截图区域；记录第一截图区域对应的第一截图；在脚本回放阶段：寻找与第一截图的形状和尺寸分别相等的第一元素区域；获取第一元素区域对应的第一元素区域截图；将第一元素区域截图与第一截图进行相似度比对以得到第一比对值；若第一比对值达到第一相似度阈值，则将第一元素区域内的元素确定为定位元素；否则，继续重复上述步骤，直至在其它元素区域确定定位元素，每个元素区域不重叠。本申请降低完全由截图来定位的计算量，且能够有效实现元素的抓取。且能够有效实现元素的抓取。且能够有效实现元素的抓取。

【技术实现步骤摘要】
一种RPA系统截图定位方法、装置、设备及介质


[0001]本专利技术涉及RPA和自动化测试
，尤其涉及一种RPA系统截图定位方法、装置、设备及介质。

技术介绍

[0002]机器人流程自动化(英文：Robotic process automation，简称：RPA)系统是一种应用程序，通过模仿用户在界面的手动操作方式，以软件机器人及人工智能(英文：Artificial Intelligence，简称：AI)为基础，使得用户手动操作流程自动化。
[0003]在RPA系统中，界面元素的定位一直是个难题，采用手工写代码来定位虽然可靠、运行速度快，但需要较长的调试时间；通过界面抓取信息定位，因为界面元素内的信息经常变化，这些变化导致抓取的信息失效，使得脚本运行找不到原来抓取的元素；而完全靠截图来定位的方式虽然可以实现，但需要的计算量大，要占用大量系统资源，且运行速度慢，无法在RPA或自动化测试领域中使用。

技术实现思路

[0004]本专利技术实施例提供一种RPA系统截图定位方法、装置、设备及介质，通过获取定位元素截图，回放时根据截图的形状和尺寸寻找定位元素，通过形状和尺寸的比对快速寻找可能的元素与定位元素进行比较，从而提高元素抓取的效率和成功率。
[0005]第一方面，本专利技术实施例提供了一种RPA系统截图定位方法，所述方法包括：
[0006]在RPA流程开发与调试阶段：
[0007]根据第一选取位置获取定位元素的第一截图区域；记录所述第一截图区域对应的第一截图；所述第一截图区域为所述定位元素的元素图片边框区域；
[0008]在脚本回放阶段：
[0009]寻找与所述第一截图的形状和尺寸分别相等的第一元素区域；
[0010]获取所述第一元素区域对应的第一元素区域截图；将所述第一元素区域截图与所述第一截图进行相似度比对以得到第一比对值；
[0011]若所述第一比对值达到第一相似度阈值，则将所述第一元素区域内的元素确定为所述定位元素；否则，继续重复上述寻找、获取以及比对的步骤，直至在其它元素区域确定所述定位元素，每个元素区域不重叠。
[0012]第二方面，本专利技术实施例提供了一种RPA系统截图定位装置，所述装置包括：
[0013]获取模块，用于在RPA流程开发与调试阶段根据第一选取位置获取定位元素的第一截图区域；所述第一截图区域为所述定位元素的元素图片边框区域；
[0014]记录模块，用于在RPA流程开发与调试阶段记录所述第一截图区域对应的第一截图；
[0015]寻找模块，用于在脚本回放阶段寻找与所述第一截图的形状和尺寸分别相等的第一元素区域；
[0016]比对模块，用于在脚本回放阶段获取所述第一元素区域对应的第一元素区域截图，将所述第一元素区域截图与所述第一截图进行相似度比对以得到第一比对值；若所述第一比对值达到第一相似度阈值，则将所述第一元素区域内的元素确定为所述定位元素；否则，继续重复上述寻找、获取以及比对的步骤，直至在其它元素区域确定所述定位元素，每个元素区域不重叠。
[0017]第三方面，本专利技术实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本专利技术任意实施例所述的RPA系统截图定位方法。
[0018]第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本专利技术任意实施例所述的RPA系统截图定位方法。
[0019]在本专利技术实施例提供的技术方案中，在RPA流程开发与调试阶段，对定位元素截图并存储，在脚本回放阶段，通过寻找与定位元素的截图的形状和尺寸分别相等的元素区域，再将元素区域对应的元素区域截图与存储的定位元素截图进行相似度比对以确定定位元素，由于形状和尺寸的比对可以快速筛除掉不符合的元素，仅在形状和尺寸分别相等的元素中进行元素截图的相似度比对，可以大大降低完全由截图来定位的计算量，减少系统资源的占用，且能够有效实现元素的抓取。
附图说明
[0020]图1是本申请实施例一提供的一种RPA系统截图定位方法的流程图；
[0021]图2是本申请实施例二提供的一种RPA系统截图定位方法的流程图；
[0022]图3是本申请实施例三提供的一种RPA系统截图定位方法的流程图；
[0023]图4是本申请实施例四提供的一种RPA系统截图定位方法的流程图；
[0024]图5是本申请实施例四提供的元素截图中包含文字的示意图；
[0025]图6是本申请实施例五提供的一种RPA系统截图定位装置的结构示意图；
[0026]图7是本申请实施例六提供的一种计算机设备的硬件结构示意图。
具体实施方式
[0027]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0028]在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0029]实施例一
[0030]图1是本申请实施例一提供的一种RPA系统截图定位方法的流程图，本申请实施例可适用于对RPA系统进行快速截图定位元素的情况，该方法可以由本申请实施例提供的RPA
系统截图定位装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。
[0031]如图1所示，本申请实施例一提供的一种RPA系统截图定位方法，具体包括以下两个阶段的方案：
[0032]在RPA流程开发与调试阶段：
[0033]S110，根据第一选取位置获取定位元素的第一截图区域。
[0034]第一截图区域为定位元素的元素图片边框区域。
[0035]在实际应用中，第一截图区域能够自动识别定位元素的对应的元素图片的默认边框，元素图片的默认边框通常为矩形，需要说明的是，对于显示为非矩形的元素图片，比如显示为圆形、三角形或其他不规则图形的元素图片，这些元素图片的默认边框通常也为矩形，矩形边框内除圆形、三角形或其他不规则图形的元素以外的区域默认为透明。
[0036]可选的，RPA系统可以获取开发者的点击位置，将点击位置确定为第一选取位置，根据点击位置确定对应的定位元素，然后获取定位元素的第一截图区域。
[0037]在实际应用中，开发者对于RPA系统中的每个元素进行截图保存，以便在后续的脚本回放阶段抓取不同的元素。
[0038]S120，记本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种RPA系统截图定位方法，其特征在于，所述方法包括：在RPA流程开发与调试阶段：根据第一选取位置获取定位元素的第一截图区域；记录所述第一截图区域对应的第一截图；所述第一截图区域为所述定位元素的元素图片边框区域；在脚本回放阶段：寻找与所述第一截图的形状和尺寸分别相等的第一元素区域；获取所述第一元素区域对应的第一元素区域截图；将所述第一元素区域截图与所述第一截图进行相似度比对以得到第一比对值；若所述第一比对值达到第一相似度阈值，则将所述第一元素区域内的元素确定为所述定位元素；否则，继续重复上述寻找、获取以及比对的步骤，直至在其它元素区域确定所述定位元素，每个元素区域不重叠。2.根据权利要求1所述的RPA系统截图定位方法，其特征在于，所述记录所述第一截图区域对应的第一截图，包括：记录所述第一截图区域对应的第一截图和所述第一截图区域上的第一基准点的位置；所述方法还包括：在RPA流程开发与调试阶段：根据第二选取位置确定定位点；记录所述定位点与所述第一基准点之间的第一偏移信息；所述若所述第一比对值达到第一相似度阈值，则将所述第一元素区域内的元素确定为所述定位元素，包括：若所述第一比对值达到第一相似度阈值，则将所述第一元素区域内的元素确定为所述定位元素；根据所述第一基准点在所述第一截图区域上的位置和所述定位点与所述第一基准点之间的第一偏移信息，确定目标定位点，返回所述目标定位点在相应界面上的坐标。3.根据权利要求1所述的RPA系统截图定位方法，其特征在于，所述根据第一选取位置获取定位元素的第一截图区域，记录所述第一截图区域对应的第一截图之后，所述方法还包括：基于所述第一截图区域，获取扩大截图范围后的第二截图区域；记录所述第二截图区域对应的第二截图以及所述第一截图区域位于所述第二截图区域中的相对位置；所述若所述第一比对值达到第一相似度阈值，则将所述第一元素区域内的元素确定为所述定位元素，包括：若所述第一比对值达到第一相似度阈值，则根据所述第一截图区域位于所述第二截图区域中的相对位置，确定所述元素区域与所述第二截图区域对应的第二元素区域，获取所述第二元素区域对应的第二元素区域截图；将所述第二元素区域截图与所述第二截图进行相似度比对以得到第二比对值；若所述第二比对值达到第二相似度阈值，则将所述第一元素区域内的元素确定为所述定位元素。4.根据权利要求3所述的RPA系统截图定位方法，其特征在于，所述记录所述第一截图区域对应的第一截图，包括：记录所述第一截图区域对应的第一截图和所述第一截图区域上的第一基准点的位置；所述记录所述第二截图区域对应的第二截图以及所述第一截图区域位于所述第二截图区域中的相对位置，包括：记录所述第二截图区域对应的第二截图、所述第二截图区域上
的第二基准点的位置以及所述第一截图区域位于所述第二截图区域中的相对位置；所述方法还包括：在RPA流程开发与调试阶段：根据第二选取位置确定定位点；记录所述定位点与所述第一基准点之间的第一偏移信息，或者，记录所述定位点与所述第二基准点之间的第二偏移信息；所述若所述第二比对值达到第二相似度阈值，则将所述第一元素区域内的元素确定为所述定位元素之后，所述方法还包括：根据所述第一基准点在所述第一截图区域上的位置和所述定位点与所述第一基准点之间的第一偏移信息确定目标定位点，或者，根据所述第二基准点在所述第二截图区域上的位置和所述定位点与所述第二基准点之间的第二偏移信息确定目标定位点，或者，根据所述第二基准点在所述第二截图区域上的位置、所述第一截图区域位于所述第二截图区域中的相对位置以及所述定位点与所述第一基准点之间的第一偏移信息确定目标定位点；返回所述目标定位点在相应界面上的坐标。5.根据权利要求4所述的RPA系统截图定位方法，其特征在于，所述第一截图内包含文字；所述根据第一选取位置获取定位元素的第一截图区域之后，所述记录所述第一截图区域对应的第一截...

【专利技术属性】
技术研发人员：李陟，尚世栋，
申请(专利权)人：上海智臻智能网络科技股份有限公司，
类型：发明
国别省市：