专用图形元素检测制造技术

公开了一种图形元素检测，该图形元素检测使用组合的串行和延迟并行执行统一目标技术，该组合的串行和延迟并行执行统一目标技术潜在地使用多种图形元素检测技术，在应用和/或UI类型级别执行默认用户界面(UI)元素检测技术配置，或者这两者。统一目标将标识和自动化UI元素的多种技术合并为单个粘聚方法。统一目标描述符将多种类型的UI描述符串联链接在一起，并行地使用它们，或者先使用至少一种技术一段时间，并且然后，并行地或者替代地在第一技术在该时间段内没有找到匹配的情况下运行至少一种其他技术。至少一种其他技术。至少一种其他技术。

【技术实现步骤摘要】
【国外来华专利技术】专用图形元素检测
[0001]相关申请的交叉引用
[0002]本申请要求于2020年9月9日提交的美国非临时专利申请No.17/016,251的权益，该申请是2020年9月8日提交的美国非临时专利申请No.17/014,171的延续，并且要求其权益。这些在先提交的申请的主题通过引用整体结合于此。


[0003]本专利技术总体上涉及图形元素检测，并且更具体地涉及使用组合的串行和延迟并行执行统一目标技术，在应用和/或UI类型级别执行默认UI元素检测技术配置，或者这两者的图形元素检测。

技术介绍

[0004]对于UI中的机器人流程自动化(RPA)，可以使用选择器、计算机视觉(CV)或光学字符识别(OCR)来执行每个UI动作的图形元素检测。但是，这些技术通常单独应用，并且并非在所有情况下都是最佳的。因此，改进的方法可能是有益的。

技术实现思路

[0005]本专利技术的某些实施例可以提供针对本领域中尚未被当前的图形元素检测技术完全标识、理解或解决的问题和需求的解决方案。例如，本专利技术的一些实施例涉及使用组合的串行和延迟并行执行统一目标技术的图形元素检测。某些实施例涉及在应用和/或UI类型级别的默认UI元素检测技术配置。然后，可以使用这种配置检测运行时的UI元素。
[0006]在一个实施例中，一种用于检测UI中的图形元素的计算机实现的方法包括：由设计器应用接收对在RPA工作流程中的活动的选择，该活动的选择将被配置为使用统一目标技术执行图形元素检测。该计算机实现的方法还包括由设计器应用接收对活动的统一目标技术的修改，以及由设计器应用基于该修改来配置活动。统一目标技术是被配置为采用多种图形元素检测技术的组合的串行和延迟并行执行统一目标技术。
[0007]在另一实施例中，一种计算机程序体现在非暂态计算机可读介质上。该计算机程序被配置为引起至少一个处理器分析运行时的UI以标识UI元素属性，并且使用一种或多种初始图形元素检测技术将UI元素属性与RPA工作流程的活动的UI描述符属性进行比较。当在第一时间段期间使用一种或多种初始图形元素检测技术未找到匹配时，计算机程序被配置为引起至少一个处理器与一种或多种初始图形元素检测技术并行地执行一种或多种附加图形元素检测技术。
[0008]在又一实施例中，一种计算机程序体现在非暂态计算机可读介质上。该计算机程序被配置为引起至少一个处理器分析运行时的UI以标识UI元素属性，并且使用一种或多种初始图形元素检测技术将UI元素属性与UI描述符属性进行比较以用于RPA工作流程的活动。当在第一时间段期间使用一种或多种初始图形元素检测技术未找到匹配时，计算机程序被配置为引起至少一个处理器执行一种或多种附加图形元素检测技术，而不是一种或多
种初始图形元素检测技术。
[0009]在又一实施例中，一种用于检测UI中的图形元素的计算机实现的方法包括：由RPA设计器应用接收对应用或UI类型的选择。该计算机实现的方法还包括由RPA设计器应用接收和保存默认定位方法设置配置。该计算机实现的方法还包括由RPA设计器应用接收对要被自动化的屏幕的指示。该屏幕与所选择的应用或UI类型有关。另外，该计算机实现的方法包括由RPA设计器应用为所选择的应用或UI类型自动预配置默认定位方法设置。
[0010]在另一实施例中，一种计算机程序体现在非暂态计算机可读介质上。该计算机程序被配置为引起至少一个处理器针对所选择的应用或UI类型自动预配置默认定位方法设置。该计算机程序还被配置为引起至少一个处理器接收对应用或UI类型的默认定位方法设置的修改，并且根据修改来配置默认定位方法设置。该计算机程序还被配置为引起至少一个处理器使用针对应用或UI类型的默认定位方法设置来配置RPA工作流程中的一个或多个活动。
[0011]在又一实施例中，一种计算机程序体现在非暂态计算机可读介质上。该计算机程序被配置为引起至少一个处理器由设计器应用针对应用或UI类型自动预配置默认定位方法设置，并且使用该应用或UI类型的默认定位方法设置来配置RPA工作流程中的一个或多个活动。该计算机程序还被配置为引起至少一个处理器生成RPA机器人以实现包括一个或多个配置的活动的RPA工作流程。
附图说明
[0012]为了容易地理解本专利技术的某些实施例的优点，将通过参考在附图中图示的特定实施例来呈现上文简要描述的本专利技术的更具体的描述。虽然应理解，这些图仅描绘了本专利技术的典型实施例，并且因此不应该被认为是对本专利技术的范围的限制，但是本专利技术将通过附图的使用以附加的特异性和细节来描述和阐释，在附图中：
[0013]图1是示出根据本专利技术的实施例的机器人流程自动化(RPA)系统的架构图。
[0014]图2是示出根据本专利技术的实施例的部署的RPA系统的架构图。
[0015]图3是示出根据本专利技术的实施例的设计器、活动与驱动程序之间的关系的架构图。
[0016]图4是示出根据本专利技术的实施例的RPA系统的架构图。
[0017]图5是示出根据本专利技术的实施例的被配置为使用组合的串行和延迟并行执行统一目标技术和/或由应用或UI类型配置的一种或多种默认定位方法来执行图形元素检测的计算系统的架构图。
[0018]图6A
‑
G示出了根据本专利技术的实施例的用于RPA设计器应用的统一目标配置界面。
[0019]图7A
‑
C示出了根据本专利技术的实施例的用于在应用和/或UI类型级别配置定位方法的定位方法配置界面。
[0020]图8是示出根据本专利技术的实施例的用于为RPA工作流程中的活动配置统一目标功能的过程的流程图。
[0021]图9A和9B是示出根据本专利技术的实施例的使用组合的串行和延迟并行执行统一目标技术的图形元素检测的过程的流程图。
[0022]图10A和10B是分别示出根据本专利技术的实施例的用于配置默认图形元素检测技术并且在应用和/或UI类型级别执行图形元素检测的过程的设计时部分和运行时部分的流程
图。
[0023]除非另有说明，否则相似的附图标记在整个附图中始终表示对应的特征。
具体实施方式
[0024]一些实施例涉及使用组合的串行和延迟并行执行统一目标技术的图形元素检测，所述组合的串行和延迟并行执行统一目标技术潜在地使用多种图形元素检测技术(例如，选择器、CV、OCR等)。“图形元素”和“UI元素”在本文中可互换使用。UI描述符的核心是标识UI元素(例如，文本字段、按钮、标签、菜单、复选框等)。某些类型的UI描述符包括但不限于选择器、CV描述符、图像匹配描述符、OCR描述符、可以使用串行或并行的多种不同类型的UI描述符的统一目标描述符等。UI描述符可以用于将给定UI描述符的属性与在运行时的UI中找到的UI元素的属性进行比较。
[0025]在一些实施例中，UI描述符例如在可扩展标记语言(XML)片段中存储相应UI元素及其父元素的属性。可以搜索在运行时的UI中找到的UI元素的属性，以查找与相应RPA工作流程活动的属性的匹配，并且如果找到本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于检测用户界面(UI)中的图形元素的计算机实现的方法，包括：由机器人流程自动化(RPA)设计器应用接收对应用或UI类型的选择；由所述RPA设计器应用接收并且保存默认定位方法设置配置；由所述RPA设计器应用接收要被自动化的屏幕的指示，所述屏幕与所选择的所述应用或UI类型有关；以及由所述RPA设计器应用自动为所选择的所述应用或UI类型预配置所述默认定位方法设置。2.根据权利要求1所述的计算机实现的方法，还包括：由所述RPA设计器应用接收对所述默认定位方法设置的修改；以及由所述RPA设计器应用根据所述修改配置所述定位方法设置。3.根据权利要求2所述的计算机实现的方法，其中所述RPA设计器应用的第一实例用于配置所述默认定位方法设置，并且所述RPA设计器应用的第二实例用于随后修改所述默认定位方法设置。4.根据权利要求2所述的计算机实现的方法，其中对所述默认定位方法设置的所述修改包括是否针对所选择的所述应用或UI类型使用一种或多种定位方法。5.根据权利要求1所述的计算机实现的方法，其中所述默认定位方法设置包括是否使用完全选择器、模糊选择器或图像选择器，是否启用锚点，或者其组合。6.根据权利要求1所述的计算机实现的方法，还包括：由所述设计器应用使用针对所选择的所述应用或UI类型的所述默认定位方法设置来配置机器人流程自动化(RPA)工作流程中的一个或多个活动。7.根据权利要求6所述的计算机实现的方法，还包括：由所述RPA设计器应用生成RPA机器人，以实现包括所述一个或多个配置的活动的所述RPA工作流程。8.根据权利要求7所述的计算机实现的方法，还包括：由所述RPA机器人分析运行时的UI以标识UI元素属性；以及除非在设计时由用户覆盖，否则由所述RPA机器人使用所述默认定位方法设置来分析所标识的所述UI元素属性。9.根据权利要求1所述的计算机实现的方法，其中当所述应用是web浏览器时，所述默认定位方法设置的所述预配置包括：将完全选择器设置为不运行，以及将模糊选择器、图像选择器和/或启用锚点设置为运行。10.一种体现在非暂态计算机可读介质上的计算机程序，所述计算机程序被配置为引起至少一个处理器：自动为选择的应用或用户界面(UI)类型预配置默认定位方法设置；接收对所述应用或UI类型的所述默认定位方法设置的修改；根据所述修改配置所述默认定位方法设置；以及...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：尤帕斯公司，
类型：发明
国别省市：