使用根据两种或更多种图形元素检测技术的用户接口描述符属性的组合的图形元素检测制造技术

公开了使用根据两种或更多种图形元素检测技术的用户接口(UI)描述符属性的组合的图形元素检测。UI描述符可以用于将针对给定UI描述符的属性与在运行时在UI中找到的UI元素的属性进行比较。在运行时，针对在UI中找到的UI元素的属性可以被搜索，以获得与相应RPA工作流活动的属性的匹配，并且如果找到了精确匹配或匹配阈值内的匹配，那么UI可以被标识并且相应地进行交互。应地进行交互。应地进行交互。

【技术实现步骤摘要】
【国外来华专利技术】使用根据两种或更多种图形元素检测技术的用户接口描述符属性的组合的图形元素检测
[0001]相关申请的交叉引用
[0002]本申请要求于2020年8月11日提交的美国非临时专利申请第16/990,709号的权益。该早期提交的申请的主题以其整体内容通过引用并入于此。


[0003]本专利技术大体上涉及图形元素检测，并且更具体地涉及使用根据两种或更多种图形元素检测技术的用户接口(UI)描述符属性的组合的图形元素检测。

技术介绍

[0004]针对UI中的机器人流程自动化(RPA)，可以针对每个UI动作使用选择器、计算机视觉(CV)或光学字符识别(OCR)来执行图形元素检测。然而，这些技术为单独应用的，并且并非针对所有场景都是最佳的。因此，一种改进的方法可以是有益的。

技术实现思路

[0005]本专利技术的某些实施例可以提供对本领域中尚未经当前图形元素检测技术完全标识、了解或解决的问题和需求的解决方案。例如，本专利技术的一些实施例涉及使用根据两种或更多种图形元素检测技术(例如选择器、CV、OCR等)的UI描述符属性的组合的图形元素检测。
[0006]在实施例中，一种用于检测UI中的图形元素的计算机实现的方法包括：由设计器应用接收对要在RPA工作流中被配置的活动的选择。该计算机实现的方法还包括：由设计器应用接收对以下各项的选择和/或修改：多种图形元素检测技术中的一种或多种图形元素检测技术、图形元素检测技术的一个或多个UI描述符属性、或者上述的组合。该计算机实现的方法还包括：由设计器应用基于所接收到的选择和/或修改来配置活动。
[0007]在另一实施例中，一种计算机程序被实施在非瞬态计算机可读介质上。该程序被配置为使至少一个处理器接收对要在RPA工作流中被配置的活动的选择。该计算机程序还被配置为使至少一个处理器接收对以下各项的选择和/或修改：多种图形元素检测技术中的一种或多种图形元素检测技术、图形元素检测技术的一个或多个UI描述符属性、或者上述的组合。该计算机程序还被配置为使至少一个处理器基于所接收到的选择和/或修改来配置活动。
[0008]在又一实施例中，一种计算机程序被实施在非瞬态计算机可读介质上。该程序被配置为使至少一个处理器在运行时分析UI，以标识UI元素属性。该计算机程序还被配置为使至少一个处理器针对RPA工作流的活动将UI元素属性与根据多种图形元素检测技术的UI描述符属性进行比较。当与多种图形元素检测技术的属性相匹配的UI元素经由精确匹配或阈值匹配而被找到时，该计算机程序被配置为使至少一个处理器采取与涉及UI元素的活动相关联的动作。
附图说明
[0009]为了容易地理解本专利技术的某些实施例的优点，将通过参考在附图中图示的特定实施例来呈现上文简要描述的本专利技术的更具体的描述。虽然应理解，这些图仅描绘了本专利技术的典型实施例，并且因此不应该被认为是对本专利技术的范围的限制，但是本专利技术将通过附图的使用以附加的特异性和细节来描述和阐释，在附图中：
[0010]图1是图示了根据本专利技术的实施例的机器人流程自动化(RPA)系统的架构图。
[0011]图2是图示了根据本专利技术的实施例的部署的RPA系统的架构图。
[0012]图3是图示了根据本专利技术的实施例的设计器、活动与驱动(driver)之间的关系的架构图。
[0013]图4是图示了根据本专利技术的实施例的RPA系统的架构图。
[0014]图5是图示了根据本专利技术的实施例的被配置为执行使用根据两种或更多种图形元素检测技术的UI描述符属性的组合的图形元素检测的计算系统的架构图。
[0015]图6图示了根据本专利技术的实施例的用于RPA设计器应用的示例图形元素检测技术配置接口。
[0016]图7A和图7B图示了根据本专利技术的实施例的用于RPA设计器应用的另一示例图形元素检测技术配置接口。
[0017]图8是图示了根据本专利技术的实施例的用于将RPA工作流配置为执行使用根据两种或更多种图形元素检测技术的UI描述符属性的组合的图形元素检测的过程的流程图。
[0018]图9是图示了根据本专利技术的实施例的用于执行使用根据两种或更多种图形元素检测技术的UI描述符属性的组合的图形元素检测的过程的流程图。
[0019]除非另有指示，否则类似的附图标记在整个附图中始终指示对应特征。
具体实施方式
[0020]一些实施例涉及使用根据两种或更多种图形元素检测技术(例如选择器、CV、OCR等)的UI描述符属性的组合的图形元素检测。“图形元素”和“UI元素”在本文中可互换地使用。UI描述符在其核心处标识UI元素(例如文本字段、按钮、标签、菜单、复选框等)。一些类型的UI描述符包括但不限于选择器、CV描述符、图像匹配描述符、OCR描述符、可以串行或并行地利用多种不同类型的UI描述符的统一目标描述符等。UI描述符可以用于将针对给定UI描述符的属性与在运行时在UI中找到的UI元素的属性进行比较。
[0021]在一些实施例中，UI描述符例如在可扩展标记语言(XML)片段中存储相应UI元素及其父元素的属性。在运行时，针对在UI中找到的UI元素的属性可以被搜索，以获得与针对相应RPA工作流活动的属性的匹配，并且如果精确匹配或“足够接近的”匹配在匹配阈值内被找到，那么UI元素可以被标识并且相应地进行交互。属性可以包括基于文本的标识符(ID)、类、角色等。针对CV，属性可以包括目标元素的类型和与可以在多锚匹配方法中使用的一个或多个锚元素的关系。针对OCR，属性可以包括例如呈所存储的串形式的文本和经由OCR找到的文本，在执行期间，所存储的串与OCR模糊匹配。可以在不脱离本专利技术的范围的情况下使用任何合适的属性和图形元素检测技术。
[0022]一些实施例从两种或更多种不同的图形元素检测技术中搜索自动定义属性或自定义属性的混合。例如，一些选择器属性、一些CV描述符属性以及一些OCR描述符属性可以
用于在运行时以可以比单独使用任何图形元素检测技术更加准确的方式共同地、且潜在地同时标识图形元素。例如，如果在屏幕上存在具有不同视觉外观的复选框各个组，那么使用用于标识复选框图像的图像匹配描述符与CV描述符的组合可以是有意义的，该CV描述符提供与特定复选框相对于附近的锚UI元素的位置相关的多锚匹配信息。与仅单种图形元素检测技术相比，这可以提高准确性。
[0023]在一些实施例中，组合的图形元素检测技术可以在设计时使用RPA设计器应用(例如UiPath Studio
TM
)来配置。例如，开箱即用的点击活动可以被配置为查看要被标识的目标图形元素的类型和/或要被标识的目标图形元素的某些特性，以自动确定要使用图形元素检测技术与相应属性的哪种组合。在某些实施例中，RPA开发者可以修改活动的默认逻辑，和/或提供要被手动地使用的图形元素检测技术及其属性。例如，RPA开发者可以选择要应用的图形元素检测技术的类型。在一些实施例中，RPA开发者可以从供给定技术选择的属性列表中进行选择、开发者可以手动地录入属性等。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于检测用户接口(UI)中的图形元素的计算机实现的方法，包括：由设计器应用接收对要在机器人流程自动化(RPA)工作流中被配置的活动的选择；由所述设计器应用接收对以下各项的选择和/或修改：多种图形元素检测技术中的一种或多种图形元素检测技术、所述图形元素检测技术的一个或多个UI描述符属性、或者上述的组合；以及由所述设计器应用基于所接收到的所述选择和/或修改来配置所述活动。2.根据权利要求1所述的计算机实现的方法，还包括：由所述设计器应用自动配置所述图形元素检测技术中的一种或多种图形元素检测技术、所述UI描述符属性中的一个或多个UI描述符属性、或者两者。3.根据权利要求2所述的计算机实现的方法，其中所述自动配置由所述设计器应用基于以下各项而被执行：由所述活动实现的动作、所述目标图形元素的类型、所述UI中的一个或多个其他图形元素的存在、或者上述的组合。4.根据权利要求1所述的计算机实现的方法，其中根据权利要求1所述的过程针对至少一个附加活动而被重复。5.根据权利要求1所述的计算机实现的方法，还包括：由所述设计器应用生成RPA机器人，所述RPA机器人被配置为实现所配置的所述活动。6.根据权利要求5所述的计算机实现的方法，其中所述RPA机器人被配置为将所述UI描述符属性的子集用于所述多种图形元素检测技术中的至少一种图形元素检测技术。7.根据权利要求5所述的计算机实现的方法，还包括：由所述RPA机器人在运行时分析UI，以标识UI元素属性；由所述RPA机器人针对所述活动将所述UI元素属性与所配置的所述UI描述符属性进行比较；并且当与所述多种图形元素检测技术的所述属性相匹配的UI元素经由精确匹配或阈值匹配而被找到时：由所述RPA机器人采取与涉及所述UI元素的所述活动相关联的动作。8.根据权利要求7所述的计算机实现的方法，其中所述UI属性包括图像、文本、所述UI中的图形元素之间的关系、所述UI中的所述图形元素的分层表示、或者上述的组合。9.根据权利要求7所述的计算机实现的方法，其中根据权利要求7所述的过程针对至少一个附加活动而被重复。10.根据权利要求1所述的计算机实现的方法，其中所述UI描述符的类型包括以下中的两项或更多项：选择器、计算机视觉(CV)描述符、图像匹配描述符、和光学字符识别(OCR)描述符。11.一种被体现在非瞬态计算机可读介质上的计算机程序，所述计算机程序被配置为使至少一个处理器：接收对要在机器人流程自动化(R...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：尤帕斯公司，
类型：发明
国别省市：