将互动式使用者界面元件映射到用于机器人流程自动化开发的机器人流程自动化物件储存库制造技术

提供用于将互动式使用者界面(UI)元件映射至机器人流程自动化(RPA)物件储存库的系统及方法。接收选择一应用程序的一视窗的使用者输入，所述应用程序的所述视窗显示在显示装置上。回应于接收选择所述应用程序的所述视窗的所述使用者输入，自动识别所述应用程序的所述视窗中的互动式UI元件。接收选择所述应用程序的所述视窗中的经识别互动式UI元件中的一或多个互动式UI元件的使用者输入。将一或多个选定的互动式UI元件储存在RPA系统的RPA物件储存库中。存库中。存库中。

【技术实现步骤摘要】
【国外来华专利技术】将互动式使用者界面元件映射到用于机器人流程自动化开发的机器人流程自动化物件储存库


[0001]本专利技术大体上关于机器人流程自动化(robotic process automation；RPA)，且更特定而言，关于将互动式使用者界面(user interface；UI)元件映射至用于RPA开发的RPA物件储存库。

技术介绍

[0002]机器人流程自动化(RPA)为一种形式的流程自动化，其经实施以自动化重复及/或劳动密集型任务，进而降低成本且增加效率。在RPA中，执行软件机器人以自动化工作流程。此类工作流程包含多个活动，其各自对应于一或多个动作。在RPA开发期间，借由开发者与RPA设计者应用程序互动以界定工作流程的每一活动来界定工作流程。工作流程的活动借由记录开发者与互动式使用者界面(UI)元件的互动来界定，所述互动式UI元件诸如按钮、核取方块、本文栏位等。习知地，为了记录互动，开发者选择互动式UI元件，将互动式UI元件储存在物件储存库中，且接着对经储存互动式UI元件执行动作。然而，由于开发者需要在执行动作之前选择每一个各别互动式UI元件且将互动式UI元件储存在物件储存库中，传统的互动记录为侵入性的且耗时的。

技术实现思路

[0003]根据一或多个实施例，提供用于将互动式使用者界面(UI)元件映射至一机器人流程自动化(RPA)物件储存库的系统及方法。接收选择一应用程序的一视窗的使用者输入，所述应用程序的所述视窗显示在显示装置上。回应于接收选择所述应用程序的所述视窗的所述使用者输入，自动识别所述应用程序的所述视窗中的互动式UI元件。接收选择所述应用程序的所述视窗中的经识别互动式UI元件中的一或多个互动式UI元件的使用者输入。将一或多个选定的互动式UI元件储存在RPA系统的RPA物件储存库中。
[0004]在一个实施例中，自动选择经识别互动式UI元件。接收取消选择经自动选定的互动式UI元件中的一或多个互动式UI元件的使用者输入。所述互动式UI元件可包含按钮、核取方块或本文栏位中的一或多个。
[0005]在一个实施例中，接收编辑经储存互动式UI元件的属性的使用者输入。
[0006]在一个实施例中，一或多个选定的互动式UI元件与储存在所述RPA物件储存库中的现有互动式UI元件进行比较以判定所述一或多个选定的互动式UI元件是否为复本。回应于判定所述一或多个选定的互动式UI元件并非复本而储存所述一或多个选定的互动式UI元件。在一个实施例中，借由对与现有互动式UI元件相关联的描述符进行过滤以产生匹配得分而执行比较。回应于判定所述匹配得分中无一者为一最大匹配得分，识别具有一最高的N匹配得分的描述符，其中N为任一正整数。一统一目标演算法应用于经识别描述符以判定所述经识别描述符是否匹配所述一或多个选定的互动式UI元件。回应于所述统一目标演算法判定所述经识别描述符不匹配所述一或多个选定的互动式UI元件而将所述一或多个
选定的互动式UI元件储存在所述RPA物件储存库中。
[0007]在一个实施例中，记录对所述经储存互动式UI元件中的一或多个互动式UI元件执行的动作的一RPA自动化。
[0008]参考以下详细说明及随附附图，本专利技术的上述优点及其他优点对本领域技术人员将显而易见。
附图说明
[0009]图1为根据本专利技术的一实施例的机器人流程自动化(RPA)系统的架构图；
[0010]图2为根据本专利技术的一实施例的经部署RPA系统的实例的架构图；
[0011]图3为根据本专利技术的一实施例的RPA系统的经简化部署实例的架构图；
[0012]图4展示根据本专利技术的一实施例的用于实施机器人流程自动化机器人的云端管理的云端RPA系统的架构图；
[0013]图5展示根据一或多个实施例的用于将互动式UI元件映射至RPA物件储存库的方法；
[0014]图6展示根据一或多个实施例的RPA设计者应用程序的使用者界面；
[0015]图7展示根据一或多个实施例的捕获元件模组的使用者界面；
[0016]图8展示根据一或多个实施例的使用者界面，其用于选择应用程序的视窗，自所述视窗捕获互动式UI元件；
[0017]图9展示根据一或多个实施例的识别互动式UI元件的使用者界面；
[0018]图10展示根据一或多个实施例的用于选择互动式UI元件的使用者界面；
[0019]图11展示根据一或多个实施例的使用者界面，其展示储存在RPA物件储存库中的互动式UI元件；
[0020]图12展示根据一或多个实施例的使用者界面，其展示捕获元件模组；且
[0021]图13为可用于实施本专利技术的实施例的计算系统的方块图。
具体实施方式
[0022]将参考附图描述本文中所描述的实施例，其中相同元件符号表示相同或类似元件。在机器人流程自动化(RPA)中，利用机器人来自动执行工作流程。RPA可由诸如图1至图4中所展示的RPA系统的RPA系统来实施。
[0023]图1为根据一或多个实施例的RPA系统100的架构图。如图1中所展示，RPA系统100包括设计器102以允许开发者设计自动流程。更特定而言，设计器102促进RPA流程及用于执行流程中的活动的机器人的开发及部署。设计器102可提供用于应用程序整合以及自动化第三方应用程序、管理信息技术(Information Technology；IT)任务及用于联络中心操作的业务流程的解决方案。设计器102的实施例的一个商业实例为UiPath Studio
TM
。
[0024]在设计基于规则的流程的自动化时，开发者控制执行次序及在流程中开发的一组定制步骤(在本文中经定义为「活动」)之间的关系。每一活动可包括动作，诸如点击按钮、读取文档、写入至日志面板等。在一些实施例中，流程可为嵌套式或嵌入式。
[0025]一些类型的流程可包括但不限于序列、流程图、有限状态机(Finite State Machine；FSM)及/或全域异常处置器。序列可尤其适于线性流程，使得能够自一个活动流动
至另一活动，而不会使程序混乱。流程图可特别适合于较复杂的业务逻辑，使得能够借由多个分支逻辑运算符以较多样方式整合决策且连接活动。FSM可尤其适于较大工作流程。FSM可在其执行中使用有限数目个状态，所述状态由条件(亦即，转变)或活动触发。全域异常处置器可尤其适于当遇到执行错误时判定工作流程行为且适于除错流程。
[0026]一旦在设计器102中开发了流程，则借由指挥器104编排业务流程的执行，所述指挥器编排一或多个机器人106，其执行在设计器102中开发的流程。指挥器104的实施例的一个商业实例为UiPath Orchestrator
TM
。指挥器104促进RPA环境中的资源的创建、监测及部署的管理。在一个实例中，指挥器104为网络应用程序。指挥器104亦可充当与第三方解决方案及应用程序的整合点。
[0027]指挥器104可借由自集中点连接及执行机器人106而管理一队RP本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种电脑实施方法，其包含：接收选择一应用程序的一视窗的使用者输入，所述应用程序的所述视窗显示在显示装置上；回应于接收选择所述应用程序的所述视窗的所述使用者输入，自动识别所述应用程序的所述视窗中的互动式使用者界面(UI)元件；接收选择所述应用程序的所述视窗中的经识别互动式UI元件中的一或多个互动式UI元件的使用者输入；及将一或多个选定的互动式UI元件储存在机器人流程自动化(RPA)系统的RPA物件储存库中。2.如权利要求1的电脑实施方法，其进一步包含自动选择所述经识别互动式UI元件，且其中接收选择所述应用程序的所述视窗中的所述经识别互动式UI元件中的一或多个互动式UI元件的使用者输入包含：接收取消选择经自动选定的互动式UI元件中的一或多个互动式UI元件的使用者输入。3.如权利要求1的电脑实施方法，其进一步包含：接收编辑经储存互动式UI元件的属性的使用者输入。4.如权利要求1的电脑实施方法，其中将所述一或多个选定的互动式UI元件储存在所述机器人流程自动化(RPA)系统的所述RPA物件储存库中包含：将所述一或多个选定的互动式UI元件与储存在所述RPA物件储存库中的现有互动式UI元件进行比较以判定所述一或多个选定的互动式UI元件是否为复本；及回应于判定所述一或多个选定的互动式UI元件并非复本而储存所述一或多个选定的互动式UI元件。5.如权利要求4的电脑实施方法，其中：将所述一或多个选定的互动式UI元件与储存在所述RPA物件储存库中的现有互动式UI元件进行比较以判定所述一或多个选定的互动式UI元件是否为复本包含：对与所述现有互动式UI元件相关联的描述符进行过滤以产生匹配得分，回应于判定所述匹配得分中无一者为一最大匹配得分，识别具有一最高的N匹配得分的描述符，其中N为任一正整数，及将一统一目标演算法应用于经识别描述符以判定所述经识别描述符是否匹配所述一或多个选定的互动式UI元件，且回应于判定所述一或多个选定的互动式UI元件并非复本而储存所述一或多个选定的互动式UI元件包含：回应于所述统一目标演算法判定所述经识别描述符不匹配所述一或多个选定的互动式UI元件而将所述一或多个选定的互动式UI元件储存在所述RPA物件储存库中。6.如权利要求1的电脑实施方法，其中所述互动式UI元件包含按钮、核取方块或本文栏位中的一或多个。7.如权利要求1的电脑实施方法，其进一步包含：记录对经储存互动式UI元件中的一或多个互动式UI元件执行的动作的一RPA自动化。8.一种设备，其包含：一存储器，其储存电脑程序指令；及
至少一个处理器，其经组态以执行所述电脑程序指令，所述电脑程序指令经组态以使得所述至少一个处理器执行以下操作：接收选择一应用程序的一视窗的使用者输入，所述应用程序的所述视窗显示在显示装置上；回应于接收选择所述应用程序的所述视窗的所述使用者输入，自动识别所述应用程序的所述视窗中的互动式使用者界面(UI)元件；接收选择所述应用程序的所述视窗中的经识别互动式UI元件中的一或多个互动式UI元件的使用者输入；及将一或多个选定的互动式UI元件储存在机器人流程自动化(RPA)系统的RPA物件储存库中。9.如权利要求8的设备，所述操作进一步包含自动选择所述经识别互动式UI元件，且其中接收选择所述应用程序的所述视窗中的所述经识别互动式UI元件中的一或多个互动式UI元件的使用者输入包含：接收取消选择经自动选定的互动式UI元件中的一或多个互动式UI元件的使用者输入。10.如权利要求8的设备，所述操作进一步包含：接收编辑经储存互动式UI元件的属性的使用者输入。11.如权利要求8的设备，其中将所述一或多个选定的互动式UI元件储存在所述机器人流程自动化(RPA)系统的所述RPA物件储存库中包含：将所述一或多个选定的互动式UI元件与储存在所述RPA物件储存库中的现有互动式UI元件进行比较以判定所述一或多个选定的互动式UI元件是否为复本；及回应于判定所述一或...

【专利技术属性】
技术研发人员：博格登，
申请(专利权)人：尤帕斯公司，
类型：发明
国别省市：