机器人流程自动化的用户界面(UI)描述符、UI对象库、UI对象储存库和UI对象浏览器制造技术

公开了用于机器人流程自动化(RPA)的用户界面(UI)对象描述符、UI对象库、UI对象储存库和UI对象浏览器。UI对象浏览器可用于管理、重用和增加项目中UI描述符的可靠性。UI描述符可被添加到UI对象库中，并且作为UI对象库被发布或重新发布，以用于UI对象储存库中的全局重用。UI对象浏览器、UI对象库和UI对象储存库可促进UI元素标识框架及其衍生物的可重用性。促进UI元素标识框架及其衍生物的可重用性。促进UI元素标识框架及其衍生物的可重用性。

【技术实现步骤摘要】
【国外来华专利技术】机器人流程自动化的用户界面(UI)描述符、UI对象库、UI对象储存库和UI对象浏览器
[0001]相关申请的交叉引用
[0002]本申请要求于2020年7月7日提交的美国非临时专利申请第16/922,289号的权益。该先前提交的申请的主题在此通过引用整体并入本文。


[0003]本专利技术总体上涉及机器人流程自动化(RPA)，并且更具体地，涉及用于RPA的用户界面(UI)对象描述符、UI对象库、UI 对象储存库和/或UI对象浏览器。

技术介绍

[0004]对于用户界面(UI)中的RPA自动化，开发者传统传统地为每个UI动作构建描述符(例如，选择符)。传统地会生成默认描述符。然而，构建可靠的描述符可能会消耗开发者用于故障排除和试错开发的时间，这可能效率不高。当需要相同的描述符时，也缺乏描述符的可重用性。此外，当系统和应用改变或升级时，流程升级路径可能并不简单。因此，改进的方法可能是有益的。

技术实现思路

[0005]本专利技术的某些实施例可以是当前RPA技术尚未完全标识、理解或解决的现有技术中的问题和需求提供解决方案本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于创建针对机器人流程自动化(RPA)的用户界面(UI)对象库的计算机程序，所述计算机程序被体现在非暂态计算机可读介质上，所述程序被配置为使至少一个处理器：检测与UI的屏幕相关联的应用；检测所述屏幕上的UI元素；接收对目标UI元素的选择；生成针对所选择的所述UI元素的UI描述符；将针对所选择的所述UI元素的所生成的所述UI描述符添加到相应的RPA工作流活动；以及在UI对象储存库中创建和发布包括所述UI描述符的UI对象库。2.根据权利要求1所述的计算机程序，其中所述UI描述符是或者包括使用驱动程序基于最佳匹配生成的选择符。3.根据权利要求1所述的计算机程序，其中所述RPA工作流活动是或者包括基于选择符的标识活动、基于计算机视觉(CV)的标识活动、统一目标标识活动、图像匹配标识活动或者基于选择符和光学字符识别(OCR)的标识活动。4.根据权利要求1所述的计算机程序，其中与所述UI的所述屏幕相关联的所述应用的所述检测包括自动检测所述应用和所述应用的版本，并且针对所述RPA工作流活动，检测到的所述应用和所述应用的所述版本被添加。5.根据权利要求1所述的计算机程序，其中所述程序还被配置为使所述至少一个处理器：从包括所述RPA工作流活动的RPA工作流中的活动提取UI描述符；以及将所提取的所述UI描述符添加到按UI应用、版本、屏幕和UI元素对所述UI描述符进行分组的结构化模式。6.根据权利要求5所述的计算机程序，其中所述结构化模式被布置在本体中，所述本体包括不同屏幕中的UI元素之间的关系。7.根据权利要求1所述的计算机程序，其中检测到的所述应用是web应用，并且所述UI描述符包括到针对对应选择符的相应UI元素的超文本标记语言(HTML)路径。8.根据权利要求1所述的计算机程序，其中所述程序是或者包括RPA开发者应用。9.根据权利要求1所述的计算机程序，其中所述程序还被配置为使所述至少一个处理器：从UI对象储存库检索一个或多个其他对象库；以及显示所创建的所述UI对象库和所述一个或多个其他对象库。10.根据权利要求1所述的计算机程序，其中所述程序是或者包括UI对象浏览器，所述UI对象浏览器显示UI对象储存库的一个或多个UI对象库中的UI描述符，所述一个或多个UI对象库按应用和版本被组织。11.根据权利要求1所述的计算机程序，其中所述RPA工作流活动是或者包括基于计算机视觉(CV)的活动，并且所述程序还被配置为使所述至少一个处理器：在所述UI的所述屏幕上执行CV以标识所述屏幕上的UI元素；
显示具有由所述CV标识的可选择组件的所述UI的所述屏幕；接收对一个或多个锚点UI元素的选择，以帮助唯一地标识所述目标UI元素；以及将所述一个或多个锚点添加到所述RPA工作流活动，以辅助标识所述目标UI元素。12.根据权利要求1所述的计算机程序，其中所述RPA工作流活动是或者包括基于统一目标的活动，并且在所述目标UI元素不能被唯一地标识时，所述程序还被配置为使所述至少一个处理器：接收对一个或多个锚点UI元素的选择，以帮助唯一地标识所述目标UI元素；验证所选择的所述一个或多个锚点UI元素唯一地标识至少具有最小验证得分的所述目标UI元素；以及在所选择的所述一个或多个锚点UI元素唯一地标识至少具有所述最小验证得分的所述目标UI元素时，将所述一个或多个锚点添加到所述RPA工作流活动，以辅助标识所述目标UI元素。13.根据权利要求1所述的计算机程序，其中所述RPA工作流活动是或者包括基于图像匹配的活动，所述基于图像匹配的活动使用图像匹配技术搜索由用户指定的在所述屏幕上的图像。14.根据权利要求1所述的计算机程序，其中所述RPA工作流活动是或者包括基于选择符和光学字符识别(OCR)的活动，所述基于选择符和OCR的活动使用选择符和与所述目标UI元素相关联的文本的OCR的组合来标识所述目标UI元素，所述选择符是使用驱动程序基于最佳匹配而被生成的。15.根据权利要求1所述的计算机程序，其中所述程序还被配置为使所述至少一个处理器：将包括所述RPA工作流活动的多个RPA工作流活动配置成逻辑关系。16.根据权利要求1所述的计算机程序，其中所述程序还被配置为使所述...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：尤帕斯公司，
类型：发明
国别省市：