公开了经由人工智能(AI)/机器学习(ML)的针对机器人过程自动化(RPA)的异常检测和自我修复。利用AI/ML模型和计算机视觉(CV)的RPA机器人可以经由正常学习的交互来解释大多数遇到的图形元素和/或与大多数遇到的图形元素交互。然而，这样的RPA机器人可能偶尔遇到新的、未处理过的异常，其中图形元素不能被标识和/或正常的交互将不工作。这样的异常可以由异常处理器处理。该RPA机器人可以具有试图自动地找到解决异常的信息的自我修复功能性。找到解决异常的信息的自我修复功能性。找到解决异常的信息的自我修复功能性。
【技术实现步骤摘要】
【国外来华专利技术】经由人工智能/机器学习的机器人过程自动化异常检测和自我修复
[0001]相关申请的交叉引用
[0002]本国际申请主张2020年10月14日提交的第17/070,250号美国专利申请的利益和优先权。该先前提交的申请的主题在此全文引入作为参考。
[0003]本专利技术总体上涉及用户界面(UI)自动化，并且更具体地，涉及经由人工智能(AI)/机器学习(ML)的针对机器人过程自动化(RPA)的异常检测和自我修复。
技术介绍
[0004]目前，当异常在运行时的RPA中发生时(例如，在生产环境中)，问题的来源被分析，并且RPA开发者基于该分析来提供编程方式的解决方案。然而，该过程趋向于是耗时的并且是昂贵的。因此，改进的方法可以是有利的。
技术实现思路
[0005]本专利技术的某些实施例可以为现有技术中尚未被当前UI自动化技术完全标识、理解或解决的问题和需求提供解决方案。例如，本专利技术的一些实施例涉及经由AI/ML的针对RPA的异常检测和自我修复。
[0006]在实施例中，计算机实现的方法包括由RPA机器人执行使用AI/ML模型执行UI自动化的RPA工作流。计算机实现的方法还包括由RPA机器人使用AI/ML模型在UI中搜索要通过RPA工作流的活动与其交互的目标图形元素。在目标图形元素不是由AI/ML模型唯一地找到或不能与目标图形元素交互时，由RPA机器人或AI/ML模型自动地尝试校正该异常。
[0007]在另一实施例中，非暂态计算机可读介质存储计算机程序。该计算机程序被配置为使至少一个处理器执行使用AI/ML模型执行UI自动化的RPA工作流。使用AI/ML模型，计算机程序还被配置为使至少一个处理器在UI中搜索要通过RPA工作流的活动与其交互的目标图形元素。在目标图形元素不是由AI/ML模型唯一地找到或不能与目标图形元素交互时，计算机程序还被配置为自动地尝试校正该异常。
[0008]在又一实施例中，一种计算系统包括存储计算机程序指令的存储器以及被配置为执行计算机程序指令的至少一个处理器。计算机程序指令被配置为使至少一个处理器由RPA机器人执行使用AI/ML模型执行UI自动化的RPA工作流。使用AI/ML模型，计算机程序指令还被配置为使至少一个处理器由RPA机器人在UI中搜索要通过RPA工作流的活动与其交互的目标图形元素。在目标图形元素不是由AI/ML模型唯一地找到或不能与目标图形元素交互时，计算机程序指令还被配置为使至少一个处理器自动地尝试校正该异常。校正该异常的自动尝试包括确定一个或多个特征是否将目标图形元素与其他相似图形元素区分开、在没有用户输入的情况下尝试自我修复过程以使缺失的数据完整、或两者。
附图说明
[0009]为了容易理解本专利技术的某些实施例的优点，通过参考附图中示出的具体实施例为参考对上文简要描述的本专利技术进行更具体的描述。尽管应当理解，这些附图仅描述了本专利技术的典型实施例，因此不应被认为是对本专利技术范围的限制，通过使用附图对本专利技术进行附加的具体内容和细节的描述和解释，其中:
[0010]图1是图示了根据本专利技术实施例的机器人过程自动化(RPA)系统的架构图。
[0011]图2是图示了根据本专利技术实施例的经过部署的RPA系统的架构图。
[0012]图3是图示了根据本专利技术实施例的设计器、活动和驱动程序之间的关系的架构图。
[0013]图4是图示了根据本专利技术实施例的RPA系统的架构图。
[0014]图5是图示了根据本专利技术实施例的计算系统的架构图，该计算系统被配置为经由AI/ML来执行用于RPA的异常检测和自我修复。
[0015]图6是图示了根据本专利技术实施例的系统的架构图，该系统被配置为经由AI/ML来执行用于RPA的异常检测和自我修复。
[0016]图7是图示了根据本专利技术实施例的经由AI/ML来执行用于RPA的异常检测和自我修复的过程的流程图。
[0017]除非另有说明，在所有附图中，类似的附图标记始终表示相应的特征。
具体实施方式
[0018]一些实施例涉及经由AI/ML的针对RPA的异常检测和自我修复。利用AI/ML模型和计算机视觉(CV)的RPA机器人可以经由正常学习的交互来解释大多数在UI中遇到的图形元素和/或与大多数在UI中遇到的图形元素交互。然而，这样的RPA机器人可能偶尔遇到新的、未处理过的异常，其中图形元素不能被标识和/或正常的交互将不工作。在一些实施例中，这样的异常可以由RPA机器人的异常处理器或AI/ML模型来处理。
[0019]在异常发生时，例如其中在屏幕上出现多个提交按钮并且AI/ML模型不能靠自己确定点击哪个按钮，异常处理器可以尝试确定是否有一些东西将这些图形元素与彼此区分开。这可以包括但不限于，查看在半径内围绕(多个)目标图形元素的图形元素、查看图形元素在屏幕上的顺序、尝试确定是否有一些东西将目标图形元素视觉地与其他相似图形元素区分开等。在一些实施例中，可以采取默认动作，例如自动地选择最靠近屏幕的顶部或底部出现的图形元素。
[0020]在一些实施例中，默认动作可以是在UI对象库中搜索UI描述符，该UI对象库包括UI对象的UI对象库或UI对象库的UI对象储存库，该UI描述符允许RPA机器人或AI/ML模型与目标图形元素交互。屏幕上的UI元素(例如，文本字段、按钮、标签、菜单、复选框，等)可以按照应用、应用版本、应用屏幕，以及UI元素的集合被分组，并且每个屏幕具有多个UI元素。如在本文中使用的，“屏幕”是在某个时间点应用UI的图像或应用UI的一部分的图像(例如，截屏)。针对运行的UI自动化，屏幕可以是计算系统的当前UI。“应用”或给定应用的版本可以是在该上下文中屏幕的联合或者是以运行时运行的应用。在一些实施例中，每个UI元素可以由一个或多个UI描述符描述。UI元素、UI描述符、应用、和应用屏幕是UI对象。在一些实施例中，UI元素和屏幕可以被进一步区分为UI元素的特定类型(例如，按钮、复选框、文本字段等)和屏幕的特定类型(例如，顶部窗口、模式窗口、弹出式窗口等)。
[0021]在一些实施例中，UI对象库可以被存储在UI对象储存库中。如在本文中使用的一样，UI对象储存库是UI对象库的集合。在一些实施例中，UI对象储存库可以是NuGet
TM
软件包源(feed)、web服务等。在一些实施例中，UI对象库的UI对象储存库可以促进在项目中UI描述符的管理、复用、和可靠性的提高。在一些实施例中，UI描述符可以被添加到UI库中并且被发布或重新发布以用于在UI对象储存库中的全局复用。
[0022]为了使UI对象可复用，UI对象可以被提取到可以由RPA过程参考的UI对象库中。例如，在选择器或其他UI描述符因为应用的新版本而被修改时，UI对象库可以被创新创建(或重新发布)以包括经修改的UI描述符。然后，使用UI对象库的RPA过程可以调用经修改的UI描述符版本。在一些实施例中，对与新的库相关联的新的应用编程接口(API)的参考可以由开发者针对RPA过程手动修改、经由软件工本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括:由机器人过程自动化(RPA)机器人执行RPA工作流，所述RPA工作流使用人工智能(AI)/机器学习(ML)模型来执行用户界面(UI)自动化；由所述RPA机器人使用所述AI/ML模型，在所述UI中搜索要通过所述RPA工作流的活动与其交互的目标图形元素；以及在所述目标图形元素不是由所述AI/ML模型唯一地找到或不能与所述目标图形元素交互时，由所述RPA机器人或所述AI/ML模型自动尝试校正所述异常。2.根据权利要求1所述的计算机实现的方法，其中校正所述异常的所述自动尝试包括确定一个或多个特征是否将所述目标图形元素与其他相似图形元素区分开。3.根据权利要求2所述的计算机实现的方法，其中所述一个或多个特征是否将所述目标图形元素与所述其他相似图形元素区分开的所述确定包括：分析在半径内围绕所述目标图形元素的图形元素，利用在所述UI中所述图形元素的顺序，确定所述目标图形元素是否具有一个或多个不同的视觉特性，或其组合。4.根据权利要求1所述的计算机实现的方法，其中校正所述异常的所述自动尝试包括：改变所述UI的视觉特性，并且使用经改变的所述视觉特性在所述UI中搜索所述目标图形元素。5.根据权利要求1所述的计算机实现的方法，校正所述异常的所述自动尝试包括采取默认动作。6.根据权利要求5所述的计算机实现的方法，其中所述默认动作包括针对一个或多个UI描述符搜索UI对象库或UI对象储存库，所述一个或多个UI描述符实现与所述目标图形元素的交互。7.根据权利要求1所述的计算机实现的方法，其中在校正所述异常的所述自动尝试成功时，所述方法还包括：由所述RPA机器人提供与所述自动校正相关的数据，以用于所述AI/ML模型的后续重新训练。8.根据权利要求1所述的计算机实现的方法，其中在校正所述异常的所述自动尝试不成功时，所述方法还包括：由所述RPA机器人提示用户标识所述目标图形元素、如何与所述目标图形元素交互、或两者的解决方案。9.根据权利要求8所述的计算机实现的方法，其中在由所述用户提供的所述指导成功使得所述RPA机器人能够与所述目标图形元素交互时，所述方法还包括：由所述RPA机器人提供与所述用户解决方案相关的数据，以用于所述AI/ML模型的后续重新训练。10.根据权利要求8所述的计算机实现的方法，其中在由所述用户提供的所述指导未成功使得所述RPA机器人能够与所述目标图形元素交互，并且所述目标图形元素不必要完成所述RPA工作流的总体任务时，所述方法还包括：由所述RPA机器人尝试所述RPA工作流的继续执行。11.根据权利要求1所述的计算机实现的方法，其中校正所述异常的所述自动尝试包括：
由所述RPA机器人或所述AI/ML模型在没有用户输入的情况下尝试自我修复过程以使缺失的数据完整。12.根据权利要求11所述的计算机实现的方法，其中所述RPA机器人或所述AI/ML模型被配置为通过监测一个或多个性能度量是否响应于所述自我修复过程改进来确定所述自我修复过程是否成功。13.根据权利要求11所述的计算机实现的方法，其中在所述自我修复过程不成功时，所述方法还包括：尝试一种或多种不同的技术，并且监测所述一种或多种不同的技术是否改进所述一个或多个性能度量。14.根据权利要求11所述的计算机实现的方法，其中所述自我修复过程包括：轮询多个用户以提供对所述异常的建议解决方案；以及基于一个或多个性能度量来选择所述建议解决方案中的最优解决方案。15.根据权...
【专利技术属性】
技术研发人员：P，
申请(专利权)人：尤帕斯公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。