Methods, systems and devices for process automation of self-learning robots are disclosed, including computer programs coded on computer storage media. In one aspect, the method includes receiving automated scripts that include one or more commands and are configured to interact with graphical elements that appear on the user interface. Method also includes executing commands in one or more commands of an automated script. The method also includes determining that an error occurred during the execution of a command in one or more commands of an automated script. The method also includes applying script repair models to determine modifications to commands. Method also includes executing modified commands. The method also includes determining whether the said error or another error occurs during the execution of the modified command. The method also includes determining whether to update the automation script with modified commands.
【技术实现步骤摘要】
自学习机器人过程自动化
本申请一般涉及机器学习。
技术介绍
在计算机上执行的手动过程可能是重复且耗时的。例如，用户可以发送电子邮件来响应网页表单提交，并且对于每个网页表单提交，可能需要手动地与计算机交互，以点击按钮来打开用于撰写新电子邮件的窗口，点击按钮将来自网页表单提交中的信息复制到窗口中，点击按键为电子邮件正文写入文本，然后点击按钮来发送电子邮件。
技术实现思路
前端脚本通常与系统的用户界面进行交互。例如，前端脚本可以使用计算机视觉技术定位屏幕上的图标。前端脚本可以选择所述图标来初始化相应的应用或打开相应的文档。相反，后端脚本使用特定应用的可执行文件的路径来指示计算系统打开该应用。前端脚本可能更适合，因为它比后端脚本提供更多的灵活性。几乎每个与用户交互的系统都有一个前端。虽然几乎每个系统也都有一个后端，但某些系统可能不允许其他系统与后端交互以启动应用和打开文件。前端脚本可能更容易出错。错误可能是由用户界面的意外变动引起的。在生成脚本期间，系统可以捕获用户点击或触摸用户界面的、用户界面的一部分的屏幕截图。所捕获的部分的尺寸可以是固定的尺寸。在脚本执行期间，系统可以扫...
【技术保护点】
1.一种计算机实现的方法，包括：由计算设备接收包括一个或多个命令的并且被配置为与出现在用户界面上的图形元素交互的自动化脚本；由所述计算设备执行所述自动化脚本的所述一个或多个命令中的命令；由所述计算设备确定在所述自动化脚本的所述一个或多个命令中的所述命令的执行期间发生错误；响应于确定在所述命令的执行期间发生错误，由所述计算设备通过向所述命令应用脚本修复模型来确定针对所述命令的修改，所述脚本修复模型使用一个或多个自动化脚本被训练，所述一个或多个自动化脚本各自包括命令以及对应于每个命令的结果；由所述计算设备执行经修改的所述命令；由所述计算设备确定在经修改的所述命令的执行期间是否发...
【技术特征摘要】
2017.06.23 US 15/632,0991.一种计算机实现的方法，包括：由计算设备接收包括一个或多个命令的并且被配置为与出现在用户界面上的图形元素交互的自动化脚本；由所述计算设备执行所述自动化脚本的所述一个或多个命令中的命令；由所述计算设备确定在所述自动化脚本的所述一个或多个命令中的所述命令的执行期间发生错误；响应于确定在所述命令的执行期间发生错误，由所述计算设备通过向所述命令应用脚本修复模型来确定针对所述命令的修改，所述脚本修复模型使用一个或多个自动化脚本被训练，所述一个或多个自动化脚本各自包括命令以及对应于每个命令的结果；由所述计算设备执行经修改的所述命令；由所述计算设备确定在经修改的所述命令的执行期间是否发生所述错误或另一错误；以及基于确定经修改的所述命令的执行期间是否发生所述错误或所述另一错误，确定是否利用经修改的所述命令更新所述自动化脚本。2.根据权利要求1所述的方法，其中：由所述计算设备确定在经修改的所述命令的执行期间是否发生所述错误或所述另一错误包括：确定在经修改的所述命令的执行期间发生所述错误或所述另一错误，确定是否利用经修改的所述命令更新所述自动化脚本包括：确定不利用经修改的所述命令更新所述自动化脚本，并且所述方法包括：基于所述脚本修复模型向所述命令的应用，由所述计算设备确定针对所述命令的附加修改。3.根据权利要求2所述的方法，包括：基于确定在经修改的所述命令的执行期间发生所述错误或所述另一错误，使用指示在经修改的所述命令的执行期间发生所述错误或所述另一错误的数据来更新所述脚本修复模型。4.根据权利要求1所述的方法，其中：由所述计算设备确定在经修改的所述命令的执行期间是否发生所述错误或所述另一错误包括：确定在经修改的所述命令的执行期间没有发生所述错误或所述另一错误，确定是否利用经修改的所述命令更新所述自动化脚本包括：确定利用经修改的所述命令更新所述自动化脚本。5.根据权利要求4所述的方法，包括：确定在经修改的所述命令的执行期间没有发生所述错误或所述另一错误，使用指示在经修改的所述命令的执行期间没有发生所述错误或所述另一错误的数据来更新所述脚本修复模型。6.根据权利要求4所述的方法，包括：识别包括与所述自动化脚本的所述命令类似的另一命令的另一自动化脚本；以及使用经修改的所述命令来更新所述另一自动化脚本的所述另一命令。7.根据权利要求1所述的方法，其中：执行所述自动化脚本的所述一个或多个命令中的所述命令包括：使用计算机视觉分析所述用户界面的屏幕截图；基于分析所述用户界面的所述屏幕截图，在所述用户界面中识别可能与由所述自动化脚本指定的图形元素相匹配的、所述屏幕的区域；以及由所述计算设备选择与由所述自动化脚本指定的所述图形元素相匹配的、所述屏幕的所述区域，并且确定针对所述命令的所述修改包括：调整可能与由所述自动化脚本指定的所述图形元素相匹配的、所述屏幕的所述区域的尺寸。8.根据权利要求1所述的方法，其中由所述计算设备通过向所述命令应用脚本修复模型来确定针对所述命令的修改包括以下步骤，所述脚本修复模型使用一个或多个自动化脚本被训练，所述一个或多个自动化脚本各自包括命令以及对应于每个命令的结果：通过所述脚本修复模型对在所述自动化脚本的所述一个或多个命令中的所述命令的执行期间发生的错误进行分类；以及基于对所述错误的分类，通过将所述脚本修复模型应用于所述命令来确定针对所述命令的所述修改。9.根据权利要求1所述的方法，其中：由所述计算设备执行经修改的所述命令包括：由所述计算设备模拟经修改的所述命令，并且由所述计算设备确定在经修改的所述命令的执行期间是否发生所述错误或所述另一错误包括：确定在经修改的所述命令的模拟期间是否发生所述错误或所述另一错误。10.根据权利要求1所述的方法，其中由所述计算设备通过向所述命令应用脚本修复模型来确定针对所述命令的修改包括以下步骤，所述脚本修复模型使用一个或多个自动化脚本被训练，所述一个或多个自动化脚本各自包括命令以及对应于每个命令的结果：针对一个或多个候选修改中的每个候选修改，通过向所述命令应用所述脚本修复模型，来确定修复置信度分数，所述修复置信度分数反映向所述命令应用相应的候选修将校正所述错误的可能性；以及基于所述修复置信度分数，从所述一个或多个候选修改中选择针对所述命令的所述修改。11.根据权利要求1所述的方法，其中确定是否利用经修改的所述命令更新所述自动化脚本包括：使用机器学习来确定是否利用经修改的所述命令更新所述自动化脚本。12.一种系统，包括：一个或多个计算机；以及存储指令的一个或多个存储设备，所述指令在由所述一个或多个计算机执行时可操作，以使得所述一个或多个计算机执行操作，所述操作包括：由计...
【专利技术属性】
技术研发人员：S·哈尔，V·希奥普，J·范登赫维尔，A·嘉克奎特，
申请(专利权)人：埃森哲环球解决方案有限公司，
类型：发明
国别省市：爱尔兰,IE
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。