机器人过程自动化制造技术

用于使手动过程自动化的方法、系统以及包括被编码在计算机存储介质上的计算机程序的装置。方法、系统以及装置包括以下动作：标识(i)由与计算机交互的用户手动地执行并且(ii)要被自动化以用于由被配置为与另一计算机交互的机器人执行的过程。附加动作包括：获得当在手动地执行过程中用户与计算机交互时对计算机的显示器取得的一幅或多幅图像；以及应用计算机视觉技术来标识与过程相关联的一个或多个活动。进一步的动作包括：针对所标识的一个或多个活动中的每个活动，生成与活动相关联的活动信息，以及生成过程定义以在使得机器人自动地执行过程中使用。

Robotics process automation

A method, a system for automatization of a manual process, and a device that includes a computer program encoded in a computer storage medium. The method, system and device include the following actions: the identification (I) is executed manually by the users interacting with the computer, and (II) is automatically used to execute the robot which is configured to interact with another computer. Additional actions include obtaining one or more images of a computer's monitor during the process of manual execution, and identifying one or more activities associated with the process by using computer vision technology. Further actions include: for each activity identified in one or more activities, activity information associated with activity is generated, and generation process definition is used to enable robot to execute automatically.

【技术实现步骤摘要】
【国外来华专利技术】机器人过程自动化相关申请的交叉引用本申请要求于2015年7月2日提交的欧洲专利申请号EP15290172的优先权，其所有内容通过引用并入本文。
本公开总体上涉及机器人过程自动化。
技术介绍
在计算机上执行的手动过程可能是重复并且耗费时间的。例如，用户可以响应于网络表格提交而发送电子邮件，并且对于每个网络表格提交而言，可能需要与计算机手动地交互，以点击打开用于撰写新电子邮件的窗口的按钮，点击将信息从网络表格提交拷贝到窗口中的按钮，点击写入针对电子邮件的正文的文本的按键，以及点击发送电子邮件的按钮。
技术实现思路
一般来说，本说明书中所描述的主题的方面可以涉及用于使由人手动地执行的过程自动化的过程。为了使手动过程自动化，在人在执行过程时与计算机手动地交互的同时，系统可以使用计算机视觉技术分析计算机的显示器的图像。根据分析，系统可以确定与过程相关联的活动(例如，键击、鼠标点击或触摸屏触摸)。基于所确定的活动，系统可以然后使得机器人与计算机交互以自动地重复过程。在重复过程时，机器人还可以对计算机的显示器的图像使用计算机视觉技术，以自动地执行与所确定的活动相关联的交互。在一些方面中，本说明书中所描述的主题可以被实现在方法中，方法可以包括以下动作：标识(i)由与计算机交互的用户手动地执行并且(ii)要被自动化以用于由被配置为与计算机或另一计算机物理地交互的机器人执行的过程。附加动作包括：获得当在手动地执行过程中用户与计算机交互时对计算机的显示器取得的一幅或多幅图像；将计算机视觉技术应用到当在手动地执行过程中用户与计算机交互时对计算机的显示器取得的图像，以标识与过程相关联的一个或多个活动。进一步的动作包括：针对所标识的一个或多个动作中的每个动作，生成与活动相关联的活动信息并且生成过程定义以在使得机器人通过与计算机或另一计算机物理地交互自动地执行过程中使用，其中过程定义指示所标识的一个或多个活动，并且针对每个所标识的活动，指示与活动相关联的活动信息。其他版本包括对应的系统、装置和被配置成执行方法的动作的计算机程序，其被编码在计算机存储设备上。这些和其他版本可以各自可选地包括以下特征中的一个或多个。例如，在一些实现中，获得当在手动地执行过程中用户与计算机交互时对计算机的显示器取得的一幅或多幅图像包括：从照相机获得对计算机的显示器取得的一幅或多幅图像。在一些方面中，一幅或多幅图像包括视频。在某些方面中，生成与活动相关联的活动信息包括：生成在活动被执行之前在显示器上示出的屏幕的一部分的快照。在一些实现中，生成与活动相关联的活动信息包括：生成在活动被执行之后在显示器上示出的屏幕的屏幕截图。在一些实现中，活动包括以下各项中的一项或多项：按键按压、鼠标点击、屏幕触摸、前台中的过程变化或场景变化。在一些方面中，动作包括：访问过程定义并且自动地指示机器人基于由过程定义指示的活动和活动信息，来与计算机或另一计算机物理地交互。在某些方面中，自动地指示机器人基于由过程定义指示的活动和活动信息来与计算机或另一计算机交互包括：标识与由针对特定活动的活动信息指示的快照在视觉上匹配的、另一计算机的另一显示器上示出的屏幕的一部分，并且在对应于部分的中心的位置处物理地接触另一显示器。在一些实现中，自动地指示机器人基于由过程定义指示的活动和活动信息来与另一计算机交互包括：确定在另一显示器上示出的屏幕对应于由针对特定活动的活动信息指示的屏幕截图，并且响应于确定在另一显示器上示出的屏幕对应于由针对特定活动的活动信息指示的屏幕截图，指示机器人基于由过程定义指示的后续活动来与另一计算机物理地交互。在一些方面中，自动地指示机器人基于由过程定义指示的活动和活动信息来与计算机或另一计算机交互包括：标识与由针对特定活动的活动信息所指示的快照在视觉上匹配的、另一计算机的另一显示器上的屏幕的一部分，并且指示机器人向另一计算机提供电子信号，以接收对应于与快照在视觉上匹配的屏幕的一部分的中心的坐标上的点击。在某些方面中，动作包括：生成人可以用于修改过程的过程定义的图形版本。一个技术优点可以在于，系统可以实现更准确的自动化。例如，不同的计算机可能具有不同的屏幕分辨率、应用窗口位置、应用窗口大小或当基于针对活动的所存储的坐标简单地交互时可能引起问题的其他差异。使用计算机视觉技术，即使按钮、控制、窗口或其他用户接口元素与当手动过程被执行时不同地出现，系统也可以准确地确定何时并且何处交互应当自动地发生。此外，计算机视觉技术可以使得系统能够基于显示器的图像确定自动化交互是否导致活动的成功完成。其他优点可以包括系统可以实现其中仅所显示的信息容易可用的系统上的自动化。例如，系统可以不与由人使用的计算机电子通信以执行手动过程，并且系统可以仍然能够确定如何自动地执行过程。另一优点可以在于，系统可以使得过程能够在要求物理交互的系统上自动地被执行。例如，计算机可以要求物理输入，并且由系统控制的机器人可以执行物理交互。又一优点可以在于，系统可以是通用的，这是因为机器人能够在不需要专用模块的情况下与各种用户接口进行交互。在附图和以下描述中阐述本说明书中所描述的主题的一个或多个实现的细节。主题的其他潜在特征、方面和优点将从描述、附图和权利要求变得显而易见。应当理解，即使分离地描述示例，其单个特征也可以被组合为附加的示例。附图说明图1是用于使手动过程自动化的示例系统的块图。图2是用于自动地执行过程的示例系统的块图。图3是用于使手动过程自动化的示例过程的流程图。图4图示了示例性通用计算机系统的示意图。各附图中的相同附图标记指代相同的元素。具体实施方式图1是用于使手动过程自动化的示例系统100的块图。简单地并且如下面更详细描述的，系统100可以包括图像采集器110、活动标识器120、活动信息生成器130以及过程定义生成器140。图像采集器110可以当用户在手动地执行过程中与计算机交互时获得计算机的显示器的图像。例如，图像采集器可以获得示出具有“是”和“否”按钮的用户接口的触摸屏的第一图像以及示出具有响应于由用户接触而突出显示“是”按钮的用户接口的触摸屏的第二图像。在一些实现中，图像采集器110可以是照相机(例如，电荷耦合器件(CCD)照相机或互补金属－氧化物－半导体(CMOS)照相机)，其采集在显示器上示出的屏幕的图像。在其他实现中，图像采集器110可以是在计算机上或监视从计算机输出到计算机的显示器的视频的另一计算机上运行的软件过程。一旦系统100标识(i)由与计算机交互的用户手动地执行并且(ii)要被自动化以用于由被配置为与计算机或另一计算机交互的机器人执行的过程，图像采集器110就可以开始获得图像。例如，用户可以打开使手动过程自动化的应用，提供指示用户将想要使用于生成系统状态日志条目的过程自动化的输入，提供指示用户将开始手动过程的输入，以及提供指示用户已完成手动过程的输入。在示例中，图像采集器110可以在用户提供指示用户愿意使手动过程自动化的输入时开始采集图像，并且可以在用户提供指示用户已完成手动过程时停止采集图像。图像采集器110可以在各种时间获得图像。例如，图像采集器110可以以预定间隔(例如，每隔一毫秒、五毫秒、二十五毫秒、一百毫秒或一些其他间隔)获得图像。在另一示例中，图像采集器110可本文档来自技高网...

【技术保护点】
一种计算机实现的方法，包括：标识(i)由与计算机交互的用户手动地执行并且(ii)要被自动化以用于由被配置为与所述计算机或另一计算机交互的机器人执行的过程；获得当在手动地执行所述过程中所述用户与所述计算机交互时对所述计算机的显示器取得的一幅或多幅图像；将计算机视觉技术应用到当在手动地执行所述过程中所述用户与所述计算机交互时对所述计算机的所述显示器取得的所述图像，以标识与所述过程相关联的一个或多个活动；针对所标识的所述一个或多个活动中的每个活动，生成与所述活动相关联的活动信息；以及生成过程定义以在使得所述机器人通过与所述计算机或所述另一计算机交互来自动地执行所述过程中使用，其中所述过程定义指示所标识的所述一个或多个活动，并且针对每个所标识的活动，指示与所述活动相关联的所述活动信息。

【技术特征摘要】
【国外来华专利技术】2015.07.02 EP 15290172.4;2016.04.08 US 15/094,0631.一种计算机实现的方法，包括：标识(i)由与计算机交互的用户手动地执行并且(ii)要被自动化以用于由被配置为与所述计算机或另一计算机交互的机器人执行的过程；获得当在手动地执行所述过程中所述用户与所述计算机交互时对所述计算机的显示器取得的一幅或多幅图像；将计算机视觉技术应用到当在手动地执行所述过程中所述用户与所述计算机交互时对所述计算机的所述显示器取得的所述图像，以标识与所述过程相关联的一个或多个活动；针对所标识的所述一个或多个活动中的每个活动，生成与所述活动相关联的活动信息；以及生成过程定义以在使得所述机器人通过与所述计算机或所述另一计算机交互来自动地执行所述过程中使用，其中所述过程定义指示所标识的所述一个或多个活动，并且针对每个所标识的活动，指示与所述活动相关联的所述活动信息。2.根据权利要求1所述的方法，其中获得当在手动地执行所述过程中所述用户与所述计算机交互时对所述计算机的显示器取得的一幅或多幅图像包括：从照相机获得对所述计算机的所述显示器取得的所述一幅或多幅图像。3.根据前述权利要求中的任一项所述的方法，其中所述一幅或多幅图像包括视频。4.根据前述权利要求中的任一项所述的方法，其中生成与所述活动相关联的活动信息包括：生成在所述活动被执行之前在所述显示器上示出的屏幕的一部分的快照。5.根据前述权利要求中的任一项所述的方法，其中生成与所述活动相关联的活动信息包括：生成在所述活动被执行之后在所述显示器上示出的屏幕的屏幕截图。6.根据前述权利要求中的任一项所述的方法，其中所述活动包括以下各项中的一项或多项：按键按压、鼠标点击、屏幕触摸、前台中的过程变化、或场景变化。7.根据前述权利要求中的任一项所述的方法，包括：访问所述过程定义；以及自动地指示所述机器人基于由所述过程定义指示的所述活动和活动信息来与所述计算机或所述另一计算机物理地交互。8.根据权利要求7所述的方法，其中自动地指示所述机器人基于由所述过程定义指示的所述活动和活动信息来与所述计算机或所述另一计算机交互包括：标识与由针对特定活动的所述活动信息指示的快照在视觉上匹配的、所述另一计算机的另一显示器上示出的屏幕的一部分；以及指示所述机器人在对应于所述一部分的中心的位置处物理地触摸所述另一显示器。9.根据权利要求7或8所述的方法，其中自动地指示所述机器人基于由所述过程定义指示的所述活动和活动信息来与所述另一计算机交互包括：确定在所述另一显示器上示出的屏幕对应于由针对特定活动的所述活动信息指示的屏幕截图；以及响应于确定在所述另一显示器上示出的所述屏幕对应于由针对特定活动的所述活动信息指示的屏幕截图，指示所述机器人基于由所述过程定义指示的后续活动来与所述另一计算机物理地交互。10.根据权利要求7、8或9所述的方法，其中自动地指示所述机器人基于由所述过程定义指示的所述活动和活动信息来与所述计算机或所述另一计算机交互包括：标识与由针对特定活动的所述活动信息指示的快照在视觉上匹配的、所述另一计算机的另一显示器上示出的屏幕的一部分；以及指示所述机器人向所述另一计算机提供电子信号，以接收对应于与所述快照在视觉上匹配的所述屏幕的所述一部分的中心的坐标上的点击。11.根据前述权利要求中的任一项所述的方法，包括：生成人能够用于修改所述过程的...

【专利技术属性】
技术研发人员：C·巴塔尔勒，A·贾奎奥特，S·R·托瑞斯，
申请(专利权)人：埃森哲环球服务有限公司，
类型：发明
国别省市：爱尔兰,IE