基于图像的应用自动化制造技术

在一个实施方式中，基于图像的应用自动化系统检测与图形用户界面相关的输入事件，并将多个图像与该输入事件关联。来自该多个图像的每个图像包括输入事件发生在的该图形用户界面的至少一部分。

【技术实现步骤摘要】
【国外来华专利技术】【专利摘要】在一个实施方式中，基于图像的应用自动化系统检测与图形用户界面相关的输入事件，并将多个图像与该输入事件关联。来自该多个图像的每个图像包括输入事件发生在的该图形用户界面的至少一部分。【专利说明】基于图像的应用自动化
技术介绍
一些基于图像的应用(或软件)自动化系统典型地包括记录阶段和回放阶段。在记录阶段期间，基于图像的应用自动化系统记录将在回放阶段期间被自动化的应用的动作。例如，基于图像的应用自动化系统在图形用户界面检测输入事件并响应于每个输入事件捕获该图形用户界面的图像。通常，基于图像的应用自动化系统之后为每个输入事件定义指定该输入事件的图像的自动化动作，而且在记录阶段期间定义的自动动作存储在脚本文件内。 在回放阶段期间，基于图像的应用自动化系统执行在记录阶段期间记录的动作。例如，基于图像的应用自动化系统能够识别脚本文件中的自动化动作并重放该指定在自动化动作中的输入事件。即，对于每个自动化动作，该基于图像的应用自动化系统识别与那个自动化动作中指定的图像匹配的应用的图形用户界面的一部分，并执行该应用的那一部分处的输入事件。 【专利附图】【附图说明】 图1是根据实施方式关联一组图像和输入事件的方法流程图。 图2A是根据实施方式对具有处于第一状态的图形用户界面元件的一部分图形用户界面的图示。 图2B是根据实施方式对具有处于第二状态的图形用户界面元件的图2A的一部分图形用户界面的图示。 图2C是根据实施方式对具有处于第三状态的图形用户界面元件的图2A和2B的一部分图形用户界面的图示。 图3A是根据实施方式对包括图2A的图形用户界面元件的图像的图示。 图3B是根据实施方式对包括图2B的图形用户界面元件的图像的图示。 图3C是根据实施方式对包括图2C的图形用户界面元件的图像的图示。 图4是根据实施方式的基于图像的应用自动化系统的示意性框图。 图5是根据实施方式的主控基于图像的应用自动化系统的计算设备的示意性框图。 图6是根据实施方式的关联一组图像和输入事件的方法流程图。 图7A和7B是根据实施方式的用以选择图像作为输入事件的目标的图形用户界面的图示。 【具体实施方式】 基于图像的应用(软件)自动化系统在其不能把与输入事件相关的图像和图形用户界面的一部分匹配时会经受失败。例如，输入事件可与具有多个状态(例如，可视化外观)的图形用户界面元件相关(或被在其处执行)。作为特定例子，输入事件可与按钮控件相关，当光标(例如鼠标指针)没有在该按钮控件上停悬时按钮控件具有第一可视外观，而当光标在该按钮控件上停悬时按钮控件具有第二可视外观。相应的，响应于诸如在按钮控件的鼠标按钮按下输入事件的输入事件而被捕捉的该按钮控件的图像将包括处于第二可视外观(或状态)的按钮控件，因为在鼠标按钮按下输入事件在按钮控件执行时，该鼠标指针停悬在该按钮控件上。 然而，在重放阶段期间，当基于图像的应用自动化系统试图重放包括在按钮控件处的鼠标按钮按下输入事件的自动化动作(例如，重放在自动化动作处指定的鼠标按钮按下输入事件)时，鼠标指针可能当时没有停悬在按钮控件之上。结果是，按钮控件处于第一可视外观，但该鼠标按钮按下输入事件的图像包括处于第二可视外观的按钮控件。因此，基于图像的应用自动化系统很可能无法匹配该图像和该按钮控件，并且对于这次自动化动作重放阶段将失败。 一些基于图像的应用自动化系统提供一种允许用户(诸如测试工程师)向基于图像的应用自动化系统提供图像作为由该基于图像的应用自动化系统生成的(或捕获的)图像的替代品的机制。例如，在上述的失败后，用户能手动生成图像，其包括处于第一可视外观的按钮控件，并将该图像提供给基于图像的应用自动化系统作为由该基于图像的应用自动化系统生成的图像的替代。 然而，这样的过程对于用户是耗时的。例如，用户可能被要求操纵该应用来显示该处于第一可视外观的按钮控件，生成该应用的屏幕快照图像，之后编辑(或修裁或重定义尺寸)该屏幕快照图像来产生图像来替换由该基于图像的应用自动化系统生成的图像。 此处讨论的实施方式把多个图像与输入事件关联。例如，包括在基于图像的应用自动化系统的记录阶段期间输入事件被执行于其处的图形用户界面元件的多个图像在不同时间被捕获，并且被该输入事件的自动化动作识别(或参考)。额外的，此处讨论的实施方式允许用户规定多个图像中的哪个应被用于识别该输入事件应被执行于其处的图形用户界面的一部分(例如，该图形用户界面元件)。相应的，例如，用户可从一组由该基于图像的应用自动化系统生成并与输入事件关联的的图像中选择图像，作为该输入事件的目标，而不是提供用户生成的图像。 图1是根据实施方式，将一组图像与输入事件关联的方法流程图。方法100可在记录阶段期间实施在例如，图4或图5图示的基于图像的应用自动化系统处。输入事件在块110检测。输入事件是在例如计算设备的系统处发生的输入。例如，输入事件可例如基于下列项而生成:诸如鼠标指针的输入设备的移动；与触控板、触敏显示器，或接近式敏感设备交互(例如触摸，在其处执行手势，或相对于其运动)；鼠标或键盘按钮动作(例如，按压或释放鼠标按钮)；或其他输入，诸如来自移动灵敏设备(例如，加速器或陀螺仪)或音频输入设备(例如麦克风)的输入。 这样的输入事件通常相对于图形用户界面(⑶I)或图形用户界面的元件(⑶I元件)执行。例如，用户可(例如使用鼠标或触敏设备点击该GUI元件)与GUI元件交互来生成相对于该⑶I元件的输入事件。作为另一个例子，⑶I元件可具有或是该⑶I的输入焦点(例如，响应于之前用户对该GUI元件的选择)，并且在该GUI具有输入焦点时检测到或出现的输入事件与该GUI元件相关。相应的，输入事件可称为与该GUI的部分或Gn元件相关、发生在或执行在该GUI的部分或GUI元件。 GUI是允许用户与系统(例如计算设备)使用对象的图形表示而非文本命令交互的用户界面。例如，用户可将光标移动到按钮的图形表示，使用鼠标或触敏设备按下并释放该按钮的图形表示。 这样的图形表示此处称为图形用户界面元件(或GUI元件)。GUI元件是GUI的一部分，用户可在其处向GUI提供输入。例如，GUI元件可以是一种控件，诸如，按钮开关或按钮，单选按钮，复选框，文本区域或框，下拉列表，微调控件项(或旋转控件)，滑动块，图标，树控件，滚动条，超链接或一些其他控件。作为另一个例子，GUI元件可以是GUI容器，其可包括其他GUI元件，诸如窗体，视图，对话框，帧，标签，菜单，或某种其它容器。 通常，诸如笛卡尔坐标系的坐标系与⑶I关联。例如，⑶I的左上角可被设计为原点并使用元组(0，0)描述。GUI的每个点(通常对应于⑶I在其输出的显示器(诸如计算机监控器)的每个像素)然后能使用相对于原点的坐标描述。例如，对于显示在具有1920*1080像素分辨率的计算机监控器的⑶I，该⑶I的左上角的点被描述为(0，O)，该⑶I左下角的点描述为(0，1080)，GUI右上角的点描述为(1920，0)，该GUI右下角的点描述为(1920,1080)。相应的，输入事件可包括对输入事件在其发生的⑶I的位置(或多个位置)的描述。例如，光标的移动的输入事件可指定表明该移动开始的位置的一组坐本文档来自技高网...

【技术保护点】
一种存储代码描述指令的处理器可读介质，所述指令当在处理器执行时使得该处理器：检测与图形用户界面相关的输入事件；以及将该输入事件与多个图像关联，来自多个图像的每个图像包括该输入事件发生在的图形用户界面的至少一部分。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：D·萨罗尼，M·贾默，Y·利夫尼，M·兰斯克伦，
申请(专利权)人：惠普发展公司，有限责任合伙企业，
类型：发明
国别省市：美国;US