本文公开了一种用于生成针对被测应用的测试自动化文件的系统和计算机实现的方法。该计算机实现的方法包括获得与被测应用相关联的图像文件以及标识该图像文件中的一个或多个控件元素。该计算机实现的方法还包括通过记录用户在图像文件的一个或多个控件元素上执行的一个或多个动作，使用计算机视觉组件生成图像文件的测试自动化记录数据。该计算机实现的方法还包括在设计阶段使用测试自动化记录数据来生成测试自动化文件。该计算机实现的方法还包括在开发阶段使用测试自动化文件来测试活动应用。活动应用可以是RPA应用。活动应用可以是RPA应用。活动应用可以是RPA应用。
【技术实现步骤摘要】
【国外来华专利技术】用于被测应用的测试自动化的计算机实现的方法和系统
[0001]相关申请的交叉引用
[0002]本申请是要求于2020年9月25日提交的美国专利申请第17/032,556号的权利和优先权的国际申请。该较早提交的申请的主题通过引用整体并入本文。
[0003]本公开总体上涉及机器人流程自动化(RPA)，并且更具体地涉及使用计算机视觉能力的用户界面的测试自动化。
技术介绍
[0004]一般而言，UI(用户界面)设计建议由UI专家和UX(用户体验)专家提出。而且，传统上，测试自动化只能在软件开发阶段之后完成。测试自动化工程师可能在软件开发团队完成UI的实现之前，必须等待对应用的UI设计执行测试自动化。这是耗时且昂贵的流程。此外，实时调试工作流中的缺陷以避免运行时的缺陷变得更加具有挑战性。
[0005]因此，需要一种允许测试自动化工程师在设计阶段测试应用的缺陷并减少测试自动化工程师在软件开发人员实现用户界面之前的等待时间的工具。
技术实现思路
[0006]本专利技术的某些实施例提供了对现有技术中尚未被当前测试自动化完全标识、理解或解决的问题和需要的解决方案。例如，本专利技术的一些实施例涉及在设计阶段对应用的测试，而不需要在开始测试之前在开发人员端花费大量等待时间。为此，本专利技术的各种实施例涉及由UI/UX专家开发的模拟图像的测试，并使用计算机视觉技术来记录模拟图像上的用户动作，并使用所记录的动作来生成测试自动化以用于测试被测应用。
[0007]在一个实施例中，一种用于生成针对被测应用的测试自动化文件的计算机实现的方法包括获得与被测应用的用户界面设计相关联的图像文件。该方法还包括由处理组件标识与被测应用的用户界面设计相关联的图像文件中的一个或多个控件元素。一个或多个控件元素包括可由用户访问以输入数据的一个或多个字段。该方法还包括使用计算机视觉组件生成测试自动化记录数据。测试自动化记录数据的生成包括记录在所获得的图像文件的一个或多个控件元素上被执行的一个或多个动作。该方法还包括基于测试自动化记录数据针对被测应用生成测试自动化文件。测试自动化文件包括所生成的测试自动化记录数据，而无需提供对被测应用的实际用户界面的访问。
[0008]在另一实施例中，一种非瞬态计算机可读介质存储计算机程序。该计算机程序被配置为使至少一个处理器获得与被测应用的用户接口设计相关联的图像文件，并且标识与被测应用的用户接口设计相关联的图像文件中的一个或多个控件元素。一个或多个控件元素包括由用户可访问以输入数据的一个或多个字段。该计算机程序还被配置为使至少一个处理器使用计算机视觉组件生成测试自动化记录数据。测试自动化记录数据的生成包括记录在所获得的图像文件的一个或多个控件元素上被执行的一个或多个动作。该计算机程序
还被配置为使至少一个处理器基于测试自动化记录数据生成用于被测应用的测试自动化文件。测试自动化文件包括所生成的测试自动化记录数据，而无需提供对被测应用的实际用户界面的访问。
[0009]在又一实施例中，一种计算系统包括存储机器可读计算机程序指令的存储器和被配置为执行计算机程序指令的至少一个处理器。该计算机程序指令被配置为使至少一个处理器获得与被测应用的用户接口设计相关联的图像文件，并且由人工智能处理组件标识与被测应用的用户接口设计相关联的图像文件中的一个或多个控件元素。该计算机程序指令还被配置为通过使用计算机视觉组件记录在图像文件的一个或多个控件元素上执行的一个或多个动作来生成测试自动化记录数据。所生成的测试自动化记录数据包括与在图像文件的一个或多个控件元素上被执行的一个或多个动作中的每一个相关联的一个或多个所记录的动作。该计算机程序指令还被配置为基于测试自动化记录数据来生成用于被测应用的测试自动化文件。测试自动化文件包括所生成的测试自动化记录数据。
附图说明
[0010]为了便于理解本专利技术的某些实施例的优点，将通过参考附图中所示的特定实施例来呈现上面简要描述的本专利技术的更详细的描述。虽然应当理解，这些附图仅描绘了本专利技术的典型实施例，因此不被认为是对其范围的限制，但是将通过使用附图对本专利技术进行额外的具体和详细的描述和解释，其中：
[0011]图1是示出根据本专利技术实施例的机器人流程自动化(RPA)系统的架构图。
[0012]图2是示出根据本专利技术实施例的部署的RPA系统的架构图。
[0013]图3是示出根据本专利技术实施例的设计器、活动和驱动程序之间的关系的架构图。
[0014]图4是示出根据本专利技术实施例的另一RPA系统的架构图。
[0015]图5是示出根据本专利技术实施例的被配置用于为被测应用生成测试自动化文件的计算系统的架构图。
[0016]图6是示出根据本专利技术实施例的用户界面测试模块的架构图。
[0017]图7是示出根据本专利技术实施例的用于被测应用的用户界面的模拟图像的图形用户界面(GUI)。
[0018]图8A和图8B是示出根据本专利技术实施例的用于记录用户在模拟图像的一个或多个控件元素上执行的一个或多个动作以生成测试自动化记录数据的场景的屏幕截图的GUI。
[0019]图9A和图9B是示出根据本专利技术实施例的用于生成被测应用的测试自动化文件的屏幕截图的GUI。
[0020]图10是示出根据本专利技术实施例的活动应用(live application)和模拟图像并排的屏幕截图的GUI。
[0021]图11A至图11D是示出根据本专利技术实施例的在活动应用上运行模拟图像的记录文件的屏幕截图的GUI。
[0022]图12是示出根据本专利技术实施例的用于生成测试自动化文件的计算机实现的方法的流程图。
[0023]图13是示出根据本专利技术实施例的用于测试活动应用的计算机实现的方法的流程图。
[0024]除非另有指示，否则相似的附图标记在附图中始终表示相应的特征。
具体实施方式
[0025]一些实施例涉及被配置为使用计算机视觉技术来生成被测应用的测试自动化文件的系统(以下称为“计算系统”)。当活动应用可用或被开发时，测试自动化文件可用于测试活动应用。在一些实施例中，该计算系统被配置为基于与被测应用相关联的图像文件(例如UI的模拟图像)来生成测试自动化文件。因此，该计算系统使得能够在被测应用被完全开发之前，也就是说，在被测应用开始运作以变为活动应用之前很长时间，就开始被测应用的测试阶段。
[0026]此外，该计算系统可以真正地左移被测应用的测试，从而节省了为应用生成测试用例所花费的成本、时间和精力。使用该计算系统，用户(例如，软件测试工程师)不必等待软件应用的开发，并且只要软件应用的UI/UX图像在软件开发生命周期的设计阶段中可用，便可以开始写入测试用例。
[0027]在一些实施例中，该计算系统能够通过使用计算系统中可用的计算机视觉能力来生成被测应用的测试自动化文件。基于图像文件(例如，在软件开发生命周期的设计阶段期间准备的UI设计的图像模型)来生成测试自动化文件，通过记录在图像文件上执行的用于生成测试自动化本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于生成针对被测应用的测试自动化文件的计算机实现的方法，包括：获得与所述被测应用的用户界面设计相关联的图像文件；由处理组件标识与所述被测应用的所述用户界面设计相关联的所述图像文件中的一个或多个控件元素，其中所述一个或多个控件元素包括由所述用户可访问以输入数据的一个或多个字段；使用计算机视觉组件生成测试自动化记录数据，其中所述测试自动化记录数据的所述生成包括记录在所获得的所述图像文件的所述一个或多个控件元素上被执行的一个或多个动作；以及基于所述测试自动化记录数据针对所述被测应用生成所述测试自动化文件，其中所述测试自动化文件包括所生成的所述测试自动化记录数据，而无需提供对所述被测应用的实际用户界面的访问。2.根据权利要求1所述的计算机实现的方法，还包括：获得所生成的所述测试自动化文件；选择活动应用文件；将所生成的所述测试自动化文件与所选择的所述活动应用文件相关联；以及基于所述关联，在所选择的所述活动应用文件上执行与所生成的所述测试自动化记录数据相关联的所记录的所述一个或多个动作。3.根据权利要求1所述的计算机实现的方法，其中所述一个或多个动作的所述记录以工作流的顺序形式。4.根据权利要求1所述的计算机实现的方法，其中为了记录所述一个或多个动作，所述方法还包括：接收所述用户在工作流中的计算机视觉活动；以及接收由所述用户对所述图像文件上唯一可标识的按钮的选择。5.根据权利要求1所述的计算机实现的方法，其中与所述被测应用的所述用户界面设计相关联的所述图像文件中的一个或多个控件元素的所述标识还包括：在云服务器上上传与所述被测应用的所述用户界面设计相关联的所获得的所述图像文件，其中所述云服务器包括所述处理组件；由与所述云服务器相关联的所述处理组件处理所上传的所述图像文件，其中所上传的所述图像的所述处理包括：通过使用所获得的所述图像文件上的坐标系来标识所述一个或多个控件元素中的每个控件元素的位置；以及基于所述处理来标识所述图像文件中的所述一个或多个控件元素。6.根据权利要求5所述的计算机实现的方法，其中所述一个或多个控件元素的所述标识包括：基于所述图像的一个或多个特征来标识针对所述一个或多个控件元素中的每个控件元素的控件类型。7.根据权利要求1所述的计算机实现的方法，其中在所述图像文件的所述一个或多个控件元素上被执行的所述一个或多个动作与用户在所述图像文件中填充模拟数据相对应。8.根据权利要求1所述的计算机实现的方法，其中所生成的所述测试自动化文件是机器人流程自动化(RPA)工作流文件。9.一种非瞬态计算机可读介质，存储计算机程序，所述计算机程序被配置为使至少一
个处理器：获得与所述被测应用的用户界面设计相关联的图像文件；标识与所述被测应用的所述用户界面设计相关联的所述图像文件中的一个或多个控件元素，其中所述一个或多个控件元素包括由所述用户可访问以输入数据的一个或多个字段；使用计算机视觉组件生成测试自动化记录数据，其中所述测试自动化记录数据的所述生成包括记录在所获得的所述图像文件的所述一个或多个控件元素上被执行的一个或多个动作；以及基于所述测试自动化记录数据针对所述被测应用生成所述测试自动化文件，其中所述测试自动化文件包括所生成的所述测试自动化记录数据，而无需提供对所述被测应用的实际用户界...
【专利技术属性】
技术研发人员：G，
申请(专利权)人：尤帕斯公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。