一种用户界面信息处理方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种用户界面信息处理方法、装置、电子设备及存储介质，该方法包括：启动对目标终端的显示界面的录屏操作；生成与所述目标应用程序对应的自动操作指令；将所述自动操作指令发送给所述目标终端，以使得所述目标终端：基于所述自动操作指令分别对所述对照版本的用户界面以及所述测试版本的用户界面进行自动触发操作；分别确定包含对对照版本、测试版本的用户界面进行触发操作以及基于相应触发操作进行业务数据展示的录屏信息为第一录屏信息以及第二录屏信息；基于所述第一录屏信息和所述第二录屏信息，生成所述对照版本和所述测试版本的用户界面差异信息。本公开能够提高用户界面测试的覆盖率、效率以及便利性。

【技术实现步骤摘要】
一种用户界面信息处理方法、装置、电子设备及存储介质
本公开涉及软件测试
，尤其涉及一种用户界面信息处理方法、装置、电子设备及存储介质。
技术介绍
随着移动互联网的发展，APP(Application，应用程序)可实现的功能越来越复杂，从而APP的用户界面展现以及交互方式越来越多样，这给测试人员在发版前对APP进行测试回归带来了极大的挑战，为了覆盖到APP不同功能下的样式展现及交互方式，一般通过自动化的方式进行UI测试(UserInterfaceTesting，用户界面测试)。相关技术中，一种常用的自动化UI测试方法是通过判断APP界面中是否存在预期的元素，对于不同可见视图中的元素判断通过模拟人为的操作使元素展现出来，如点击跳转元素、页面上下滑动、左右侧滑、轮播图波动等，该方法一般需要通过复杂的代码实现，APP界面中偏僻的、尺寸较小的元素容易被忽略，并且对于有些元素的测试无法通过代码实现；另一种常用的自动化UI测试方法对线上包和测试包的同一个界面进行截图，将两个截图进行比对，通过判断两张图片是否存在不同点以实现对用户界面的测试，该方法需要等到页面加载完成之后才进行截图，并没有覆盖到加载过程中的用户界面信息，从而不能完全覆盖APP运行的流程。因此需要提出一种高效的、覆盖率高的用户界面信息处理方法。
技术实现思路
本公开提供一种用户界面信息处理方法、装置、电子设备及存储介质，以至少解决相关技术中对用户界面进行测试时需要通过复杂的代码进行实现、测试流程覆盖不全面的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种用户界面信息处理方法，包括：启动对目标终端的显示界面的录屏操作；所述目标终端中安装有目标应用程序的对照版本和测试版本；生成与所述目标应用程序对应的自动操作指令，所述自动操作指令用于对所述目标应用程序的用户界面进行自动触发操作；将所述自动操作指令发送给所述目标终端，以使得所述目标终端：基于所述自动操作指令分别对所述对照版本的用户界面以及所述测试版本的用户界面进行自动触发操作，生成业务数据请求；接收基于所述业务数据请求返回的业务数据，对所述业务数据进行展示；确定包含对所述对照版本的用户界面进行触发操作以及基于相应触发操作进行业务数据展示的录屏信息为第一录屏信息，确定包含对所述测试版本的用户界面进行触发操作以及基于相应触发操作进行业务数据展示的录屏信息为第二录屏信息；基于所述第一录屏信息和所述第二录屏信息，生成所述对照版本和所述测试版本的用户界面差异信息。在一示例性实施例中，所述生成与所述目标应用程序对应的自动操作指令包括：对所述目标应用程序涉及的用户界面进行分析，确定所述用户界面中包含的多项操作项，以及每项操作项对应的操作类型；基于每项操作项以及每项操作项对应的操作类型，生成与每项操作项对应的操作指令；按照预设执行顺序对各项操作项对应的操作指令进行排序，生成与所述目标应用程序对应的自动操作指令。在一示例性实施例中，所述将所述自动操作指令发送给所述目标终端，以使得所述目标终端：接收基于所述业务数据请求返回的业务数据，对所述业务数据进行展示包括：将所述自动操作指令发送给所述目标终端，以使得所述目标终端：将所述业务数据请求发送给代理服务器，所述业务数据请求中包括业务请求数据标识，以使得所述代理服务器：判断所述业务请求数据标识是否存在于预设白名单中；当所述业务请求数据标识存在于所述预设白名单且数据库中存在与所述业务请求数据标识对应的业务数据时，将所述业务数据发送给所述目标终端；当所述业务请求数据标识存在于所述预设白名单且所述数据库中不存在与所述业务请求数据标识对应的业务数据时，从所述目标应用程序对应的后台业务服务器获取与所述业务请求数据标识对应的后台数据，对所述后台数据进行固化处理，将固化处理后的后台数据存储到所述数据库中，并将所述固化处理后的后台数据作为所述业务数据发送给所述目标终端；对所述业务数据进行展示；其中，当对所述对照版本的用户界面和所述测试版本的用户界面中相同的操作项分别进行操作时，生成相同的业务数据请求。在一示例性实施例中，所述基于所述第一录屏信息和所述第二录屏信息，生成所述对照版本和所述测试版本的用户界面差异信息包括：对所述第一录屏信息以及所述第二录屏信息分别进行拆帧处理，生成第一帧序列和第二帧序列；当所述第一帧序列中存在由至少两张相邻且相同的帧图片组成的重复帧图片组时，保留所述重复帧图片组中的一张帧图片，得到预处理之后的第一帧序列；当所述第二帧序列中存在由至少两张相邻且相同的帧图片组成的重复帧图片组时，保留所述重复帧图片组中的一张帧图片，得到预处理之后的第二帧序列；基于所述预处理之后的第一帧序列以及所述预处理之后的第二帧序列，生成所述对照版本和所述测试版本的用户界面差异信息。在一示例性实施例中，所述方法还包括：预先确定所述目标应用程序中与各标签分别对应的页面，分别提取出各页面的标记信息，确定各页面的标记信息的属性信息；基于各页面的标记信息以及各页面的标记信息的属性信息，生成页面标记信息集合；所述基于所述预处理之后的第一帧序列以及所述预处理之后的第二帧序列，生成所述对照版本和所述测试版本的用户界面差异信息包括：计算所述预处理之后的第一帧序列中相邻帧图片的图片相似度，基于所述图片相似度将预处理之后的第一帧序列划分为至少一个周期的帧图片；将每个周期内的帧图片与所述页面标记信息集合中各页面的标记信息以及各页面的标记信息的属性信息进行匹配，确定每个周期内的帧图片所属的第一目标页面，以及所述第一目标页面的标记信息；计算所述预处理之后的第二帧序列中相邻帧图片的图片相似度，基于所述图片相似度将预处理之后的第二帧序列划分为至少一个周期的帧图片；将每个周期内的帧图片与所述页面标记信息集合中各页面的标记信息以及各页面的标记信息的属性信息进行匹配，确定每个周期内的帧图片所属的第二目标页面，以及所述第二目标页面的标记信息；将包含有相同标记信息的所述第一目标页面与所述第二目标页面的帧图片进行比对，得到所述对照版本和所述测试版本的用户界面差异信息。在一示例性实施例中，所述标记信息的属性信息为与预设终端的分辨率对应的标记信息的属性信息；所述将每个周期内的帧图片与所述页面标记信息集合中各页面的标记信息以及各页面的标记信息的属性信息进行匹配，确定每个周期内的帧图片所属的第二目标页面，以及所述第二目标页面的标记信息包括：获取所述目标终端的分辨率；当所述目标终端的分辨率与所述预设终端的分辨率不同时，将与所述预设终端的分辨率对应的标记信息的属性信息转换为与所述目标终端的分辨率对应的标记信息的属性信息；基于所述页面标记信息集合中各页面的标记信息，以及相应的与所述目标终端的分辨率对应的标记信息的属性信息，确定每个周期内的帧图片所属的第二目标页面，以及所述第二目标页面的标记信息。在一示例性实本文档来自技高网...

【技术保护点】
1.一种用户界面信息处理方法，其特征在于，所述方法包括：/n启动对目标终端的显示界面的录屏操作；所述目标终端中安装有目标应用程序的对照版本和测试版本；/n生成与所述目标应用程序对应的自动操作指令，所述自动操作指令用于对所述目标应用程序的用户界面进行自动触发操作；/n将所述自动操作指令发送给所述目标终端，以使得所述目标终端：基于所述自动操作指令分别对所述对照版本的用户界面以及所述测试版本的用户界面进行自动触发操作，生成业务数据请求；接收基于所述业务数据请求返回的业务数据，对所述业务数据进行展示；/n确定包含对所述对照版本的用户界面进行触发操作以及基于相应触发操作进行业务数据展示的录屏信息为第一录屏信息，确定包含对所述测试版本的用户界面进行触发操作以及基于相应触发操作进行业务数据展示的录屏信息为第二录屏信息；/n基于所述第一录屏信息和所述第二录屏信息，生成所述对照版本和所述测试版本的用户界面差异信息。/n

【技术特征摘要】
1.一种用户界面信息处理方法，其特征在于，所述方法包括：
启动对目标终端的显示界面的录屏操作；所述目标终端中安装有目标应用程序的对照版本和测试版本；
生成与所述目标应用程序对应的自动操作指令，所述自动操作指令用于对所述目标应用程序的用户界面进行自动触发操作；
将所述自动操作指令发送给所述目标终端，以使得所述目标终端：基于所述自动操作指令分别对所述对照版本的用户界面以及所述测试版本的用户界面进行自动触发操作，生成业务数据请求；接收基于所述业务数据请求返回的业务数据，对所述业务数据进行展示；
确定包含对所述对照版本的用户界面进行触发操作以及基于相应触发操作进行业务数据展示的录屏信息为第一录屏信息，确定包含对所述测试版本的用户界面进行触发操作以及基于相应触发操作进行业务数据展示的录屏信息为第二录屏信息；
基于所述第一录屏信息和所述第二录屏信息，生成所述对照版本和所述测试版本的用户界面差异信息。


2.根据权利要求1所述的用户界面信息处理方法，其特征在于，所述生成与所述目标应用程序对应的自动操作指令包括：
对所述目标应用程序涉及的用户界面进行分析，确定所述用户界面中包含的多项操作项，以及每项操作项对应的操作类型；
基于每项操作项以及每项操作项对应的操作类型，生成与每项操作项对应的操作指令；
按照预设执行顺序对各项操作项对应的操作指令进行排序，生成与所述目标应用程序对应的自动操作指令。


3.根据权利要求2所述的用户界面信息处理方法，其特征在于，所述将所述自动操作指令发送给所述目标终端，以使得所述目标终端：接收基于所述业务数据请求返回的业务数据，对所述业务数据进行展示包括：
将所述自动操作指令发送给所述目标终端，以使得所述目标终端：
将所述业务数据请求发送给代理服务器，所述业务数据请求中包括业务请求数据标识，以使得所述代理服务器：判断所述业务请求数据标识是否存在于预设白名单中；当所述业务请求数据标识存在于所述预设白名单且数据库中存在与所述业务请求数据标识对应的业务数据时，将所述业务数据发送给所述目标终端；当所述业务请求数据标识存在于所述预设白名单且所述数据库中不存在与所述业务请求数据标识对应的业务数据时，从所述目标应用程序对应的后台业务服务器获取与所述业务请求数据标识对应的后台数据，对所述后台数据进行固化处理，将固化处理后的后台数据存储到所述数据库中，并将所述固化处理后的后台数据作为所述业务数据发送给所述目标终端；
对所述业务数据进行展示；
其中，当对所述对照版本的用户界面和所述测试版本的用户界面中相同的操作项分别进行操作时，生成相同的业务数据请求。


4.根据权利要求1所述的用户界面信息处理方法，其特征在于，所述基于所述第一录屏信息和所述第二录屏信息，生成所述对照版本和所述测试版本的用户界面差异信息包括：
对所述第一录屏信息以及所述第二录屏信息分别进行拆帧处理，生成第一帧序列和第二帧序列；
当所述第一帧序列中存在由至少两张相邻且相同的帧图片组成的重复帧图片组时，保留所述重复帧图片组中的一张帧图片，得到预处理之后的第一帧序列；当所述第二帧序列中存在由至少两张相邻且相同的帧图片组成的重复帧图片组时，保留所述重复帧图片组中的一张帧图片，得到预处理之后的第二帧序列；
基于所述预处理之后的第一帧序列以及所述预处理之后的第二帧序列，生成所述对照版本和所述测试版本的用户界面差异信息。


5.根据权利要求4所述的用户界面信息处理方法，其特征在于，所述方法还包括：
预先确定所述目标应用程序中与各标签分别对应的页面，分别提取出各页面的标记信息，确定各页面的标记信息的属性信息；
基于各页面的标记信息以及各页面的标记信息的属性信息，生成页面标记信息集合；
所述基于所述预处理之后的第一帧序列以及所述预处理之后的第二帧序列，生成所述对照版本和所述测试版本的用户界面差异信息包括：
计算所述预处理...

【专利技术属性】
技术研发人员：南刚雷，邵国强，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11