一种用户页面的测试方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了用户页面的测试方法、装置、电子设备及存储介质，涉及页面测试技术。具体实现方案为：截取当前页面的截图；根据所述当前页面的截图，获取所述当前页面对应的控件树；根据所述当前页面对应的控件树，将所述当前页面划分到与其对应的页面类型中；根据所述当前页面对应的页面类型，对所述当前页面进行测试。本申请实施例针对不同容器的用户页面可以采用统一的测试方法，泛化能力强，测试效率更高。

【技术实现步骤摘要】
一种用户页面的测试方法、装置、电子设备及存储介质
本申请涉及图像处理
，进一步涉及页面测试技术，尤其是一种用户页面的测试方法、装置、电子设备及存储介质。
技术介绍
现有技术针对控件树提取，移动端存在Native、WebView、小程序、AR和游戏等容器。在不同容器下，需要采用不同的方案提取控件树，具体描述如下：1)Native，通过调用Android(android.framework)或者iOS(UITest.framework)系统提供的能力，获取当前页面上的控件树，解析出控件列表；2)WebView，通过Chromdriver或者ios-webkit，来获取当前页面html中的dom控件树。该方案需要移动APP的开发者打开debugmode开关，额外透出能力；3)小程序，通过开发者注入JS透出能力，获取当前页面的控件树结构。4)AR和游戏，需要针对不同的引擎进行适配工作，由引擎侧提供能力，如Cocoas、Unity3D等。该方案需要对不同的游戏引擎进行适配。在实现本专利技术的过程中，专利技术人发现现有技术中至少存在如下问题：首先，针对移动端不同的容器(Native、WebView、小程序、AR和游戏等)没有统一获取控件树的方案；其次，现有技术中划分页面类型的方案，泛化能力差，也没有统一的划分页面类型的方案。
技术实现思路
有鉴于此，本申请提出实施例提供一种用户页面的测试方法、装置、电子设备及存储介质，针对不同容器的用户页面可以采用统一的测试方法，泛化能力强，测试效率更高。第一方面，本申请实施例提供了一种用户页面的测试方法，所述方法包括：截取当前页面的截图；根据所述当前页面的截图，获取所述当前页面对应的控件树；根据所述当前页面对应的控件树，将所述当前页面划分到与其对应的页面类型中；根据所述当前页面对应的页面类型，对所述当前页面进行测试。上述实施例具有如下优点或有益效果：本申请先截取当前页面的截图；然后根据当前页面的截图，获取当前页面对应的控件树；再根据当前页面对应的控件树，将当前页面划分到与其对应的页面类型中；最后根据当前页面对应的页面类型，对当前页面进行测试。也就是说，本申请针对不同容器的用户页面，都可以采用统一的测试方法对其进行页面测试。而在现有的用户页面的测试方法中，针对移动端不同的容器，没有统一获取控件树的方案；其次，现有技术中划分页面类型的方案，泛化能力差，也没有统一的划分页面类型的方案。因为本申请采用了根据当前页面的截图获取控件树的技术手段，以及根据控件树进行页面类型划分的技术手段，克服了现有技术中泛化能力差的技术问题，进而达到了提高泛化能力和提高测试效率的技术效果。在上述实施例中，所述根据所述当前页面的截图，获取所述当前页面对应的控件树，包括：将所述当前页面的截图进行图像切割，获取到所述当前页面中的多个图像；对所述当前页面中的各个图像进行语义识别，提取出所述当前页面中的各个控件；将所述当前页面中的各个控件进行区域聚合，获取到所述当前页面对应的控件树。上述实施例具有如下优点或有益效果：本申请在获取当前页面对应的控件树时，先将当前页面的截图进行图像切割；然后对当前页面中的各个图像进行语义识别；再将当前页面中的各个控件进行区域聚合，从而可以获取到当前页面对应的控件树，基于该控件树实现对当前页面进行测试。在上述实施例中，所述根据所述当前页面对应的控件树，将所述当前页面划分到与其对应的页面类型中，包括：根据所述当前页面对应的控件树，提取出所述当前页面的页面骨架；将所述当前页面的页面骨架输入至深度神经网络中，通过所述深度神经网络输出所述当前页面的数据编码；将所述当前页面的数据编码输入至无监督聚类模型中，通过所述无监督聚类模型将所述当前页面划分到与其对应的页面类型中。上述实施例具有如下优点或有益效果：本申请在将当前页面划分到与其对应的页面类型中时，先提取出当前页面的页面骨架；然后通过深度神经网络输出当前页面的数据编码；再通过无监督聚类模型将当前页面划分到与其对应的页面类型中。在上述实施例中，所述根据所述当前页面对应的页面类型，对所述当前页面进行测试，包括：根据所述当前页面对应的页面类型，在所述当前页面中加入所述页面类型对应的人工标记；使用所述页面类型对应的测试方法，对加入人工标记后的当前页面进行测试。上述实施例具有如下优点或有益效果：本申请在对当前页面进行测试时，先在当前页面中加入页面类型对应的人工标记；然后使用页面类型对应的测试方法，对加入人工标记后的当前页面进行测试。这样可以模拟真实用户场景，提升遍历效果和发现问题效率。第二方面，本申请还提供了一种用户页面的测试装置，所述装置包括：截取模块、获取模块、划分模块和测试模块；其中，所述截取模块，用于截取当前页面的截图；所述获取模块，用于根据所述当前页面的截图，获取所述当前页面对应的控件树；所述划分模块，用于根据所述当前页面对应的控件树，将所述当前页面划分到与其对应的页面类型中；所述测试模块，用于根据所述当前页面对应的页面类型，对所述当前页面进行测试。在上述实施例中，所述获取模块包括：切割子模块、识别子模块和聚合子模块；其中，所述切割子模块，用于将所述当前页面的截图进行图像切割，获取到所述当前页面中的多个图像；所述识别子模块，用于对所述当前页面中的各个图像进行语义识别，提取出所述当前页面中的各个控件；所述聚合子模块，用于将所述当前页面中的各个控件进行区域聚合，获取到所述当前页面对应的控件树。在上述实施例中，所述划分模块包括：提取子模块和划分子模块；其中，所述提取子模块，用于根据所述当前页面对应的控件树，提取出所述当前页面的页面骨架；所述划分子模块，用于将所述当前页面的页面骨架输入至深度神经网络中，通过所述深度神经网络输出所述当前页面的数据编码；将所述当前页面的数据编码输入至无监督聚类模型中，通过所述无监督聚类模型将所述当前页面划分到与其对应的页面类型中。在上述实施例中，所述测试模块，具体用于根据所述当前页面对应的页面类型，在所述当前页面中加入所述页面类型对应的人工标记；使用所述页面类型对应的测试方法，对加入人工标记后的当前页面进行测试。第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所述的用户页面的测试方法。第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请任意实施例所述的用户页面的测试方法。上述申请中的一个实施例具有如下优点或有益效果：本申请提出的用户页面的测试方法、装置、电子设备及存储介质，先截取当前页面的截图；然后根据当前页面的截图，获取当前页面对应的控件树；再根据当前本文档来自技高网...

【技术保护点】
1.一种用户页面的测试方法，其特征在于，所述方法包括：/n截取当前页面的截图；/n根据所述当前页面的截图，获取所述当前页面对应的控件树；/n根据所述当前页面对应的控件树，将所述当前页面划分到与其对应的页面类型中；/n根据所述当前页面对应的页面类型，对所述当前页面进行测试。/n

【技术特征摘要】
1.一种用户页面的测试方法，其特征在于，所述方法包括：
截取当前页面的截图；
根据所述当前页面的截图，获取所述当前页面对应的控件树；
根据所述当前页面对应的控件树，将所述当前页面划分到与其对应的页面类型中；
根据所述当前页面对应的页面类型，对所述当前页面进行测试。


2.根据权利要求1所述的方法，其特征在于，所述根据所述当前页面的截图，获取所述当前页面对应的控件树，包括：
将所述当前页面的截图进行图像切割，获取到所述当前页面中的多个图像；
对所述当前页面中的各个图像进行语义识别，提取出所述当前页面中的各个控件；
将所述当前页面中的各个控件进行区域聚合，获取到所述当前页面对应的控件树。


3.根据权利要求1所述的方法，其特征在于，所述根据所述当前页面对应的控件树，将所述当前页面划分到与其对应的页面类型中，包括：
根据所述当前页面对应的控件树，提取出所述当前页面的页面骨架；
将所述当前页面的页面骨架输入至深度神经网络中，通过所述深度神经网络输出所述当前页面的数据编码；
将所述当前页面的数据编码输入至无监督聚类模型中，通过所述无监督聚类模型将所述当前页面划分到与其对应的页面类型中。


4.根据权利要求1所述的方法，其特征在于，所述根据所述当前页面对应的页面类型，对所述当前页面进行测试，包括：
根据所述当前页面对应的页面类型，在所述当前页面中加入所述页面类型对应的人工标记；
使用所述页面类型对应的测试方法，对加入人工标记后的当前页面进行测试。


5.一种用户页面的测试的装置，其特征在于，所述装置包括：截取模块、获取模块、划分模块和测试模块；其中，
所述截取模块，用于截取当前页面的截图；
所述获取模块，用于根据所述当前页面的截图，获取所述当前页面对应的控件树；
所述划分模块，用于根据所述当前页面对应的...

【专利技术属性】
技术研发人员：汪世涛，尹飞，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11