用户界面校验方法、装置、软件测试系统、终端及介质制造方法及图纸

本发明专利技术提出一种用户界面校验方法、装置、软件测试系统、终端及计算机可读存储介质，其中用户界面校验方法包括：采集待校验的用户界面的图片；构建用户界面校验模型；以及将采集的所述待校验的用户界面的图片输入所述用户界面校验模型进行校验，输出校验结果，其中，所述校验结果包括：所述待校验的用户界面的图片是否异常，以及在所述图片异常的情况下的异常分类信息。本发明专利技术提供的实施例提高了自动化测试的校验能力,尤其适用于碎片化严重的兼容性自动化测试场景，相比较现有的人感官测试或截图后人感官测试，测试效率明显提高。

User interface verification method, device, software testing system, terminal and medium

The invention provides a user interface verification method, a device, a software test system, a terminal and a computer readable storage medium, in which a user interface verification method includes a picture of a user interface to be checked, a user interface verification model, and a picture input of the collected user interface. The user interface check model is used to check and output the check results, in which the checkout results include: whether the picture of the user interface to be checked is abnormal, and the exception classification information in the case of the abnormal picture. The embodiments provided by the present invention improve the verification ability of automated testing, especially for the severe fragmentation compatibility automation test scene, compared with the existing human sensory testing or the human sensory testing after the screenshot, and the efficiency of the test is obviously improved.

【技术实现步骤摘要】
用户界面校验方法、装置、软件测试系统、终端及介质
本专利技术涉及信息
，尤其涉及一种用户界面校验方法、装置、软件测试系统、终端及计算机可读存储介质。
技术介绍
随着电子信息技术的发展，目前的软件产品和硬件产品存在多种不同的版本和机型。以android(安卓)平台为例，android平台的一个最大的缺点就是碎片化，具体表现为设备繁多，品牌众多，版本各异，分辨率不统一等等。从数据上可以明显看出，android碎片化主要体现在机型上，细分下去还关乎系统版本、定制rom(ReadOnlyMemoryimage，只读存储器镜像)、分辨率等好几个维度，总而言之，千奇百怪，数量繁多。目前由于android碎片化比较严重，app的兼容性测试在日常测试工作中占有较大的比重。市场中冗杂的Android智能机品牌和庞大的机型数量，给兼容性测试带来很大的困难，对多款移动设备进行兼容性测试，这意味着巨大的工作量和购机成本。现有技术普通采用人感官测试或截图后人感官验证，要针对众多机型做兼容性测试，这种测试方法的效率较低。如何提高兼容性的测试效率是目前需要解决的问题。
技术实现思路
本专利技术实施例提供一种用户界面校验方法、装置、软件测试系统、终端及计算机可读存储介质，以至少解决现有技术中的一个或多个技术问题。第一方面，本专利技术实施例提供了一种用户界面校验方法，包括：采集待校验的用户界面的图片；构建用户界面校验模型；以及将采集的所述待校验的用户界面的图片输入所述用户界面校验模型进行校验，输出校验结果，其中，所述校验结果包括：所述待校验的用户界面的图片是否异常，以及在所述图片异常的情况下的异常分类信息。结合第一方面，本专利技术在第一方面的第一种实施方式中，所述构建用户界面校验模型，包括：采集用户界面的图片；对采集的所述用户界面的图片进行标注，所述标注的信息包括：用户界面的图片是否异常，以及在所述图片异常的情况下的异常分类信息；所述异常分类信息包括异常种类和异常位置，以及所述异常种类包括文本截断、控件覆盖和控件错位中的任一项及其组合；使用标注后的用户界面的图片训练，以生成所述用户界面校验模型。结合第一方面的第一种实施方式，本专利技术在第一方面的第二种实施方式中，所述采集用户界面的图片，包括：在测试过程中采集用户界面的图片，并挖掘所采集的用户界面的图片的所述异常分类信息；和/或，根据预测的异常分类信息，模拟出与各种预测的异常分类信息相对应的用户界面的图片。结合第一方面的第一种实施方式、第一方面的第二种实施方式，本专利技术在第一方面的第三种实施方式中，在对采集的所述用户界面的图片进行标注之后，且在使用标注后的用户界面的图片训练之前，还包括：将所述标注后的用户界面的图片进行数据处理，其中，所述数据处理包括灰度化处理和/或归一化处理。结合第一方面的第一种实施方式、第一方面的第二种实施方式，本专利技术在第一方面的第四种实施方式中，还包括：使用多张用户界面的图片训练生成用户界面校验模型；以及通过生成的所述用户界面校验模型根据输入的一张用户界面的图片输出校验结果。结合第一方面的第一种实施方式、第一方面的第二种实施方式，本专利技术在第一方面的第五种实施方式中，还包括：使用多组用户界面的图片训练生成用户界面校验模型，其中，每组标注后的用户界面的图片包括多张相似度高于预定阈值的用户界面的图片；通过生成的所述用户界面校验模型根据输入的一组用户界面的图片输出校验结果，所述校验结果包括所述一组用户界面的图片中的每张用户界面的图片是否异常，以及在所述图片异常的情况下的异常分类信息。结合第一方面、第一方面的第一种实施方式、第一方面的第二种实施方式，在生成用户界面校验模型之后，还包括：设置损失函数，调整模型参数使损失函数最小化。第二方面，本专利技术实施例提供了一种用户界面校验装置，包括：采集单元，用于采集待校验的用户界面的图片；模型构建单元，用于构建用户界面校验模型；校验单元，用于：将采集的所述待校验的用户界面的图片输入所述用户界面校验模型进行校验，输出校验结果，其中，所述校验结果包括：所述待校验的用户界面的图片是否异常，以及在所述图片异常的情况下的异常分类信息。结合第二方面，本专利技术在第二方面的第一种实施方式中，所述模型构建单元还包括：采集子单元，用于采集用户界面的图片；标注子单元，用于对采集的所述用户界面的图片进行标注，所述标注的信息包括：用户界面的图片是否异常，以及在所述图片异常的情况下的异常分类信息；所述异常分类信息包括异常种类和异常位置，以及所述异常种类包括文本截断、控件覆盖和控件错位中的任一项及其组合；训练子单元，用于使用标注后的用户界面的图片训练，以生成所述用户界面校验模型。结合第二方面的第一种实施方式，本专利技术在第二方面的第二种实施方式中，所述采集子单元还用于：在测试过程中采集用户界面的图片，并挖掘所采集的用户界面的图片的所述异常分类信息；和/或，根据预测的异常分类信息，模拟出与各种预测的异常分类信息相对应的用户界面的图片。结合第二方面的第一种实施方式、第二方面的第二种实施方式，本专利技术在第二方面的第三种实施方式中，所述模型构建单元还包括处理子单元，用于：将所述标注后的用户界面的图片进行数据处理，所述数据处理包括灰度化处理和/或归一化处理。结合第二方面的第一种实施方式、第二方面的第二种实施方式，本专利技术在第二方面的第四种实施方式中，所述模型构建单元还用于：使用多张用户界面的图片训练生成用户界面校验模型；以及所述校验单元还用于：将一张用户界面的图片输入所述用户界面校验模型进行校验，输出校验结果。结合第二方面的第一种实施方式、第二方面的第二种实施方式，本专利技术在第二方面的第五种实施方式中，所述模型构建单元还用于：使用多组用户界面的图片训练生成用户界面校验模型，其中，每组标注后的用户界面的图片包括多张相似度高于预定阈值的用户界面的图片；所述校验单元还用于：将一组用户界面的图片输入所述用户界面校验模型进行校验，输出校验结果，所述校验结果包括所述一组用户界面的图片中的每张用户界面的图片是否异常，以及在所述图片异常的情况下的异常分类信息。结合第二方面、第二方面的第一种实施方式、第二方面的第二种实施方式，还包括模型调优单元，用于：设置损失函数，调整模型参数使损失函数最小化。在一个可能的设计中，用户界面校验装置的结构中包括处理器和存储器，所述存储器用于存储支持用户界面校验装置执行上述第一方面中用户界面校验方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。第三方面，本专利技术实施例提供了一种软件测试系统，包括上述第二方面中任一所述的用户界面校验装置。第四方面，本专利技术实施例提供了一种终端，所述终端包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述第一方面中任一所述的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一所述的方法。上述技术方案中的一个技术方案具有如下优点或有益效果：本专利技术提供的实施例提高了自动化测试的校验能力,尤其适用于碎片化严重的兼容性自动化测试场景，可适用于不同版本、不同语言环境、不同机型、不同分辨率和刷机包；相比本文档来自技高网...

【技术保护点】
一种用户界面校验方法，其特征在于，包括：采集待校验的用户界面的图片；构建用户界面校验模型；以及将采集的所述待校验的用户界面的图片输入所述用户界面校验模型进行校验，输出校验结果，其中，所述校验结果包括：所述待校验的用户界面的图片是否异常，以及在所述图片异常的情况下的异常分类信息。

【技术特征摘要】
1.一种用户界面校验方法，其特征在于，包括：采集待校验的用户界面的图片；构建用户界面校验模型；以及将采集的所述待校验的用户界面的图片输入所述用户界面校验模型进行校验，输出校验结果，其中，所述校验结果包括：所述待校验的用户界面的图片是否异常，以及在所述图片异常的情况下的异常分类信息。2.根据权利要求1所述的方法，其特征在于，所述构建用户界面校验模型包括：采集用户界面的图片；对采集的所述用户界面的图片进行标注，所述标注的信息包括：用户界面的图片是否异常，以及在所述图片异常的情况下的异常分类信息；所述异常分类信息包括异常种类和异常位置，以及所述异常种类包括文本截断、控件覆盖和控件错位中的任一项及其组合；使用标注后的用户界面的图片训练，以生成所述用户界面校验模型。3.根据权利要求2所述的方法，其特征在于，所述采集用户界面的图片，包括：在测试过程中采集用户界面的图片，并挖掘所采集的用户界面的图片的所述异常分类信息；和/或，根据预测的异常分类信息，模拟出与各种预测的异常分类信息相对应的用户界面的图片。4.根据权利要求2或3所述的方法，其特征在于，在对采集的所述用户界面的图片进行标注之后，且在使用标注后的用户界面的图片训练之前，还包括：将所述标注后的用户界面的图片进行数据处理，其中，所述数据处理包括灰度化处理和/或归一化处理。5.根据权利要求2或3所述的方法，其特征在于，还包括：使用多张用户界面的图片训练生成用户界面校验模型；以及通过生成的所述用户界面校验模型根据输入的一张用户界面的图片输出校验结果。6.根据权利要求2或3所述的方法，其特征在于，还包括：使用多组用户界面的图片训练生成用户界面校验模型，其中，每组用户界面的图片包括多张相似度高于预定阈值的用户界面的图片；通过生成的所述用户界面校验模型根据输入的一组用户界面的图片输出校验结果，所述校验结果包括所述一组用户界面的图片中的每张用户界面的图片是否异常，以及在所述图片异常的情况下的异常分类信息。7.根据权利要求1-3中任一项所述的方法，其特征在于，在生成用户界面校验模型之后，还包括：设置损失函数，调整模型参数使损失函数最小化。8.一种用户界面校验装置，其特征在于，包括：采集单元，用于采集待校验的用户界面的图片；模型构建单元，用于构建用户界面校验模型；校验单元，用于：将采集的所述待校验的用户界面的图片输入所述用户界面校验模型进行校验，输出校验结果，其中，所述校验结果包括：所述待...

【专利技术属性】
技术研发人员：邓海超，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11