用户界面自动化测试方法及装置制造方法及图纸

本发明专利技术公开了一种用户界面自动化测试方法及装置，涉及人工智能技术领域，其中该方法包括：获取待测试UI的图片信息、视频信息和业务类型；将图片信息输入组件元素识别模型，确定组件元素信息；将视频信息和组件元素信息输入动作识别模型，确定组件元素信息的交互动作信息；根据预设的测试用例模板，将UI业务类型对应的测试用例模板、组件元素信息和组件元素信息的交互动作信息进行组装，生成待测试UI的测试用例；根据预设的测试脚本模板和待测试UI的测试用例生成测试脚本；执行测试脚本进行自动化测试。本发明专利技术可以降低UI测试的难度，提高测试效率。测试效率。测试效率。

【技术实现步骤摘要】
用户界面自动化测试方法及装置


[0001]本专利技术涉及人工智能
，尤其涉及一种用户界面自动化测试方法及装置。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]目前，随着科技的不断发展，银行产品的功能也越来越多，用户界面(User Interface，UI)的数量也呈现指数级增长，由于UI是直接面向用户的，因此UI的功能测试非常重要。
[0004]现有技术中，在对UI进行功能测试时，由于一个UI中包含了众多元件、属性、布局等，且不同的UI中的元件、属性、布局等也不同，因此，在测试过程中，需要人工针对每一UI编写大量的测试用例，案例脚本等，增加了测试的难度，且UI测试效率也较低。

技术实现思路

[0005]本专利技术实施例提供一种用户界面自动化测试方法，用以降低UI测试的难度，提高UI测试效率，该方法包括：
[0006]获取待测试用户界面UI信息；所述待测试UI信息包括UI图片信息、UI视频信息和UI业务类型；
[0007]将UI图片信息输入预先训练的组件元素识别模型，确定UI图片信息中的组件元素信息；所述组件元素识别模型是利用多个历史UI信息中的历史UI图片信息和每一历史UI图片信息中的历史组件元素信息，对第一机器学习模型训练得到；
[0008]将UI视频信息和组件元素信息输入预先训练的动作识别模型，确定组件元素信息的交互动作信息；所述动作识别模型是利用多个历史UI信息中的历史UI视频信息、历史组件元素信息和历史组件元素信息的历史交互动作信息，对第二机器学习模型训练得到；
[0009]根据预先设置的多个UI业务类型对应的测试用例模板，获取待测试UI信息中的UI业务类型对应的测试用例模板；将待测试UI信息中的UI业务类型对应的测试用例模板、组件元素信息和组件元素信息的交互动作信息进行组装，生成待测试UI信息的测试用例；
[0010]根据预先设置的多个测试用例模板对应的测试脚本模板，获取待测试UI信息的测试用例对应的测试脚本模板；根据待测试UI信息的测试用例对应的测试脚本模板和待测试UI信息的测试用例，生成待测试UI信息的测试用例对应的测试脚本；
[0011]执行待测试UI信息的测试用例对应的测试脚本，对待测试UI进行自动化测试。
[0012]本专利技术实施例还提供一种用户界面自动化测试装置，用以降低UI测试的难度，提高UI测试效率，该装置包括：
[0013]获取模块，用于获取待测试用户界面UI信息；所述待测试UI信息包括UI图片信息、UI视频信息和UI业务类型；
[0014]第一处理模块，用于将UI图片信息输入预先训练的组件元素识别模型，确定UI图
片信息中的组件元素信息；所述组件元素识别模型是利用多个历史UI信息中的历史UI图片信息和每一历史UI图片信息中的历史组件元素信息，对第一机器学习模型训练得到；
[0015]第二处理模块，用于将UI视频信息和组件元素信息输入预先训练的动作识别模型，确定组件元素信息的交互动作信息；所述动作识别模型是利用多个历史UI信息中的历史UI视频信息、历史组件元素信息和历史组件元素信息的历史交互动作信息，对第二机器学习模型训练得到；
[0016]用例生成模块，用于根据预先设置的多个UI业务类型对应的测试用例模板，获取待测试UI信息中的UI业务类型对应的测试用例模板；将待测试UI信息中的UI业务类型对应的测试用例模板、组件元素信息和组件元素信息的交互动作信息进行组装，生成待测试UI信息的测试用例；
[0017]脚本生成模块，用于根据预先设置的多个测试用例模板对应的测试脚本模板，获取待测试UI信息的测试用例对应的测试脚本模板；根据待测试UI信息的测试用例对应的测试脚本模板和待测试UI信息的测试用例，生成待测试UI信息的测试用例对应的测试脚本；
[0018]测试模块，用于执行待测试UI信息的测试用例对应的测试脚本，对待测试UI进行自动化测试。
[0019]本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述用户界面自动化测试方法。
[0020]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述用户界面自动化测试方法。
[0021]本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述用户界面自动化测试方法。
[0022]本专利技术实施例中，获取待测试用户界面UI信息；所述待测试UI信息包括UI图片信息、UI视频信息和UI业务类型；将UI图片信息输入预先训练的组件元素识别模型，确定UI图片信息中的组件元素信息；所述组件元素识别模型是利用多个历史UI信息中的历史UI图片信息和每一历史UI图片信息中的历史组件元素信息，对第一机器学习模型训练得到；将UI视频信息和组件元素信息输入预先训练的动作识别模型，确定组件元素信息的交互动作信息；所述动作识别模型是利用多个历史UI信息中的历史UI视频信息、历史组件元素信息和历史组件元素信息的历史交互动作信息，对第二机器学习模型训练得到；根据预先设置的多个UI业务类型对应的测试用例模板，获取待测试UI信息中的UI业务类型对应的测试用例模板；将待测试UI信息中的UI业务类型对应的测试用例模板、组件元素信息和组件元素信息的交互动作信息进行组装，生成待测试UI信息的测试用例；根据预先设置的多个测试用例模板对应的测试脚本模板，获取待测试UI信息的测试用例对应的测试脚本模板；根据待测试UI信息的测试用例对应的测试脚本模板和待测试UI信息的测试用例，生成待测试UI信息的测试用例对应的测试脚本；执行待测试UI信息的测试用例对应的测试脚本，对待测试UI进行自动化测试。与现有的人工针对每一UI编写测试用例，案例脚本的技术方案相比，在进行UI测试时，只需要输入待测试UI的UI图片信息和UI视频信息，通过训练好的组件元素识别模型和动作识别模型，就可以得到待测试UI的组件元素信息和组件元素信息的交互动作信息，然后根据预先配置好的测试用例模板以及测试脚本模板，生成待测试UI的测试用
例和测试用例对应的测试脚本，就可以实现根据测试脚本进行自动化测试，整个过程不需要投入大量的人工成本编写代码，可以降低UI测试的难度，提高UI测试效率。
附图说明
[0023]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0024]图1为本专利技术实施例中提供的一种用户界面自动化测试方法的流程图；
[0025]图2为本专利技术实施例中提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用户界面自动化测试方法，其特征在于，包括：获取待测试用户界面UI信息；所述待测试UI信息包括UI图片信息、UI视频信息和UI业务类型；将UI图片信息输入预先训练的组件元素识别模型，确定UI图片信息中的组件元素信息；所述组件元素识别模型是利用多个历史UI信息中的历史UI图片信息和每一历史UI图片信息中的历史组件元素信息，对第一机器学习模型训练得到；将UI视频信息和组件元素信息输入预先训练的动作识别模型，确定组件元素信息的交互动作信息；所述动作识别模型是利用多个历史UI信息中的历史UI视频信息、历史组件元素信息和历史组件元素信息的历史交互动作信息，对第二机器学习模型训练得到；根据预先设置的多个UI业务类型对应的测试用例模板，获取待测试UI信息中的UI业务类型对应的测试用例模板；将待测试UI信息中的UI业务类型对应的测试用例模板、组件元素信息和组件元素信息的交互动作信息进行组装，生成待测试UI信息的测试用例；根据预先设置的多个测试用例模板对应的测试脚本模板，获取待测试UI信息的测试用例对应的测试脚本模板；根据待测试UI信息的测试用例对应的测试脚本模板和待测试UI信息的测试用例，生成待测试UI信息的测试用例对应的测试脚本；执行待测试UI信息的测试用例对应的测试脚本，对待测试UI进行自动化测试。2.如权利要求1所述的方法，其特征在于，所述组件元素信息包括组件元素的类别信息、大小信息、属性信息和在UI的位置信息其中之一或任意组合。3.如权利要求1所述的方法，其特征在于，获取待测试用户界面UI信息，包括：在用户观看待测试UI中的组件元素交互时，获取眼动仪捕捉到的用户的眼球动作信息，根据用户的眼球动作信息得到UI视频信息。4.如权利要求1所述的方法，其特征在于，将UI图片信息输入预先训练的组件元素识别模型，确定UI图片信息中的组件元素信息之前，还包括：获取多个历史UI信息，每一历史UI信息包括历史UI图片信息和历史UI图片信息中的历史组件元素信息；将每一历史UI信息的历史UI图片信息和历史UI图片信息中的历史组件元素信息作为第一样本数据，构建第一训练集和第一测试集；利用第一训练集训练第一机器学习模型，得到组件元素识别模型；利用第一测试集对组件元素识别模型进行测试。5.如权利要求4所述的方法，其特征在于，每一历史UI信息还包括历史UI视频信息和历史组件元素信息的历史交互动作信息；所述方法还包括：将每一历史UI信息的历史UI视频信息、历史组件元素信息和历史组件元素信息的历史交互动作信息作为第二样本数据，构建第二训练集和第二测试集；利用第二训练集训练第二机器学习模型，得到动作识别模型；利用第二测试集对动作识别模型进行测试。6.一种用户界面自动化测试装置，其特征在于，包括：获取模块，用于获取待测试用户界面UI信息；所述待测试UI信息包括UI图片信息、UI视频信息和UI业务类型；
第一处理模块，用于将UI图片信息输入预先训练的组件元素识别模型，确定UI图片信息中的组件元素信息；所述组件元素识别模型是利用多个历史UI信息...

【专利技术属性】
技术研发人员：刘辉，刘舒，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：