【技术实现步骤摘要】
用户界面自动化测试方法及装置
[0001]本专利技术涉及人工智能
，尤其涉及一种用户界面自动化测试方法及装置。
技术介绍
[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]目前，随着科技的不断发展，银行产品的功能也越来越多，用户界面(User Interface，UI)的数量也呈现指数级增长，由于UI是直接面向用户的，因此UI的功能测试非常重要。
[0004]现有技术中，在对UI进行功能测试时，由于一个UI中包含了众多元件、属性、布局等，且不同的UI中的元件、属性、布局等也不同，因此，在测试过程中，需要人工针对每一UI编写大量的测试用例，案例脚本等，增加了测试的难度，且UI测试效率也较低。
技术实现思路
[0005]本专利技术实施例提供一种用户界面自动化测试方法，用以降低UI测试的难度，提高UI测试效率，该方法包括：
[0006]获取待测试用户界面UI信息；所述待测试UI信息包括UI图片信息、...
【技术保护点】
【技术特征摘要】
1.一种用户界面自动化测试方法，其特征在于，包括：获取待测试用户界面UI信息；所述待测试UI信息包括UI图片信息、UI视频信息和UI业务类型；将UI图片信息输入预先训练的组件元素识别模型，确定UI图片信息中的组件元素信息；所述组件元素识别模型是利用多个历史UI信息中的历史UI图片信息和每一历史UI图片信息中的历史组件元素信息，对第一机器学习模型训练得到；将UI视频信息和组件元素信息输入预先训练的动作识别模型，确定组件元素信息的交互动作信息；所述动作识别模型是利用多个历史UI信息中的历史UI视频信息、历史组件元素信息和历史组件元素信息的历史交互动作信息，对第二机器学习模型训练得到；根据预先设置的多个UI业务类型对应的测试用例模板，获取待测试UI信息中的UI业务类型对应的测试用例模板；将待测试UI信息中的UI业务类型对应的测试用例模板、组件元素信息和组件元素信息的交互动作信息进行组装，生成待测试UI信息的测试用例；根据预先设置的多个测试用例模板对应的测试脚本模板，获取待测试UI信息的测试用例对应的测试脚本模板；根据待测试UI信息的测试用例对应的测试脚本模板和待测试UI信息的测试用例，生成待测试UI信息的测试用例对应的测试脚本；执行待测试UI信息的测试用例对应的测试脚本，对待测试UI进行自动化测试。2.如权利要求1所述的方法，其特征在于，所述组件元素信息包括组件元素的类别信息、大小信息、属性信息和在UI的位置信息其中之一或任意组合。3.如权利要求1所述的方法，其特征在于，获取待测试用户界面UI信息，包括：在用户观看待测试UI中的组件元素交互时，获取眼动仪捕捉到的用户的眼球动作信息，根据用户的眼球动作信息得到UI视频信息。4.如权利要求1所述的方法，其特征在于，将UI图片信息输入预先训练的组件元素识别模型，确定UI图片信息中的组件元素信息之前，还包括：获取多个历史UI信息，每一历史UI信息包括历史UI图片信息和历史UI图片信息中的历史组件元素信息；将每一历史UI信息的历史UI图片信息和历史UI图片信息中的历史组件元素信息作为第一样本数据，构建第一训练集和第一测试集；利用第一训练集训练第一机器学习模型，得到组件元素识别模型；利用第一测试集对组件元素识别模型进行测试。5.如权利要求4所述的方法，其特征在于，每一历史UI信息还包括历史UI视频信息和历史组件元素信息的历史交互动作信息；所述方法还包括：将每一历史UI信息的历史UI视频信息、历史组件元素信息和历史组件元素信息的历史交互动作信息作为第二样本数据，构建第二训练集和第二测试集；利用第二训练集训练第二机器学习模型，得到动作识别模型；利用第二测试集对动作识别模型进行测试。6.一种用户界面自动化测试装置，其特征在于，包括：获取模块，用于获取待测试用户界面UI信息；所述待测试UI信息包括UI图片信息、UI视频信息和UI业务类型；
第一处理模块，用于将UI图片信息输入预先训练的组件元素识别模型，确定UI图片信息中的组件元素信息；所述组件元素识别模型是利用多个历史UI信息...
【专利技术属性】
技术研发人员：刘辉，刘舒，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。