一种基于视觉识别的测试方法及终端技术

本发明专利技术提供一种基于视觉识别的测试方法及终端，根据待测试项目中交互操作方式的类型，编写与所述交互操作方式对应的测试代码，并对所述交互操作方式对应的可交互的界面进行截图，使用机器学习框架对截图图片进行模型训练，生成视觉识别模型，并编写遍历逻辑代码，根据所述测试代码、视觉识别模型和所述遍历逻辑代码对所述待测试项目进行遍历测试，不仅能够实现全面的遍历待测试项目，避免测试的遗漏，而且很容易用在产品更新迭代的复测或者同类型的产品的测试中，不需要重新编写测试代码，能够实现高效的软件测试。

【技术实现步骤摘要】
一种基于视觉识别的测试方法及终端
本专利技术涉及软件测试领域，尤其涉及一种基于视觉识别的测试方法及终端。
技术介绍
现有的软件测试方法常用的是冒烟测试，即通过人工黑盒测试方法或编写自动化测试脚本实现软件或网站的界面和功能遍历测试。但是，现有的软件测试方法存在如下不足：第一，测试用例覆盖度不够全面，在遍历软件或者网站所有界面和功能时，存在遗漏的可能；第二，当产品界面或功能发生更新迭代时，将造成界面和功能发生变化，需要新增和修改代码，工作量大，容易产生新的错误；第三，在搭建完成代码工程后，很难用于其他同类型产品的冒烟测试中，需要重新进行测试代码的编写和搭建，增加人工成本。
技术实现思路
本专利技术所要解决的技术问题是：提供一种基于视觉识别的测试方法及终端，能够高效地实现软件测试。为了解决上述技术问题，本专利技术采用的一种技术方案为：一种基于视觉识别的测试方法，包括步骤：S1、将一待测试项目按交互操作方式进行分类，分别编写与所述分类后的交互操作方式对应的测试代码；S2、根据所述分类，对所述待测试项目的界面中可进行交互操作的位置进行截图，分别生成各个分类对应的截图图片，使用包含有视觉识别的机器学习框架对各个分类对应的截图图片进行模型训练，生成与所述待测试项目对应的视觉识别模型；S3、编写与所述待测试项目对应的遍历逻辑代码，将所述测试代码和所述视觉识别模型通过遍历逻辑代码整合成与所述待测试项目对应的代码工程或可执行文件，使用所述代码工程或可执行文件对所述待测试项目进行测试。为了解决上述技术问题，本专利技术采用的另一种技术方案为：一种基于视觉识别的测试终端，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：S1、将一待测试项目按交互操作方式进行分类，分别编写与所述分类后的交互操作方式对应的测试代码；S2、根据所述分类，对所述待测试项目的界面中可进行交互操作的位置进行截图，分别生成各个分类对应的截图图片，使用包含有视觉识别的机器学习框架对各个分类对应的截图图片进行模型训练，生成与所述待测试项目对应的视觉识别模型；S3、编写与所述待测试项目对应的遍历逻辑代码，将所述测试代码和所述视觉识别模型通过遍历逻辑代码整合成与所述待测试项目对应的代码工程或可执行文件，使用所述代码工程或可执行文件对所述待测试项目进行测试。本专利技术的有益效果在于：根据待测试项目中交互操作方式的类型，编写与所述交互操作方式对应的测试代码，并对所述交互操作方式对应的可交互的界面进行截图，使用机器学习框架对截图图片进行模型训练，生成视觉识别模型，并编写遍历逻辑代码，根据所述测试代码、视觉识别模型和所述遍历逻辑代码对所述待测试项目进行遍历测试，不仅能够实现全面的遍历待测试项目，避免测试的遗漏，而且由于是基于交互操作方式的类型来编写对应的测试代码，因此如果交互操作方式不变，只是界面进行更新迭代，则并不需要新增或修改任何测试代码，只需要对更新迭代后的界面重新进行模型训练即可，或者另一类测试产品是属于同类型的，各个交互操作方式相同，则只需要针对同类型的待测试项目的界面进行模型训练即可，方便快捷，不需要重新编写测试代码，能够实现高效的软件测试。附图说明图1为本专利技术实施例的一种基于视觉识别的测试方法的流程图；图2为本专利技术实施例的一种基于视觉识别的测试终端的结构示意图；图3为本专利技术实施例的根据交互操作方式进行分类的示意图；图4为本专利技术实施例的根据交互操作方式进行代码编写的示意图；图5为本专利技术实施例的根据交互操作方式进行截图的示意图；图6为本专利技术实施例的根据界面跳转的路径生成的树状图；标号说明：1、一种基于视觉识别的测试终端；2、存储器；3、处理器。具体实施方式为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。本专利技术最关键的构思在于：根据待测试项目中交互操作方式的类型，编写与所述交互操作方式对应的测试代码，并对所述交互操作方式对应的可交互的界面进行截图，使用机器学习框架对截图图片进行模型训练，生成视觉识别模型。请参照图1，一种基于视觉识别的测试方法，包括步骤：S1、将一待测试项目按交互操作方式进行分类，分别编写与所述分类后的交互操作方式对应的测试代码；S2、根据所述分类，对所述待测试项目的界面中可进行交互操作的位置进行截图，分别生成各个分类对应的截图图片，使用包含有视觉识别的机器学习框架对各个分类对应的截图图片进行模型训练，生成与所述待测试项目对应的视觉识别模型；S3、编写与所述待测试项目对应的遍历逻辑代码，将所述测试代码和所述视觉识别模型通过遍历逻辑代码整合成与所述待测试项目对应的代码工程或可执行文件，使用所述代码工程或可执行文件对所述待测试项目进行测试。从上述描述可知，本专利技术的有益效果在于：根据待测试项目中交互操作方式的类型，编写与所述交互操作方式对应的测试代码，并对所述交互操作方式对应的可交互的界面进行截图，使用机器学习框架对截图图片进行模型训练，生成视觉识别模型，并编写遍历逻辑代码，根据所述测试代码、视觉识别模型和所述遍历逻辑代码对所述待测试项目进行遍历测试，不仅能够实现全面的遍历待测试项目，避免测试的遗漏，而且由于是基于交互操作方式的类型来编写对应的测试代码，因此如果交互操作方式不变，只是界面进行更新迭代，则并不需要新增或修改任何测试代码，只需要对更新迭代后的界面重新进行模型训练即可，或者另一类测试产品是属于同类型的，各个交互操作方式相同，则只需要针对同类型的待测试项目的界面进行模型训练即可，方便快捷，不需要重新编写测试代码，能够实现高效的软件测试。进一步的，所述步骤S2中所述根据所述分类，对所述待测试项目的界面中可进行交互操作的位置进行截图，分别生成各个分类对应的截图图片包括：根据所述分类，为每一分类分别创建对应的文件夹，对所述待测试项目的界面中同一种类型的可进行交互操作的位置进行截图，分别生成各个分类对应的截图图片，并将所述截图图片存储至对应的文件夹。由上述描述可知，为每一个分类分别建立对应的文件夹，存储对应类别的截图图片，实现对截图图片的分门别类，方便后续的模型训练，提高模型训练的效率。进一步的，所述步骤S2与S3之间还包括步骤：编写所述视觉识别模型识别到与截图图片对应的图片后能够执行对应的交互操作的操作代码；所述步骤S3中所述将所述测试代码和所述视觉识别模型通过遍历逻辑代码整合成与所述待测试项目对应的代码工程或可执行文件包括：将所述测试代码、所述视觉识别模型和所述操作代码通过遍历逻辑代码整合成与所述待测试项目对应的代码工程或可执行文件。由上述描述可知，通过上述操作代码的编写，能够实现测试的智能化、自动化，实现全自动地测试。进一步的，所述步骤S3中所述遍历逻辑代码实现的步骤为：S31、对所述待测试项目所在的当前界面进行截图，生成第一界面截图；S32、使用所述视觉识别模型识别所述当前界面存在的所有可交互控件，生成与所述当前界面对应的控件信息表，将所述控件信息表存储至数据文件；S33、根据所述控件信息表，按顺序执行所述当前界面未被执行的可交互控件的操作，每执行完一个可交互控件的操作，在对应的控件信息表中记录对应的可交互控件已被执行，将所述可交互控件已被执行同步记录至本文档来自技高网...

【技术保护点】
1.一种基于视觉识别的测试方法，其特征在于，包括步骤：S1、将一待测试项目按交互操作方式进行分类，分别编写与所述分类后的交互操作方式对应的测试代码；S2、根据所述分类，对所述待测试项目的界面中可进行交互操作的位置进行截图，分别生成各个分类对应的截图图片，使用包含有视觉识别的机器学习框架对各个分类对应的截图图片进行模型训练，生成与所述待测试项目对应的视觉识别模型；S3、编写与所述待测试项目对应的遍历逻辑代码，将所述测试代码和所述视觉识别模型通过遍历逻辑代码整合成与所述待测试项目对应的代码工程或可执行文件，使用所述代码工程或可执行文件对所述待测试项目进行测试。

【技术特征摘要】
1.一种基于视觉识别的测试方法，其特征在于，包括步骤：S1、将一待测试项目按交互操作方式进行分类，分别编写与所述分类后的交互操作方式对应的测试代码；S2、根据所述分类，对所述待测试项目的界面中可进行交互操作的位置进行截图，分别生成各个分类对应的截图图片，使用包含有视觉识别的机器学习框架对各个分类对应的截图图片进行模型训练，生成与所述待测试项目对应的视觉识别模型；S3、编写与所述待测试项目对应的遍历逻辑代码，将所述测试代码和所述视觉识别模型通过遍历逻辑代码整合成与所述待测试项目对应的代码工程或可执行文件，使用所述代码工程或可执行文件对所述待测试项目进行测试。2.根据权利要求1所述的一种基于视觉识别的测试方法，其特征在于，所述步骤S2中所述根据所述分类，对所述待测试项目的界面中可进行交互操作的位置进行截图，分别生成各个分类对应的截图图片包括：根据所述分类，为每一分类分别创建对应的文件夹，对所述待测试项目的界面中同一种类型的可进行交互操作的位置进行截图，分别生成各个分类对应的截图图片，并将所述截图图片存储至对应的文件夹。3.根据权利要求1所述的一种基于视觉识别的测试方法，其特征在于，所述步骤S2与S3之间还包括步骤：编写所述视觉识别模型识别到与截图图片对应的图片后能够执行对应的交互操作的操作代码；所述步骤S3中所述将所述测试代码和所述视觉识别模型通过遍历逻辑代码整合成与所述待测试项目对应的代码工程或可执行文件包括：将所述测试代码、所述视觉识别模型和所述操作代码通过遍历逻辑代码整合成与所述待测试项目对应的代码工程或可执行文件。4.根据权利要求1所述的一种基于视觉识别的测试方法，其特征在于，所述步骤S3中所述遍历逻辑代码实现的步骤为：S31、对所述待测试项目所在的当前界面进行截图，生成第一界面截图；S32、使用所述视觉识别模型识别所述当前界面存在的所有可交互控件，生成与所述当前界面对应的控件信息表，将所述控件信息表存储至数据文件；S33、根据所述控件信息表，按顺序执行所述当前界面未被执行的可交互控件的操作，每执行完一个可交互控件的操作，在对应的控件信息表中记录对应的可交互控件已被执行，将所述可交互控件已被执行同步记录至操作日志，并对当前界面进行截图，生成第二界面截图；S34、对所述第二界面截图和所述第一界面截图进行相似度比对，判断所述相似度是否大于或等于预设值，若否，判断界面进行了跳转，将界面跳转记录至操作日志，并返回步骤S31，否则，执行步骤S35；S35、根据所述控件信息表，判断当前界面的可交互控件是否均执行完，若否，返回步骤S33，否则，执行步骤S36；S36、判断当前界面是否为所述待测试项目的首页，若是，则测试完成，否则，根据所述操作日志，从当前界面跳转至当前界面的上一级界面，并返回步骤S33。5.根据权利要求1所述的一种基于视觉识别的测试方法，其特征在于，所述步骤S2之后还包括步骤：若待测试项目的界面发生了变化，则根据所述变化同步更新所述步骤S2中各个分类对应的截图图片，使用包含有视觉识别的机器学习框架对更新后的各个分类对应的截图图片重新进行模型训练，生成与所述待测试项目对应的视觉识别模型。6.一种基于视觉识别的测试终端，包括存储器、处理器以及存...

【专利技术属性】
技术研发人员：刘德建，李思，林琛，
申请(专利权)人：福建天泉教育科技有限公司，
类型：发明
国别省市：福建,35