【技术实现步骤摘要】
本专利技术涉及算法测试，尤其是一种基于图像的ai自动化测试方法及系统。
技术介绍
1、视觉识别技术是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，随着人工智能技术和大数据的发展，计算机视觉识别技术逐步进入了安全监控领域，如应用于电力安防中的人脸识别、区域识别等技术。
2、现有技术中进行测试的方法是：首先获取接口文件，对接口文件的接口数据进行格式转换，得到api请求脚本，基于api请求脚本，生成测试用例脚本；基于测试用例脚本所对应的测试源数据，驱动执行测试用例脚本进行接口测试。此种方法测试功能单一，对测试人员的代码编写能力要求高，测试评价标准不统一。
技术实现思路
1、为了克服现有技术中存在的上述问题，本专利技术提出一种基于图像的ai自动化测试方法及系统。
2、本专利技术解决其技术问题所采用的技术方案是：一种基于图像的ai自动化测试系统，包括数据导入单元、识别结果获取单元、测试结果输出单元，所述数据导入单元用于根据已加载的测试用例确定当前识别测试项，基于基准数据的信息将当前识别测试项的基准图像数据导入到待测试的ai模型中；
3、所述识别结果获取单元用于控制ai模型识别导入的基准图像数据，并获取识别结果；
4、所述测试结果输出单元用于判断是否完成测试用例中的所有识别测试项，若已完成，则基于基准数据信息输出测试结果；否则触发所述数据导入单元执行根据已加载的测试用例确定当前识别测试项，基于基准数据的信息将当前识
5、一种基于图像的ai自动化测试方法，使用上述的一种基于图像的ai自动化测试系统，具体包括如下步骤：
6、步骤1，根据已加载的测试用例确定当前识别测试项，基于基准数据的信息将当前识别测试项的基准图像数据导入到待测试的ai模型中；
7、步骤2，控制所述待测试的ai模型识别导入的基准数据，ai模型根据步骤1确定的当前测试项调用对应的测试程序进行测试；
8、步骤3，判断是否完成测试用例的所有测试项，若已完成，则输出测试结果，否则跳转步骤1重新开始测试；
9、步骤4，保存测试数据，当接收到数据查询请求时，输出与所述数据查询请求对应的测试数据。
10、上述的一种基于图像的ai自动化测试方法，所述步骤1中基准数据的信息包含于测试用例中，所述基准数据包括基准图像数据和图像标注数据。
11、上述的一种基于图像的ai自动化测试方法，所述步骤1中的测试项包括功能测试和性能测试。
12、上述的一种基于图像的ai自动化测试方法，所述功能测试包括目标检测、车牌识别、车型识别、属性识别、以图搜图测试，所述性能测试包括批量图片处理。
13、上述的一种基于图像的ai自动化测试方法，所述目标检测时测试结果的判断方式为：根据ai模型返回的目标框与标签对应的目标框计算iou，得到测试数据的准确率和map值；所述车牌测试及车型测试时测试结果的判断方式为：根据ai模型返回的值与标签值对比，计算对于车牌及车型测试的准确率；所述属性识别时测试结果的判断方式为：采用多分类测试方法，对比ai模型返回值和标签值，计算准确率、召回率和f1-score的值；所述以图搜图测试时测试结果的判断方式为：测试集分为查询集和底库集，ai模型为查询集和底库集中的每张图片返回的一个对应的特征值，根据特征值，筛选出底库集中与查询集最相似的20张图片，根据20张图片的位置以及图片是否为相似图片，计算查询集中的map、前10个的准确率和前20个的准确率，以此来判断算法的效果。
14、上述的一种基于图像的ai自动化测试方法，所述性能测试时测试结果的判断方式为：打开所有功能测试通道，对测试图片进行处理，根据ai模型的返回内容，判断是否测试完成，测试结束后，计算处理的图片数量以及测试用时，计算当前所测试算法的性能，以此评估性能优劣。
15、上述的一种基于图像的ai自动化测试方法，所述步骤4中的测试数据包括测试用例、测试结果。
16、本专利技术的有益效果是，本专利技术参数、评价标准统一，可以进行迭代测试对比；将所有测试数据保存，方便后续被测试ai模型优化；测试数据量大，测试效率高；对测试人员要求低，减少人工成本。
本文档来自技高网...【技术保护点】
1.一种基于图像的AI自动化测试系统，其特征在于，包括数据导入单元、识别结果获取单元、测试结果输出单元，所述数据导入单元用于根据已加载的测试用例确定当前识别测试项，基于基准数据的信息将当前识别测试项的基准图像数据导入到待测试的AI模型中；
2.一种基于图像的AI自动化测试方法，其特征在于，使用权利要求1所述的一种基于图像的AI自动化测试系统，具体包括如下步骤：
3.根据权利要求2所述的一种基于图像的AI自动化测试方法，其特征在于，所述步骤1中基准数据的信息包含于测试用例中，所述基准数据包括基准图像数据和图像标注数据。
4.根据权利要求2所述的一种基于图像的AI自动化测试方法，其特征在于，所述步骤1中的测试项包括功能测试和性能测试。
5.根据权利要求4所述的一种基于图像的AI自动化测试方法，其特征在于，所述功能测试包括目标检测、车牌识别、车型识别、属性识别、以图搜图测试，所述性能测试包括批量图片处理。
6.根据权利要求5所述的一种基于图像的AI自动化测试方法，其特征在于，所述目标检测时测试结果的判断方式为：根据AI模型返回
7.根据权利要求5所述的一种基于图像的AI自动化测试方法，其特征在于，所述性能测试时测试结果的判断方式为：打开所有功能测试通道，对测试图片进行处理，根据AI模型的返回内容，判断是否测试完成，测试结束后，计算处理的图片数量以及测试用时，计算当前所测试算法的性能，以此评估性能优劣。
8.根据权利要求2所述的一种基于图像的AI自动化测试方法，其特征在于，所述步骤4中的测试数据包括测试用例、测试结果。
...【技术特征摘要】
1.一种基于图像的ai自动化测试系统，其特征在于，包括数据导入单元、识别结果获取单元、测试结果输出单元，所述数据导入单元用于根据已加载的测试用例确定当前识别测试项，基于基准数据的信息将当前识别测试项的基准图像数据导入到待测试的ai模型中；
2.一种基于图像的ai自动化测试方法，其特征在于，使用权利要求1所述的一种基于图像的ai自动化测试系统，具体包括如下步骤：
3.根据权利要求2所述的一种基于图像的ai自动化测试方法，其特征在于，所述步骤1中基准数据的信息包含于测试用例中，所述基准数据包括基准图像数据和图像标注数据。
4.根据权利要求2所述的一种基于图像的ai自动化测试方法，其特征在于，所述步骤1中的测试项包括功能测试和性能测试。
5.根据权利要求4所述的一种基于图像的ai自动化测试方法，其特征在于，所述功能测试包括目标检测、车牌识别、车型识别、属性识别、以图搜图测试，所述性能测试包括批量图片处理。
6.根据权利要求5所述的一种基于图像的ai自动化测试方法，其特征在于，所述目标检测时测试结果的判断方式为：根据ai模型返回的目标框与标签对应的...
【专利技术属性】
技术研发人员：苏美玲，李凡平，石柱国，
申请(专利权)人：以萨技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。