一种图像识别能力的自动化验证方法及系统技术方案

本发明专利技术提供了一种图像识别能力的自动化验证系统，所述系统包括数据管理模块、配置管理模块、测试执行模块、以及报告显示模块；通过数据管理模块来保存各类型图像资源作为训练集和测试集，再通过配置管理模块设置测试执行所对应的测试类型，以及所需要的接口信息；测试执行模块根据配置信息，自动执行训练和测试，并记录执行过程中的测试信息，最终通过报告显示模块生成对应的测试报告。本发明专利技术还提供了一种图像识别能力的自动化验证方法，本发明专利技术能完成自动化测试，可以极大的减少测试的投入时间，解放人工操作。

An automatic verification method and system of image recognition ability

【技术实现步骤摘要】
一种图像识别能力的自动化验证方法及系统
本专利技术涉及图像识别
，特别是一种图像识别能力的自动化验证方法及系统。
技术介绍
在智能领域高速发展的当今，图像识别是一个很重要的方向，而对于识别系统来说拥有足够高的识别率显得尤为重要。那么如何衡量图像识别能力则变成了一个很重要的环节。目前在图像识别领域常见的有人脸识别、花卉识别、动物识别等场景，而目前最常见的测试方式就是通过人工去拍照上传的方式去验证系统的识别效果或能力，另外也有通过预先预置好的数据进行自动化遍历的回归验证，以此来验证是否同期望返回。现有的图像识别验证技术存在如下缺点：缺点一，如果通过功能测试验收，虽然直观，但数据量级高的时候显得很无力。其在版本迭代或者BUG修复的回归测试中显得尤为的突出，程序改动可能只需要几行代码，但验证的测试集范围少则数百，多则上千逾万的，通过人工的一个手工测试，耗时久且容易消磨测试人员的耐心。缺点二，目前更多的是基于终端（客户端）的方式进行图像识别的准确率验证，其在响应时间上并不能有效的衡量服务端的一个响应情况。因为其客户端的响应时本文档来自技高网...

【技术保护点】
1.一种图像识别能力的自动化验证系统，其特征在于：所述系统包括数据管理模块、配置管理模块、测试执行模块、以及报告显示模块；/n所述数据管理模块用于存储图像识别每个类型下的单位信息，所述单位信息包含测试集图片和训练集图片；/n所述配置管理模块是用于配置测试时所需的训练接口和测试接口，以及所要测试的一个训练集和测试范围；/n所述测试执行模块用于根据配置管理模块所配置的信息，进行每个范围下单位的图片资源训练，当完成该范围单位下的训练后，会执行对应的单位测试集的测试；/n所述报告显示模块用于生成对应的测试报告；/n通过数据管理模块来保存各类型图像资源作为训练集和测试集，再通过配置管理模块设置测试执行所...

【技术特征摘要】
1.一种图像识别能力的自动化验证系统，其特征在于：所述系统包括数据管理模块、配置管理模块、测试执行模块、以及报告显示模块；
所述数据管理模块用于存储图像识别每个类型下的单位信息，所述单位信息包含测试集图片和训练集图片；
所述配置管理模块是用于配置测试时所需的训练接口和测试接口，以及所要测试的一个训练集和测试范围；
所述测试执行模块用于根据配置管理模块所配置的信息，进行每个范围下单位的图片资源训练，当完成该范围单位下的训练后，会执行对应的单位测试集的测试；
所述报告显示模块用于生成对应的测试报告；
通过数据管理模块来保存各类型图像资源作为训练集和测试集，再通过配置管理模块设置测试执行所对应的测试类型，以及所需要的接口信息；测试执行模块根据配置信息，自动执行训练和测试，并记录执行过程中的测试信息，最终通过报告显示模块生成对应的测试报告。


2.根据权利要求1所述的一种图像识别能力的自动化验证系统，其特征在于：所述数据管理模块进一步具体为：创建图像识别的数据类型，并为数据类型分配唯一标识type_id；在该数据类型下创建一个单位，补充对应的单位信息，并为其单位分配唯一标识unit_id；在该数据类型下的单位中进行训练集图片和测试集图片的上传操作。


3.根据权利要求1所述的一种图像识别能力的自动化验证系统，其特征在于：所述数据管理模块能提供一组restful的api接口，用于操作员通过脚本来进行单位创建，并上传对应的训练集和测试集的数据，而不需要每个图像资源上传都由手动来操作。


4.根据权利要求2所述的一种图像识别能力的自动化验证系统，其特征在于：所述配置管理模块进一步具体为：创建测试执行模块执行的相关配置，首先为该配置项设置名称及描述；再则选择图像资源的数据类型；再则配置训练接口的相关信息，包括请求的训练接口url地址，用于配置每个识别类型对应服务的训练URL，供系统自动化训练；配置测试接口的相关信息，包括请求的测试接口url地址，用于配置每个识别类型对应服务的测试URL，供系统自动化测试；最后配置偏移的条件，偏移的对象指数据类型下的单位数范围，该偏移的条件由用户自定义设置，偏移的条件包含但不局限于：全量递归、差量递归以及次幂递归；所述全量递归中偏移的偏移量为1，差量递归时需要传入偏移量参数P；所述次幂递归是需要传入偏移量参数Q。


5.根据权利要求4所述的一种图像识别能力的自动化验证系统，其特征在于：所述测试执行模块进一步具体为：读取配置管理模块当前的配置信息，获取当前的偏移范围，输出第一个偏移offset为1；由于偏移1小于总单位数，则训练范围N为[offset_old，offset]，offset_old默认为1，所述offset为配置的偏移量参数；自动遍历[offset_old，offset]范围内单位下的训练数据，并通过训练接口进行上传来完成训练，完成训练之后，需要进行测试验证，即测试范围M为[1，offset]，即每次系统训练完毕之后，即全量进行当前的范围内的单位下的测试集验证；自动读取[1，offset]范围内单位下的测试数据，并通过测试接口进行上传验证，并在每次测试过程中记录请求request和返回的response数据以及响应时间timeline；生成报告并推送消息，完成测试。


6.根据权利要求1所述的一种图像识别能力的自动化验证系统，其特征在于：所述报告显示模块进一步具体为：当完成测试之...

【专利技术属性】
技术研发人员：刘德建，梁益冰，林剑锋，林琛，
申请(专利权)人：福建天晴数码有限公司，
类型：发明
国别省市：福建;35