一种基于自动标注的自动化测试分析系统、方法及终端设备技术方案

本发明专利技术公开了一种基于自动标注的自动化测试分析系统、方法及终端设备，该系统包括自动标注模块、引导模块A、引导模块B、引导模块C、引导模块D、自动汇总模块、自动分析模块，及分析平台；自动标注模块对视频进行处理，按帧拆分成图片集，引导模块用于完成自动化测试过程中的各种配置的引导，自动汇总模块根据汇总的维度、汇总内容、汇总结果输出格式、汇总结果输出路径，进行数据汇总，自动分析模块对标注结果进行自动分析。通过将标注功能集成到自动测试平台，只需要将需要处理的视频输入到自动测试平台，即可自动标注输出测试集、自动汇总分析输出测试结果，方便快捷，大大提高了测试效率。率。

【技术实现步骤摘要】
和t2，自动分析模块对标注结果进行自动分析；
[0015]若否，跳过该模块。
[0016]优选的，该自动化测试分析系统，可实时展示执行日志、当前执行任务内容、执行进度、执行成功失败情况等。
[0017]第二方面，提供了一种基于自动标注的自动化测试分析方法，该方法包括如下步骤：
[0018]根据一种基于自动标注的自动化测试分析系统中的引导模块A、引导模块B、引导模块C、引导模块D完成引导配置；
[0019]通过自动标注模块对视频进行处理，按帧拆分成图片集，并对图片集按视频所属城市、线路、车辆等信息进行分组，根据引导模块A的配置，在对应路径生成相应格式的标注结果；将标注结果上传至分析平台；
[0020]检测引导模块B是否配置邮件推送，若是，自动标注模块进行邮件推送提醒，将标注结果推送给对应的接收人，提醒接收人是否对标注结果进行抽查，若接收人选择对标注结果进行抽查，则对抽查的部分进行检查和人工重新标注，将抽查标注结果输入至分析平台；若否，则跳过该步骤；
[0021]通过自动汇总模块检测是否配置自动汇总，若是，则按照引导模块C的配置，对标注结果进行自动汇总和生成相应的文件；若否，则跳过该步骤；
[0022]通过自动分析模块检测是否配置自动分析，若是，自动分析模块检测自动分析是否到达等待超时时间t1，当未到达等待超时时间t1时，则每隔轮询时间t2，检查一次分析平台是否接收到抽查标注结果，若分析平台接收到抽查标注结果或者到达等待超时时间t1，自动分析模块对标注结果进行自动分析，生成相应的准确率、召回率、总上车人数、总下车人数、上下客流差、漏检率、误检率等；所述等待超时时间t1为从邮件推送开始距当前时间的时间差；若否，则跳过该步骤；
[0023]输出结果。
[0024]优选的，自动分析模块生成分析结果时，可以按不同的筛选条件进行统计：按日期统计一段时间内的标注准确率和召回率，和/或按照车型统计各车型的标注准确率和召回率，和/或通过折线图展示近期算法模型的质量趋势；和/或通过图表展示算法模型对每一类车型的客流图像识别成功率。
[0025]优选的，自动化测试分析系统的结果根据API接口文档，支持接口对外开放；自动化测试分析系统包括自动标注结果获取接口M；
[0026]自动标注结果获取接口M调用时需要传入7个参数：type、picPath、resPath、picType、resType、content、model，其中picPath、resPath，和model为必填，其他4个参数均含默认值，不传参数时均取默认值；
[0027]type为标注对象类型，传入1-3的整数，分别对应不同的视频类型；
[0028]picPath为视频读取路径，是必填参数，需要填入处理的视频集的路径；
[0029]resPath为标注结果存储路径，是必填参数，需要填入存储结果的路径；
[0030]picType为生成的图片集类型；
[0031]resType为生成的标注结果类型；
[0032]content为标注内容选项；
[0033]model为算法模型的全路径，是必填参数。
[0034]优选的，自动化测试分析系统的结果根据API接口文档，支持接口对外开放；自动化测试分析系统包括自动汇总结果获取接口N，该接口N调用时需要传入4个参数：type、Path、resType、content，其中Path参数为必填，其他3个参数均含默认值，不传参数时均取默认值；
[0035]type为汇总维度，传入1-6的整数，分别对应：1：按城市，2：按车型，3：按车辆前后门，4：按时间，5：按班次，6：按上下客，默认值为1；
[0036]path为汇总结果路径，是必填参数；
[0037]resType为汇总结果类型；
[0038]content为汇总内容。
[0039]优选的，自动化测试分析系统的结果根据API接口文档，支持接口对外开放；自动化测试分析系统包括自动分析结果获取接口O，该接口O调用时使用GET方法，不需要传入参数，即可调用该接口获取自动分析模块的生成结果。
[0040]进一步的，该自动化测试分析方法，可实时展示执行日志、当前执行任务内容、执行进度、执行成功或失败情况。
[0041]与现有技术相比，上述技术方案中的一个技术方案具有如下有益效果：通过将标注功能集成到自动测试平台，只需要将需要处理的视频输入到自动测试平台，即可自动标注输出测试集、自动汇总分析输出测试结果，方便快捷，大大提高了测试效率；同时支持多种格式的结果输出，对外提供接口，支持其他平台对接，易用性更高。同时具备以下优点：
[0042]1、减少人力投入，降低成本。
[0043]2、自动测试并输出结果，减少由于人员差异带来的误差。
[0044]3、使用方便，输出内容格式多样化。
[0045]4、将标注脚本可视化、输出格式多样化，并集成到平台，提高易用性。
[0046]5、提供对外接口，支持对接。
附图说明
[0047]图1为本公开实施例提供的一种基于自动标注的自动化测试分析方法的流程图；
具体实施方式
[0048]为了阐明本专利技术的技术方案和工作原理，下面将结合附图对本公开实施方式做进一步的详细描述。
[0049]上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
[0050]第一方面：本公开实施例提供了一种基于自动标注的自动化测试分析系统：该系统包括引导模块A、引导模块B、引导模块C、引导模块D、自动标注模块、自动汇总模块、自动分析模块，分析平台；
[0051]自动标注模块对视频进行处理，按帧拆分成图片集，并且按照视频所属城市、线路、车辆等信息进行分组；
[0052]引导模块A，用于进行标注配置的操作引导，可以配置标注类型，所述标注类型有
客流、开关门等，继续配置生成的图片集格式(如：jpg，png等)、标注结果格式(如：json，excel，txt等)、标注结果内容(如：date，time，bus_id等)、标注结果存储路径等；自动标注模块根据标注类型选择终端上传的视频集，根据引导模块A的配置，在对应路径生成相应格式的标注结果。
[0053]引导模块B，用于选择是否进行邮件推送，若是，需要配置邮箱服务器和接收人的邮箱地址，如xingzheyi@xingzheyi.com，在自动标注结束后，将标注结果通过邮件推送给对应接收人，接收人收到邮件后可以选择是否进行对标注结果进行抽查，若选择是，则对抽查的部分进行检查和人工重新标注，将抽查标注结果输入至分析平台进行自动分析；若否，直接跳过该模块。
[0054]引导模块C，用于选择是否需要对数据进行自动汇总，若是，将进行自动汇总模块的汇总配置引导，可以选择汇总的维度(如：按城市、按车型等)、汇总内容(如：上客数、下客数等)、汇总结果输出格式(如：json、excel、图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自动标注的自动化测试分析系统，其特征在于，该系统包括自动标注模块、引导模块A、引导模块B、引导模块C、引导模块D、自动汇总模块、自动分析模块，及分析平台；所述自动标注模块对视频进行处理，按帧拆分成图片集，图片集按视频所属城市、线路、车辆等信息进行分组；所述引导模块A，用于进行标注配置的操作引导，可以配置标注类型、生成的图片集格式、标注结果格式、标注结果内容、标注结果存储路径；自动标注模块根据标注类型选择终端上传的视频集，并根据引导模块A的配置，在对应路径生成相应格式的标注结果；所述引导模块B，用于选择是否进行邮件推送，若是，则配置邮箱服务器和接收人的邮箱地址，将标注结果通过邮件推送给对应接收人，接收人收到邮件后，可以选择是否对标注结果进行抽查，若选择抽查，则对抽查的部分进行检查和人工重新标注，将抽查的重新标注结果输入至分析平台；若否，直接跳过该模块；所述引导模块C，用于选择是否需要对数据进行自动汇总，若是，则进行自动汇总模块的汇总配置引导，可以选择汇总的维度、汇总内容、汇总结果输出格式、汇总结果输出路径；若否，将直接按照引导模块A和B的配置内容输出结果；所述引导模块D，用于选择是否自动分析，若是，则对抽查标注结果配置等待超时时间t1、配置抽查结果轮询时间t2；根据t1和t2，自动分析模块对标注结果进行自动分析；若否，跳过该模块。2.根据权利要求1所述的一种基于自动标注的自动化测试分析系统，其特征在于，该自动化测试分析系统，可实时展示执行日志、当前执行任务内容、执行进度、执行成功或失败情况。3.根据权利要求1所述的一种基于自动标注的自动化测试分析系统，其特征在于，自动分析模块生成分析结果时，可以按不同的筛选条件进行统计：按日期统计一段时间内的标注准确率和召回率，和/或按照车型统计各车型的标注准确率和召回率，和/或通过折线图展示近期算法模型的质量趋势；和/或通过图表展示算法模型对每一类车型的客流图像识别成功率。4.一种基于自动标注的自动化测试分析方法，其特征在于，该方法包括如下步骤：根据一种基于自动标注的自动化测试分析系统中的引导模块A、引导模块B、引导模块C、引导模块D完成引导配置；通过自动标注模块对视频进行处理，按帧拆分成图片集，并对图片集按视频所属城市、线路、车辆等信息进行分组，根据引导模块A的配置，在对应路径生成相应格式的标注结果；将标注结果上传至分析平台；检测引导模块B是否配置邮件推送，若是，自动标注模块进行邮件推送提醒，将标注结果推送给对应的接收人，提醒接收人是否对标注结果进行抽查，若接收人选择对标注结果进行抽查，则对抽查的部分进行检查和人工重新标注，将抽查标注结果输入至分析平台；若否，则跳过该步骤；通过自动汇总模块检测是否配置自动汇总，若是，则按照引导模块C的配置，对标注结
果进行自动汇总和生成相应的文件；若否，则跳过该步骤；通过自动分析模块检测是否配置自动分析，若是，自动分析模块检测自动分析是否到达等待超时时间t1，当未到达等待超时时间t1时，则每隔轮询时间t2，检查一次分析平台...

【专利技术属性】
技术研发人员：李敬，秦素娟，周金明，
申请(专利权)人：南京行者易智能交通科技有限公司，
类型：发明
国别省市：