【技术实现步骤摘要】
所属的技术人员知道，本专利技术可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本专利技术还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)，只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本专利技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本专利技术的限制，本领域的普通技术人员在本专利技术的范围内可以对上述实施例进行变化、修改、替换和变型。
技术介绍
1、目标检测是计算机视觉领域常见和重要的算法任务，已经在智慧城市、电商、工业质检等领域取得广泛应用。在目标检测
2、例如在申请公开号为cn114036036a的专利中公开了一种基于自动标注的自动化测试分析系统、方法及终端设备，涉及图像识别
，该系统包括自动标注模块、引导模块a、引导模块b、引导模块c、引导模块d、自动汇总模块、自动分析模块，及分析平台；自动标注模块对视频进行处理，按帧拆分成图片集，引导模块用于完成自动化测试过程中的各种配置的引导，自动汇总模块根据汇总的维度、汇总内容、汇总结果输出格式、汇总结果输出路径，进行数据汇总，自动分析模块对标注结果进行自动分析。
3、而在授权公告号为cn111027589b的中国专利中公开了一种多分制目标检测算法评价系统及方法，包括以下模块：算法输入模块，用于输入待测算法；测试集准备模块，根据待测算法选择具有被测目标种类的测试集；综合评分模块用于图像质量评分、图像分辨率评分、目标质量评分、目标大小评分加权得到总体综合评分；应用场景评分模块用于对场景图像分辨率评分、场景目标质量评分、场景目标大小评分加权得到应用场景评分；自由评分模块，根据用户测试需求自定义参数生成对应测试集以完成针对性的测评。
4、以上专利均存在本
技术介绍
提出的问题：现有的目标检测评测方法由于样本数据的数量和多样性受限，在验证模型的泛化性和鲁棒性方面覆盖性低。同时，样本数据标注成本高且标注数据的质量和一致性也面临巨大挑战。
技术实现思路
1、为了克服现有技术存在的缺陷与不足，本专利技术提供一种基于多模态模型的目标检测评测方法，通过设计测试指令集实现与多模态模型组进行测试数据编辑交互，完成测试流程自动化的同时提升了在模型鲁棒性和泛化性方面的测试能力。
2、为了达到上述目的，本专利技术采用以下技术方案：
3、构建测试图像集，通过测试图像集对多模态模型组进行微调校准；
4、将测试图像集和图像编辑指令集输入多模态模型组，生成编辑图像集；
5、将编辑图像集加入测试图像集构建新测试图像集，将新测试图像集输入被测模型得到第一推理结果；
6、将新测试图像集、测试指令集和第一推理结果输入多模态模型组，得到第二推理结果；
7、将第一推理结果和第二推理结果输入推理结果评价模块，得到测评结果；
8、重复上述步骤，对测评结果求平均得到最终测评结果。
9、作为优选的技术方案，所述图像编辑指令集用于实现带文本指令的图像交互编辑功能，包括指导多模态模型组完成指定目标检测实例的属性编辑以及增减待测目标检测实例的数量。
10、作为优选的技术方案，所述多模态模型组由语言-视觉模型、检测模型、分割模型和图像定向编辑模型联合组成，其中，语言-视觉模型包括clip模型，检测模型包括dino模型，分割模型包括sam模型，图像定向编辑模型包括inpainting模型。
11、作为优选的技术方案，所述被测模型为待测试验证的目标检测模型。
12、作为优选的技术方案，所述第一推理结果包括目标检测框和检测置信度，第一推理结果为如下格式[x0,y0,x1,y1,score]，其中(x0,y0)为检测目标左上角的坐标值，(x1,y1)为检测目标右下角的坐标值，score为检测目标的置信度。
13、作为优选的技术方案，所述测试指令集为文本化的测试指令，指导多模态模型组完成测试推理以及定向化的图像再编辑，测试指令集的模版如下：
14、
15、其中，测试指令a)表示指导多模态模型组完成指定测试类别的目标检测后，再送入分割模型进行目标检测框的精细化校准，测试指令b)表示指导多模态模型组完成指定目标检测实例的属性编辑，测试指令c)表示指导多模态模型组增减待测试的目标检测实例数量。
16、作为优选的技术方案，所述第二推理结果与第一推理结果的格式相同。
17、作为优选的技术方案，所述测评结果为目标检测任务的评价指标，包括准确率、召回率和平均精度均值。
18、作为优选的技术方案，所述最终测评结果的计算过程用下式表示：
19、
20、式中resulti表示第i次的测评结果，n表示重复次数，result表示最终测评结果。
21、本专利技术的一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现一种基于多模态模型的目标检测评测方法。
22、本专利技术的一种控制器，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现一种基于多模态模型的目标检测评测方法。
23、本专利技术与现有技术相比，具有如下优点和有益效果：
24、(1)本专利技术设计了一种自动化的目标检测算法测评实现流程，在该流程中通过文本化的测试指令集完成与多模态模型组的自动化交互，实现测试数据的自动标注与自动测评，该过程不需要人工干涉，既可显著提升测试效率又保证了测试基准数据的标准化和一致性。
25、(2)本专利技术中的多模态模型组具备文本-图像的多模态交互功能以及带语义提示的图本文档来自技高网...
【技术保护点】
1.一种基于多模态模型的目标检测评测方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的一种基于多模态模型的目标检测评测方法，其特征在于，所述图像编辑指令集用于实现带文本指令的图像交互编辑功能，包括指导多模态模型组完成指定目标检测实例的属性编辑以及增减待测目标检测实例的数量。
3.根据权利要求1所述的一种基于多模态模型的目标检测评测方法，其特征在于，所述多模态模型组由语言-视觉模型、检测模型、分割模型和图像定向编辑模型联合组成，其中，语言-视觉模型包括CLIP模型，检测模型包括DINO模型，分割模型包括SAM模型，图像定向编辑模型包括inpainting模型。
4.根据权利要求1所述的一种基于多模态模型的目标检测评测方法，其特征在于，所述被测模型为待测试验证的目标检测模型。
5.根据权利要求1所述的一种基于多模态模型的目标检测评测方法，其特征在于，所述第一推理结果包括目标检测框和检测置信度。
6.根据权利要求1所述的一种基于多模态模型的目标检测评测方法，其特征在于，所述测试指令集为文本化的测试指令，指导多模态模型组
7.根据权利要求1所述的一种基于多模态模型的目标检测评测方法，其特征在于，所述测评结果为目标检测任务的评价指标，包括准确率、召回率和平均精度均值。
8.根据权利要求1所述的一种基于多模态模型的目标检测评测方法，其特征在于，所述最终测评结果的计算过程用下式表示：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1-8中任一项所述的一种基于多模态模型的目标检测评测方法。
10.一种控制器，包括存储器和处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于执行所述计算机程序时实现权利要求1-8中任一项所述的一种基于多模态模型的目标检测评测方法。
...【技术特征摘要】
1.一种基于多模态模型的目标检测评测方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的一种基于多模态模型的目标检测评测方法，其特征在于，所述图像编辑指令集用于实现带文本指令的图像交互编辑功能，包括指导多模态模型组完成指定目标检测实例的属性编辑以及增减待测目标检测实例的数量。
3.根据权利要求1所述的一种基于多模态模型的目标检测评测方法，其特征在于，所述多模态模型组由语言-视觉模型、检测模型、分割模型和图像定向编辑模型联合组成，其中，语言-视觉模型包括clip模型，检测模型包括dino模型，分割模型包括sam模型，图像定向编辑模型包括inpainting模型。
4.根据权利要求1所述的一种基于多模态模型的目标检测评测方法，其特征在于，所述被测模型为待测试验证的目标检测模型。
5.根据权利要求1所述的一种基于多模态模型的目标检测评测方法，其特征在于，所述第一推理结果包括目标检测框和...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。