一种基于多任务适配器微调的伪装目标检测方法技术

本发明专利技术涉及一种基于多任务适配器微调的伪装目标检测方法，提出了一种了“预训练、适应和检测”框架来检测伪装物体，通过在各种任务上学习更加广泛的知识，使其面对伪装物体的欺骗更加“智能”。具体而言，首先利用大规模的多模态数据对基础模型进行预训练，然后并行插入一个轻量级适配器，使预先训练好的模型适应于下游任务。在获得更精细的特征图后，使用COD检测头精确检测像素级伪装目标。本发明专利技术进一步提供了跨任务学习适配器的多任务学习方案，通过对源任务的多任务适配器初始化和对目标任务的多任务适配器自适应，可以学习不同语义类别间的共享知识，从而提高模型的泛化能力。从而提高模型的泛化能力。从而提高模型的泛化能力。

【技术实现步骤摘要】
一种基于多任务适配器微调的伪装目标检测方法


[0001]本专利技术涉及一种伪装目标检测
，具体涉及一种基于预训练大模型和多任务适配器提升模型检测性能和泛化能力的方法。

技术介绍

[0002]伪装目标检测(COD)旨在识别完美隐藏在周围环境中的物体，通常被定义为二值分割任务。由于这种伪装策略通过欺骗观察者的视觉感知系统来工作，因此，解决COD任务需要大量的视觉感知知识，比传统的显著目标检测或分割更具挑战性。近年来，伪装目标检测吸引了计算机视觉领域日益增长的研究兴趣，并促进了许多有价值的现实生活应用，如灾区搜救工作、稀有物种发现、医学图像分割、农业蝗虫检测等。
[0003]早期的工作使用低级手工制作的特征，如颜色、边缘或纹理来检测伪装的物体，这些方法由于缺乏特征差异导致检测性能受到限制。2019年，新的伪装目标数据集CAMO的提出促进了深度神经网络在COD任务中的应用。之后，相继出现了许多基于深度学习的模型。其中一些基于特征融合，通过捕获丰富的上下文信息和聚合跨层次特征来提高多尺度目标检测性能。另外一些利用纹理特征的旋转不变性和抗噪能力来放大伪装对象和背景之间的差异。虽然这些方法提高了伪装目标检测的性能，但在伪装目标与背景具有高度相似性的场景中仍存在局限性。为了获得精确的边界和精细的结构，有大量研究工作通过设计更加复杂的模块来精确提取目标结构，或者利用辅助任务来增强COD主要分割流的识别能力。由于伪装策略本质上欺骗了视觉感知系统，所以基于边缘的检测仍然难以取得良好的性能。为了进一步模拟捕食者在自然界的行为或人类视觉的心理模式，最近出现了一系列仿生方法，如PFNet、MirrorNet和ZoomNet。然而，这些工作以一种简单的方式去模仿人类的视觉系统，这限制了它们在低对比度、被遮挡、小目标和多目标等多种复杂场景中的性能。

技术实现思路

[0004]本专利技术所要解决的技术问题是：
[0005]为了克服现有技术受限于具体模型且无法对伪装目标精确定位的不足，本专利技术提供一种基于多任务适配器微调的伪装目标检测方法。
[0006]为了解决上述技术问题，本专利技术采用的技术方案为：
[0007]一种基于多任务适配器微调的伪装目标检测方法，其特征在于步骤如下：
[0008]步骤1：准备数据集，按照不同语义类别划分为9个互不重叠的子数据集；
[0009]步骤2：构建“预训练、适应和检测”网络框架，所述“预训练、适应和检测”网络模型包括三个部分：大型预训练基础模型、轻量级适配器模块和COD检测头；
[0010]各个部分的构建过程如下：
[0011]步骤2
‑
1：构建大型预训练基础模型；
[0012]所述大型预训练基础模型能够在其他各种数据集上进行预训练，学习包含丰富语义的特征表示；
[0013]步骤2
‑
2：构建轻量级适配器模块；
[0014]所述轻量级适配器模块与大型预训练基础模型并行设计，并且与之相比，只包含少量的可训练参数，通过提取COD任务的先验表示并与基础模型做特征交互，来获取COD任务的多尺度特征；
[0015]步骤2
‑
3：构建COD检测头；
[0016]所述COD检测头接收来自适配器模块输出的金字塔特征，通过将低分辨率、语义强的特征与高分辨率、语义弱的特征相结合，联合推断和发现图像下丰富的视觉知识，以完成COD精确的分割任务；
[0017]步骤3：设计损失函数
[0018]步骤4：训练过程
[0019]所述训练过程先在步骤4
‑
1中按照传统协议在CAMO和COD10K的联合训练集上对模型进行传统训练，然后在步骤4
‑
2至步骤4
‑
5中在多任务数据集上采用多任务学习框架对模型进行训练，以探究该方案是否可以学习到不同语义类别之间的可共享知识；
[0020]步骤4
‑
1：传统训练；
[0021]将包含伪装目标的图像同时输入到大型预训练基础模型和轻量级适配器模块；大型基础模型首先使用多模态数据进行预训练，然后保持参数冻结，仅优化适配器模块和检测头的参数，使得基础模型学习到的通用知识能够有效地迁移到下游COD任务中；
[0022]整个过程采用损失函数在CAMO和COD10K的训练集上对模型进行监督训练，得到训练后的网络模型，最后使用整个CHAMELEON和NC4K数据集，以及CAMO和COD10K的测试集验证模型的有效性；
[0023]步骤4
‑
2：源任务上的多任务适配器初始化；
[0024]将划分好的9个子数据集作为源任务，所有源任务的图像被同时输入到大型预训练基础模型和轻量级适配器模块；大型基础模型加载在多模态数据上预训练好的权重并保持参数冻结，适配器模块和COD检测头被随机初始化，然后在所有源任务的训练集上联合训练适配器和COD检测头；
[0025]步骤4
‑
3：单目标任务上的多任务适配器自适应；
[0026]依次从所有子任务中选取其中一个作为目标任务，将该任务的图像输入到大型预训练基础模型和轻量级适配器模块；大型基础模型加载在多模态数据上预训练好的权重并保持参数冻结，适配器模块使用步骤4
‑
2中的源适配器进行初始化，COD检测头被随机初始化；然后分别在单独的目标任务的训练集上对适配器进行微调；最后在相应的单个目标任务的测试集上测试，评估模型性能；
[0027]步骤4
‑
4：相似任务结组；
[0028]所有子任务依次作为源任务，同时其他任务作为目标任务；保持预训练基础模型参数冻结，在每个源任务的训练集上对模型可训练参数进行调优，以初始化不同目标任务的适配器；然后分别在每个目标任务的测试集上直接进行测试，整个模型参数无需微调；对于每个目标任务，通过将所有源任务的迁移性能除以在该任务上最佳的性能得分，得到归一化结果，然后根据该结果选取在同一个目标任务上迁移性能最佳的几个任务作为最相似的任务进行结组；
[0029]步骤4
‑
5：分组目标任务上的多任务适配器自适应；
[0030]根据步骤4
‑
4的分组策略，依次从所有子任务中选取最相似的几个目标任务结组，将分组任务的图像同时输入到大型预训练基础模型和轻量级适配器模块；大型基础模型加载在多模态数据上预训练好的权重并保持参数冻结，适配器模块使用步骤4
‑
2中预训练好的源适配器初始化，COD检测头被随机初始化；然后在目标任务组内对适配器模块和检测头进行微调；最后在每个独立的目标任务的测试集上进行测试，评估模型性能。
[0031]本专利技术进一步的技术方案：步骤1具体如下：
[0032]下载四个广泛使用的COD数据集：CHAMELEON、CAMO、COD10K、NC4K；
[0033]将整个COD10K数据集和CAMO数据集的人工伪装部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务适配器微调的伪装目标检测方法，其特征在于步骤如下：步骤1：准备数据集，按照不同语义类别划分为9个互不重叠的子数据集；步骤2：构建“预训练、适应和检测”网络框架，所述“预训练、适应和检测”网络模型包括三个部分：大型预训练基础模型、轻量级适配器模块和COD检测头；各个部分的构建过程如下：步骤2
‑
1：构建大型预训练基础模型；所述大型预训练基础模型能够在其他各种数据集上进行预训练，学习包含丰富语义的特征表示；步骤2
‑
2：构建轻量级适配器模块；所述轻量级适配器模块与大型预训练基础模型并行设计，并且与之相比，只包含少量的可训练参数，通过提取COD任务的先验表示并与基础模型做特征交互，来获取COD任务的多尺度特征；步骤2
‑
3：构建COD检测头；所述COD检测头接收来自适配器模块输出的金字塔特征，通过将低分辨率、语义强的特征与高分辨率、语义弱的特征相结合，联合推断和发现图像下丰富的视觉知识，以完成COD精确的分割任务；步骤3：设计损失函数步骤4：训练过程所述训练过程先在步骤4
‑
1中按照传统协议在CAMO和COD10K的联合训练集上对模型进行传统训练，然后在步骤4
‑
2至步骤4
‑
5中在多任务数据集上采用多任务学习框架对模型进行训练，以探究该方案是否可以学习到不同语义类别之间的可共享知识；步骤4
‑
1：传统训练；将包含伪装目标的图像同时输入到大型预训练基础模型和轻量级适配器模块；大型基础模型首先使用多模态数据进行预训练，然后保持参数冻结，仅优化适配器模块和检测头的参数，使得基础模型学习到的通用知识能够有效地迁移到下游COD任务中；整个过程采用损失函数在CAMO和COD10K的训练集上对模型进行监督训练，得到训练后的网络模型，最后使用整个CHAMELEON和NC4K数据集，以及CAMO和COD10K的测试集验证模型的有效性；步骤4
‑
2：源任务上的多任务适配器初始化；将划分好的9个子数据集作为源任务，所有源任务的图像被同时输入到大型预训练基础模型和轻量级适配器模块；大型基础模型加载在多模态数据上预训练好的权重并保持参数冻结，适配器模块和COD检测头被随机初始化，然后在所有源任务的训练集上联合训练适配器和COD检测头；步骤4
‑
3：单目标任务上的多任务适配器自适应；依次从所有子任务中选取其中一个作为目标任务，将该任务的图像输入到大型预训练基础模型和轻量级适配器模块；大型基础模型加载在多模态数据上预训练好的权重并保持参数冻结，适配器模块使用步骤4
‑
2中的源适配器进行初始化，COD检测头被随机初始化；然后分别在单独的目标任务的训练集上对适配器进行微调；最后在相应的单个目标任务的测试集上测试，评估模型性能；
步骤4
‑...

【专利技术属性】
技术研发人员：张艳宁，孔德璇，张世周，邢颖慧，梁国强，王鹏，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：