【技术实现步骤摘要】
本专利技术设计机器学习域计算机视觉应用,涉及一种针对图像损坏的目标检测测试时间域适应方法。
技术介绍
1、数字图像目标检测技术在自动驾驶,机器人等领域有着重要的应用,目前目标检测算法在准确性和高效性上都有很大的进展,但是当向图像注入逼真的损坏污染时,目标检测算法的准确性会大幅下降,如常见的抖动和下雪图像污染等,导致直接测试性能下降,出现检测框重复或者错误.目前针对模型鲁棒性的研究中,无监督预适应在训练域训练通用模型时,源域和目标域数据样本都可用.然而由于数据隐私问题,可能无法获得源域数据；无源域适应研究不需要源域数据,但是要求训练域训练通用模型时需要访问整个目标域数据,即可以在适应前估计目标域分布.例如自熵下降策略来寻找伪标签生成的可信阈值(a free lunch for unsupervised domain adaptive object detection withoutsource data)。hcl提出了历史角度对比实例区别(model adaptation:historicalcontrastive learningfor unsupervised domain adaptation without source data)，以鼓励当前表征和历史表征之间的一致性。lods通过风格增强模块增强了目标图像的风格(source-free object detection by learning to overlook domain style)，减少了原始图像与增强图像之间的风格程度差异。不久前，a2sfod被提出将目标
技术实现思路
1、本专利技术要解决的技术问题是,提供一种能够满足目标域分布的不可预测性和对于即时推理要求的目标检测域适应方法。本专利技术首次解决测试时间域适应在目标检测任务的应用,解决了目标域分布不可预测时的即时推理，不需要访问整个目标域数据并且进行多次训练，也实现了提升目标检测模型的性能。
2、本专利技术至少通过如下技术方案之一实现。
3、一种针对图像损坏的目标检测测试时间域适应方法，包括以下步骤：
4、从测试数据流获取一批无标签的目标域样本；对目标域样本逐一进行目标检测测试,得到每个样本上目标的位置和种类；
5、构建教师网络和学生网络作为域适应目标检测网络,基于自监督学习和分布对齐构建损失函数梯度下降更新学生网络，教师网络通过滑动平均修改学生网络的权重；使用训练好的域适应目标检测网络对目标域数据进行目标检测。
6、进一步地，所述学生网络和教师网络的结构均为faster r-cnn或detr。
7、进一步地，对目标域样本逐一进行目标检测测试之前，先进行预处理，预处理包括强数据增强和弱数据增强操作，强数据增强操作包括尺度抖动、曝光度抖动、亮度抖动、对比度抖动、锐度抖动、平移旋转和随机遮挡；弱数据增强操作包括随机调整大小和随机翻转。
8、进一步地，自监督学习训练包括以下步骤：
9、教师网络在弱数据增强的数据上预测结果,获得伪标签即边界框的坐标和对象类别标签学生网络将伪标签对象视为真标签,并且在学生网络上应用标准的监督学习损失，即分类损失和回归损失对于每个候选区域，该损失比较网络的类别预测分数与真实标签之间的差，通过量化损失以提高正样本的分类分数，降低负样本的分类分数；边回归损失用于比较学生网络生成的边界框与真实边界框之间的差异，以减小生成边界框的误差，使其尽可能接近真实目标边界框。
10、进一步地，分类损失使用交叉熵损失函数计算，用于确定候选区域中是否包含目标以及其属于哪个类别。
11、进一步地，回归损失采用平滑的l1损失计算，用于帮助网络定位检测到的目标的边界框。
12、进一步地，基于分布对齐目标域样本的自监督训练正则包括以下步骤：
13、离线保存源域前景和骨干特征的分布，只需对源域模型和源域数据进行一次,得到源域分布后保存为定值,训练时的迭代分布不包含步骤：源域数据ds输入源模型fi(xi；θ)，xi为源域数据，θ为源域网络模型中的参数，输出特征图fi和预测结果的候选框的特征ai进行平均池化操作,获得每张图的向量化特征gf(xi)和ga(xi)，之后使用多元高斯分布估计均值和方差来描述全局和前景特征分布,源域全局特征高斯分布的均值和方差前景特征高斯分布的均值和方差的计算如下:
14、
15、
16、增量更新目标域分布：使用指数移动平均的方式估计真实的目标域分布,具体是使用超参数来控制当前小批量的贡献，随着目标域数据进入逐步更新分布，初始值选择第一个或者第一批样本的均值和方差作为初始均值方差；目标域全局特征均值和方差和前景特征分布的均值和方差通过以下的规则更新增量估计：
17、
18、μt＝μt+δ
19、
20、其中，δ表示均值，∑t，表示方差，μt为目标域特征均值，b为目标域数据集合，xj指代单个目标域数据,g(xj)为每张图的向量化特征，γ为超参数，控制批量贡献值的大小；从而得源域中的全局和前景特征高斯分布目标域的全局和前景特征高斯分布
21、获得目标域分布后和保存的源域分布对齐,计算两个高斯分布之间的kl散度来衡量特征分布之间的差异，最小化两个多变量高斯分布之间的对称kl散度来实现分布对齐，dkl为计算两个分布之间kl散度的函数；
22、由于kl散度计算不对称，使用以下方式计算全局特征分布差异和前景特征分布差异
23、
24、
25、进一步地，更新域适应网络中的学生网络的权重:
26、测试时间域适应的损失函数总结为：
27、
28、其中的为权衡参数,损失函数包含学生网络上应用标准的监督学习损失，即分类损失和回归损失全局特征分布差异和前景特征分布差异
29、进一步地，根据损失函数通过梯度下降更新学生网络：
30、
31、其中α为超参数，θ为学生网络的网络权重参数，为损失函数的导数。
32、进一步地，教师网络的权重是学生网络的指数移动平均值：
33、
34、其中β为超参数，为教师网络的网络权重参数，随着目标域数据的到来,不断迭代此过程。
35、与现有的技术相比，本专利技术的有益效果为：
36、使用使用教师和学生模型以及强弱数据增强进行自监督学习可以使得训练好的源域模型在无需标注数据的情况下进行有效自我指导,在数据有限的情况下,有助于学生模型更快速的学习和提高性能,帮助学生模型本文档来自技高网...
【技术保护点】
1.一种针对图像损坏的目标检测测试时间域适应方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种针对图像损坏的目标检测测试时间域适应方法，其特征在于，所述学生网络和教师网络的结构均为Faster R-CNN或DETR。
3.根据权利要求1所述的一种针对图像损坏的目标检测测试时间域适应方法，其特征在于，对目标域样本逐一进行目标检测测试之前，先进行预处理，预处理包括强数据增强和弱数据增强操作，强数据增强操作包括尺度抖动、曝光度抖动、亮度抖动、对比度抖动、锐度抖动、平移旋转和随机遮挡；弱数据增强操作包括随机调整大小和随机翻转。
4.根据权利要求1所述的一种针对图像损坏的目标检测测试时间域适应方法，其特征在于，自监督学习训练包括以下步骤：
5.根据权利要求4所述的一种针对图像损坏的目标检测测试时间域适应方法，其特征在于，分类损失使用交叉熵损失函数计算，用于确定候选区域中是否包含目标以及其属于哪个类别。
6.根据权利要求4所述的一种针对图像损坏的目标检测测试时间域适应方法，其特征在于，回归损失采用平滑的L1损失计算，用于
7.根据权利要求1所述的一种针对图像损坏的目标检测测试时间域适应方法，其特征在于，基于分布对齐目标域样本的自监督训练正则包括以下步骤：
8.根据权利要求6、权利要求7所述的一种针对图像损坏的目标检测测试时间域适应方法，其特征在于，更新域适应网络中的学生网络的权重:
9.根据权利要求8所述的一种针对图像损坏的目标检测测试时间域适应方法，其特征在于，根据损失函数通过梯度下降更新学生网络：
10.根据权利要求9所述的一种针对图像损坏的目标检测测试时间域适应方法，其特征在于，教师网络的权重是学生网络的指数移动平均值：
...【技术特征摘要】
1.一种针对图像损坏的目标检测测试时间域适应方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种针对图像损坏的目标检测测试时间域适应方法，其特征在于，所述学生网络和教师网络的结构均为faster r-cnn或detr。
3.根据权利要求1所述的一种针对图像损坏的目标检测测试时间域适应方法，其特征在于，对目标域样本逐一进行目标检测测试之前，先进行预处理，预处理包括强数据增强和弱数据增强操作，强数据增强操作包括尺度抖动、曝光度抖动、亮度抖动、对比度抖动、锐度抖动、平移旋转和随机遮挡；弱数据增强操作包括随机调整大小和随机翻转。
4.根据权利要求1所述的一种针对图像损坏的目标检测测试时间域适应方法，其特征在于，自监督学习训练包括以下步骤：
5.根据权利要求4所述的一种针对图像损坏的目标检测测试时间域适应方法，其特征在于，分类损失使用交叉...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。