基于多级域适应弱监督学习的跨域目标检测方法技术

本发明专利技术公开了基于多级域适应弱监督学习的跨域目标检测方法，利用MUNIT风格迁移由源域D

【技术实现步骤摘要】
基于多级域适应弱监督学习的跨域目标检测方法


[0001]本专利技术属于机器学习中的迁移学习
，具体涉及基于多级域适应弱监督学习的跨域目标检测方法。

技术介绍

[0002]在计算机视觉领域中，目标检测是计算机视觉领域中的一项基本任务，它由图像分类任务发展而来,区别在于不再仅仅只对一张图像中的单一类型目标进行分类,而是要同时完成一张图像里可能存在的多个目标的分类和定位,其中分类是指给目标分配类别标签,定位是指确定目标的外围矩形框的顶点坐标。因此,目标检测任务更具有挑战性,也有着更广阔的应用前景,比如自动驾驶、人脸识别、行人检测、医疗检测等等。同时,目标检测也可以作为图像分割、图像描述、目标跟踪、动作识别等更复杂的计算机视觉任务的研究基础。现有的图像目标检测其通常可以被分为两类：一类是two
‑
stage检测器，最具代表性的是Faster R
‑
CNN。另一种是one
‑
stage检测器，如YOLO、SSD。two
‑
stage检测器具有较高的定位和目标识别精度，而one
‑
stage检测器具有较高的推理速度。
[0003]近年来，使用有监督深度学习的对象检测已经显示出令人印象深刻的结果，但它在跨领域环境中仍然具有挑战性。对于许多实际任务来说，基于深度学习的目标检测器需要大量带边界框和类标注的样本，标注大规模数据集以训练卷积神经网络的成本高得令人望而却步且耗时，同时不同域中的光照、风格、尺度和外观等的变化也会严重影响检测器的性能。
[0004]目前域自适应学习已经成为解决数据标注和领域偏移问题的有效手段。域自适应学习利用已有标注的与目标数据相似的数据集，例如具有相同的类别，来作为源域，通过与未标注的目标域数据进行显式的数据特征对齐，利用源域和目标域同时进行迁移学习，进而获得在目标域上表现尚可的模型。现有的域自适应任务尚存在许多不足之处。具体的，第一，现有迁移学习大多应用在图片分类领域，目标检测领域应用较少；第二，现有的域自适现有技术在无监督领域自适应过程中，无法适应前后数据集差异过大的情况，对数据集要求很高，并且领域自适应后模型精度不高，模型泛化性不强。第三，应用于目标检测的域自适应的方法都使用对抗性训练来对齐跨域转换的全局特征，并实现图像信息传递。然而，这种方法不能有效地匹配局部特征的分布，导致跨域对象检测的改进有限。

技术实现思路

[0005]本专利技术的目的是提供基于多级域适应弱监督学习的跨域目标检测方法，解决了实际应用情况中当源域具实例级标签，而目标域中只有样本级标签时，训练后的目标检测模型跨域检测准确率低的问题。
[0006]本专利技术所采用的技术方案是，基于多级域适应弱监督学习的跨域目标检测方法，具体按照以下步骤实施：
[0007]步骤1、获取源域D
S
数据和目标域D
T
数据，构成目标检测数据集，构建MUNIT网络，利
用源域D
S
数据和目标域D
T
的数据集对MUNIT网络进行训练并生成介于目标域和源域之间的中间域数据集D
G
；
[0008]步骤2、构建Faster RCNN网络作为目标网络，采用源域Ds的数据作为训练集对目标检测器进行训练并得到初步预训练的检测模型，将中间域D
G
和目标域D
T
数据送入检测网络中打上伪标签；
[0009]步骤3、构建图像级和实际级的域分类器，加入步骤2初步预训练的检测模型中，得到具有域自适应的目标检测器；
[0010]步骤4、按照源域D
S
、中间域D
G
、目标域D
T
的顺序渐进将数据集输入具有域自适应的目标检测器进行训练，渐进地适应域差异，得到训练好的目标检测模型；
[0011]步骤5、采用训练好的目标检测模型对目标域的数据集进行目标检测，得到检测结果。
[0012]本专利技术的特点还在于：
[0013]步骤1中MUNIT网络包括生成器和判别器，生成器包括风格编码器、内容编码器、特征交叉模块、解码器，生成器利用源域D
S
数据生成接近目标域D
S
的中间域D
G
数据，判别器用于判断输入的数据是真实的源域D
S
数据还是生成的中间域D
G
数据。
[0014]步骤1具体过程为：
[0015]步骤1.1、把源域Ds和目标域D
T
的数据集以不同的风格和内容的分类标准将其分为相应类数，从源域Ds中选定一个子集X1，并从目标域D
T
选定中也抽取一个子集X2；
[0016]步骤1.2、将子集X1和X2分别输入内风格编码器、内容编码器进行降维操作，得到两种图像特征向量；通过若干个卷积层对其中一种图像特征向量进行降采样，使用深度残差网络会用到的残差块生成低维的内容编码；先通过若干个卷积层对另一种图像特征向量进行降采样，然后经过一个全局池化层和一个全连接层，最后生成低维的风格编码；
[0017]步骤1.3、将子集X1的低维的内容编码与子集X2的低维的风格编码融合，产生风格迁移的图像编码特征，向风格迁移的图像编码特征中加入高斯噪声后进行交叉，得到新结合的编码特征，对新结合的编码特征用解码器升维生成结果图像；
[0018]步骤1.4、将生成结果图像根据风格编码器和内容编码器再次分解成两个编码特征，对于低维的内容编码、低维的风格编码计算误差反向传播，重新调整MUNIT网络参数；将生成的结果图像分别输入风格编码器和内容编码器，生成新的风格编码和新的内容编码，计算步骤1.2中低维的内容编码、低维的风格编码与新的风格编码和新的内容编码之间的差距损失，设置偏差阈值，当差距损失超过偏差阈值时，将这个损失反向传播，重新调整MUNIT网络参数；
[0019]步骤1.5、将子集X1、子集X2、步骤1.3中生成结果图像输入GAN网络，进行判别和对抗训练；利用梯度反转来更新对抗损失；训练后的MUNIT神经网络使用步骤1.1中分类好的源域D
S
和目标域D
T
的数据集来生成中间域D
G
数据集。
[0020]步骤1.3中将子集X1的低维的内容编码与子集X2的低维的风格编码融合具体过程为：
[0021]将子集X2的低维的风格编码先由多层感知器动态生成参数，再经过自适应实例规范化层，得到可进行融合的低维的风格编码，将可进行融合的低维的风格编码和子集X1的低维的内容编码在残差块中进行糅合，然后进行上采样得到风格迁移的图像编码特征。
[0022]GAN网络的损失函数表示为：
[0023][0024]其中，图像的风格特征和内容特征x服从p(x)分布，G为图像的域内生成器，E
C
(x),E
s
(x)分别为图像的内容和风格特征；...

【技术保护点】

【技术特征摘要】
1.基于多级域适应弱监督学习的跨域目标检测方法，其特征在于，具体按照以下步骤实施：步骤1、获取源域D
S
数据和目标域D
T
数据，构成目标检测数据集，构建MUNIT网络，利用源域D
S
数据和目标域D
T
的数据集对MUNIT网络进行训练并生成介于目标域和源域之间的中间域数据集D
G
；步骤2、构建Faster RCNN网络作为目标网络，采用源域Ds的数据作为训练集对目标检测器进行训练并得到初步预训练的检测模型，将中间域D
G
和目标域D
T
数据送入检测网络中打上伪标签；步骤3、构建图像级和实际级的域分类器，加入步骤2初步预训练的检测模型中，得到具有域自适应的目标检测器；步骤4、按照源域D
S
、中间域D
G
、目标域D
T
的顺序渐进将数据集输入具有域自适应的目标检测器进行训练，渐进地适应域差异，得到训练好的目标检测模型；步骤5、采用训练好的目标检测模型对目标域的数据集进行目标检测，得到检测结果。2.根据权利要求1所述基于多级域适应弱监督学习的跨域目标检测方法，其特征在于，步骤1中所述MUNIT网络包括生成器和判别器，所述生成器包括风格编码器、内容编码器、特征交叉模块、解码器，所述生成器利用源域D
S
数据生成接近目标域D
S
的中间域D
G
数据，所述判别器用于判断输入的数据是真实的源域D
S
数据还是生成的中间域D
G
数据。3.根据权利要求2所述基于多级域适应弱监督学习的跨域目标检测方法，其特征在于，步骤1具体过程为：步骤1.1、把源域Ds和目标域D
T
的数据集以不同的风格和内容的分类标准将其分为相应类数，从源域Ds中选定一个子集X1，并从目标域D
T
选定中也抽取一个子集X2；步骤1.2、将子集X1和X2分别输入内风格编码器、内容编码器进行降维操作，得到两种图像特征向量；通过若干个卷积层对其中一种图像特征向量进行降采样，使用深度残差网络会用到的残差块生成低维的内容编码；先通过若干个卷积层对另一种图像特征向量进行降采样，然后经过一个全局池化层和一个全连接层，最后生成低维的风格编码；步骤1.3、将子集X1的低维的内容编码与子集X2的低维的风格编码融合，产生风格迁移的图像编码特征，向风格迁移的图像编码特征中加入高斯噪声后进行交叉，得到新结合的编码特征，对新结合的编码特征用解码器升维生成结果图像；步骤1.4、将生成结果图像根据风格编码器和内容编码器再次分解成两个编码特征，对于低维的内容编码、低维的风格编码计算误差反向传播，重新调整MUNIT网络参数；将生成的结果图像分别输入风格编码器和内容编码器，生成新的风格编码和新的内容编码，计算步骤1.2中低维的内容编码、低维的风格编码与新的风格编码和新的内容编码之间的差距损失，设置偏差阈值，当差距损失超过偏差阈值时，将这个损失反向传播，重新调整MUNIT网络参数；步骤1.5、将子集X1、子集X2、步骤1.3中生成结果图像输入GAN网络，进行判别和对抗训练；利用梯度反转来更新对抗损失；训练后的MUNIT神经网络使用步骤1.1中分类好的源域D
S
和目标域D
T
的数据集来生成中间域D
G
数据集。4.根据权利要求2所述基于多级域适应弱监督学习的跨域目标检测方法，其特征在于，步骤1.3中所述将子集X1的低维的内容编码与子集X2的低维的风格编码融合具体过程为：
将子集X2的低维的风格编码先由多层感知器动态生成参数，再经过自适应实例规范化层，得到可进行融合的低维的风格编码，将可进行融合的低维的风格编码和子集X1的低维的内容编码在残差块中进行糅合，然后进行上采样得到风格迁移的图像编码特征。5.根据权利要求2所述基于多级域适应弱监督学习的跨域目标检测方法，其特征在于，所述GAN网络的损失函数表示为：其中，图像的风格特征...

【专利技术属性】
技术研发人员：刘龙，赵志澎，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：