一种领域自适应深度学习方法及可读存储介质技术

本发明专利技术公开了一种领域自适应深度学习方法，该方法将目标域图像进行旋转变换，得到自监督学习训练样本集；将转换后的自监督学习训练样本集和源领域训练样本集进行联合训练，得到领域自适应深度学习模型用于目标域上的视觉任务。该方法无需对目标域样本进行标注，能有效地学习目标域特征表示，提升目标域上计算机视觉任务的性能。本申请还公开了一种领域自适应深度学习可读存储介质，同样具有上述有益效果。

【技术实现步骤摘要】
一种领域自适应深度学习方法及可读存储介质
本专利技术涉及领域自适应深度学习领域，特别是面向计算机视觉任务的领域自适应深度学习方法及可读存储介质。
技术介绍
计算机视觉任务中的图像分类、图像语义分割、目标识别、目标检测等模型，通常都是通过监督学习训练获得的。监督学习，特别是基于深度神经网络的监督学习，通常需要大量的标注的训练样本。这些样本的标注需要耗费大量的人力物力，比如，图像分割需要进行逐像素的语义标注，标注难度非常大，成本非常高。当模型在标注数据上训练完成之后，将其应用到测试数据上。当测试数据与训练数据具有相同的分布时，监督学习是一种非常有效的方法。然而实际应用中通常会出现测试数据与训练数据分布不同的情况，从而使得在训练数据上学习的模型性能下降。领域自适应(domainadaptation)是解决上述由于训练和测试数据分布差异引起模型性能下降问题的一类技术方法。通常将训练数据集称为源领域，测试数据集称为目标领域。源领域的数据是带有标注信息的，而目标领域的数据通常是没有标注信息的。领域自适应技术旨在将源领域的监督信息迁移到目标领域，提升目标领域上任务的性能。基于深度神经网络的领域自适应学习通常是通过学习跨领域不变的特征表示，即具有领域共性的特征表示，来提升目标领域上的任务的性能的。为了得到跨领域不变特征表示，当前主流的方法是通过领域对抗训练来实现的。领域对抗训练因为需要同时优化一对相互对抗的目标函数，训练过程的收敛比非对抗训练困难，训练得到的模型往往不是最优的。
技术实现思路
本专利技术要解决的技术问题是提供一种领域自适应深度学习方法，该方法面向计算机视觉任务，提供一种非对抗式的领域自适应方法，以提高目标领域上任务的性能；本申请同时提供一种领域自适应深度学习可读存储介质，同样解决上述技术问题。本申请提供一种领域自适应深度学习方法，包括：步骤1：对每一个目标域图像，按设定的角度旋转，旋转后形成的图像分别对应不同的类别标签；将旋转后形成的图像缩放裁剪到相同尺寸，然后将所有图像顺序随机打乱，每个图像对应的类别标签保持不变，形成自监督学习训练样本集；步骤2：通过多任务学习深度神经网络，对源领域训练样本集构建目标域上的视觉任务(T)，同时对所述自监督学习训练样本集构建图像分类任务，然后对源领域训练样本集和自监督学习训练样本集进行联合训练；步骤3：将上述联合训练得到的深度学习模型用于目标域上的视觉任务(T)。可选地，对步骤1中每一个目标域图像进行0°、90°、180°的旋转，形成三张新的图片。可选地，步骤1中旋转后形成的图像缩放裁剪到长、宽均为224像素。可选地，步骤1中旋转后形成的图像缩放之前进行数据增强，所述数据增强包括随机亮度或饱和度调节。可选地，所述多任务学习深度神经网络包括编码器主干网络(F),图像分类器网络分支(C)和视觉任务网络分支(S)；其中编码器主干网络(F)和图像分类器网络分支(C)对所述自监督学习训练样本集构建图像分类任务，编码器主干网络(F)和视觉任务网络分支(S)对源领域训练样本集构建学习任务(T)。本专利技术提供的可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现所述领域自适应深度学习方法的步骤。本专利技术提供的领域自适应深度学习方法，通过联合源领域监督学习与目标领域自监督学习任务来学习目标领域特征表示，从而实现领域自适应。该方法既能充分发挥监督学习在深度神经网络训练中的高效性，又不依赖人工标注来构建目标领域自监督学习训练集。通过源领域样本和目标领域样本的联合训练，有效地利用了源领域与目标领域的共性，以建立适应目标领域任务的特征表示，从而提高目标领域上任务的性能。本专利技术提供的领域自适应深度学习可读存储介质，同样具有上述有益效果。附图说明图1是本专利技术实施例的自监督领域自适应深度学习训练过程的流程示意图。图2是将训练得到的模型用于目标领域测试的流程示意图。具体实施方式下面结合附图对本专利技术作进一步详细描述。图1给出了本专利技术实施例的领域自适应深度学习训练流程示意图。该方法主要包括以下步骤：步骤1：将目标域图像进行旋转变换，得到自监督学习训练样本集；步骤2：将转换后的自监督学习训练样本集和源领域训练样本进行联合训练，得到深度学习模型。步骤3：将上述联合训练得到的模型用于目标域上的视觉任务T。步骤1中将目标域图像进行旋转变换，得到自监督学习训练样本集。该过程首先对目标域图像分别进行0°、90°和180°的旋转，三个旋转角度分别对应类别标签0，1和2。这个过程不需要人工对每一张图片逐一进行标注，实现了自监督学习中标注样本的自动生成。对旋转后的图像进行数据增强预处理，包括随机调节对比度、亮度，然后缩放裁剪到统一的图片大小，本实施例图像缩放裁剪成长、宽均为224像素。将处理后的图像顺序随机打乱，每个图像对应的标签不变。该过程输入为目标域图像，输出为转换后的目标域图像Xt及其对应的旋转类别标签Yt。步骤2将转换后的自监督学习训练样本集和源领域训练样本进行联合训练，得到深度学习模型。该过程首先构建一个多任务学习深度神经网络，该网络包括一个特征提取编码器主干网络F，一个图像分类器网络分支C和用于目标域上的视觉任务T对应的网络分支S。该网络中的编码器主干网络F和视觉任务网络分支S用于源域样本上任务T的监督学习任务；编码器主干网络F和图像分类器网络分支C用于变换后的目标领域自监督学习样本上的图像分类任务。图中，黑色实线箭头代表神经网络中数据的正向传播，虚线表示梯度的反向传播。对于图像分类任务，将目标域变换后的图像Xt输入编码器主干网络F,其输出的特征作为图像分类器网络分支C的输入，得到的输出Yt*为预测的图像旋转类别。分类器损失函数根据标注类别Yt与预测类别Yt*计算出分类器误差，该误差通过反向传播对图像分类器网络分支C和特征编码器F的参数进行更新。对于视觉任务T，将源域图像Xs输入编码器主干网络F,其输出的特征作为视觉任务T的网络分支S的输入，得到的输出Ys*为视觉任务T的预测值，视觉任务T损失函数根据标注类别Ys与预测类别Ys*计算出视觉任务T的误差，该误差通过反向传播对视觉任务网络分支S和编码器主干网络F的参数进行更新。由于源域和目标域的样本均影响编码器主干网络F的参数更新，因此通过训练得到的编码器主干网络F能够学习到跨领域的特征表示，从而实现对目标领域的自适应。图2给出了将领域自适应学习得到的模型应用于目标领域视觉任务T的流程示意图。如图2所示，特征提取编码器主干网络F对输入的目标领域图像提取特征，然后将得到的特征作为任务T网络分支C的输入，通过前向传播计算得到任务T预测结果。下面对本申请实施例提供的可读存储介质进行介绍，下文描述的可读存储介质与上文描述的领域自适应深度学习方法可相互对应参照。本申请公开的一种可读存储介质，其上存储有程序，程序被处理器执行时实现领域自适应深度学习方法的步骤。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的可读存储介质中程序的流程，可以参考前述方法实施例中的对应过程，在此不再赘述。为了更好地说明本专利技术的技术效果，以图像语义分割任务为例，专利技术人还进行了下列实验：实验1：从SYNTHIA数据集到Cityscapes数据集的图像语义分割领域自适应学习本文档来自技高网...

【技术保护点】
1.一种领域自适应深度学习方法，其特征在于，包括下列步骤：S1：对每一个目标域图像，按设定的角度旋转，旋转后形成的图像分别对应不同的类别标签；将旋转后形成的图像缩放裁剪到相同尺寸，然后将所有图像顺序随机打乱，每个图像对应的类别标签保持不变，形成自监督学习训练样本集；S2：通过多任务学习深度神经网络，对源领域训练样本集构建目标域上的视觉任务(T)，同时对所述自监督学习训练样本集构建图像分类任务，然后对源领域训练样本集和自监督学习训练样本集进行联合训练；S3：将上述联合训练得到的深度学习模型用于目标域上的视觉任务(T)。

【技术特征摘要】
1.一种领域自适应深度学习方法，其特征在于，包括下列步骤：S1：对每一个目标域图像，按设定的角度旋转，旋转后形成的图像分别对应不同的类别标签；将旋转后形成的图像缩放裁剪到相同尺寸，然后将所有图像顺序随机打乱，每个图像对应的类别标签保持不变，形成自监督学习训练样本集；S2：通过多任务学习深度神经网络，对源领域训练样本集构建目标域上的视觉任务(T)，同时对所述自监督学习训练样本集构建图像分类任务，然后对源领域训练样本集和自监督学习训练样本集进行联合训练；S3：将上述联合训练得到的深度学习模型用于目标域上的视觉任务(T)。2.根据权利要求1所述的方法，其特征在于：对步骤S1中每一个目标域图像进行0°、90°、180°的旋转，形成三张新的图片。3.根据权利要求2所述...

【专利技术属性】
技术研发人员：许娇龙，聂一鸣，肖良，朱琪，商尔科，戴斌，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：北京,11