基于少量标签数据自监督联合学习的图像分类方法及系统技术方案

本发明专利技术公开了一种基于少量标签数据自监督联合学习的图像分类方法及系统，其对无标签图像数据进行灰度转化，并为灰度图像设置色彩标签；对无标签图像数据按比例进行裁剪，并为裁剪后的小图像设置相对位置标签；对无标签图像数据旋转多个角度，并为旋转图像设置角度旋转标签；采用上述三种自监督图像数据以及带有少量标签的图像数据对基础训练模型进行综合训练，得到少量标签训练模型。通过在训练模型中分别引入三种自监督任务，使少量有标签数据和三种自监督任务共用一个编码层结构参数共享，让原本少量有标签数据学习特征不明显变为学习特征充分；利用自监督学习任务提高特征提取网络的表征能力，改善少量有标签数据分类任务的效果。务的效果。务的效果。

【技术实现步骤摘要】
基于少量标签数据自监督联合学习的图像分类方法及系统


[0001]本专利技术涉及图像分类识别
，尤其是涉及一种基于少量标签数据自监督联合学习的图像分类方法及系统。

技术介绍

[0002]随着大数据时代的到来，人工智能技术已经广泛地应用到社会生活的各个方面：计算机视觉识别、自然语言处理和时序数据预测等，其中计算机视觉的成果是工业界应用最广泛。图像分类任务作为计算机视觉领域的基础任务之一，其基本目的是判断图像中包含的物体类别。从一开始的传统方法，即手工提取图片特征到后来的深度学习方法，研究者们对图像分类的探索也在不断深入。近几年图像分类模型如雨后春笋般涌现出来，它们在大规模有标签数据集上能够很好的对图像进行分类，但是当标签数据有限时，它们的分类效果大不如前。这是因为它们训练过程中依赖标签数据，而人工标注的标签数据相比原始的无标签图像数据获取成本要难得多，而深度学习的发展方向也不能单一只依赖有标签数据。

技术实现思路

[0003]本专利技术的目的在于克服上述技术不足，提出一种基于少量标签数据自监督联合学习的图像分类方法及系统，通过利用自监督学习任务提高特征提取网络的表征能力，实现改善少量有标签数据分类任务的技术效果。
[0004]为达到上述技术目的，本专利技术的技术方案第一方面提供一种基于少量标签数据自监督联合学习的图像分类方法，其包括如下步骤：对无标签图像数据进行色彩预处理，将每张图像进行灰度转化，并为灰度图像设置色彩标签；对无标签图像数据进行相对位置预处理，将每张图像按比例进行裁剪，并为裁剪后的小图像设置相对原始的无标签图像的相对位置标签；对无标签图像数据进行旋转角度预处理，将每张图像旋转多个角度，并为不同角度的旋转图像设置相对原始的无标签图像的角度旋转标签；采用带有彩色标签的灰度图像数据、带有相对位置标签的小图像数据、带有角度旋转标签的旋转图像数据以及带有少量标签的图像数据对基础训练模型进行综合训练，经过迭代训练得到少量标签训练模型，采用训练好的少量标签训练模型对图像进行分类。
[0005]本专利技术第二方面提供一种基于少量标签数据自监督联合学习的图像分类系统，其包括如下功能模块：灰度处理模块，用于对无标签图像数据进行色彩预处理，将每张图像进行灰度转化，并为灰度图像设置色彩标签；位置处理模块，用于对无标签图像数据进行相对位置预处理，将每张图像按比例进行裁剪，并为裁剪后的小图像设置相对原始的无标签图像的相对位置标签；
角度处理模块，用于对无标签图像数据进行旋转角度预处理，将每张图像旋转多个角度，并为不同角度的旋转图像设置相对原始的无标签图像的角度旋转标签；模型训练模块，用于采用带有彩色标签的灰度图像数据、带有相对位置标签的小图像数据、带有角度旋转标签的旋转图像数据以及带有少量标签的图像数据对基础训练模型进行综合训练，经过迭代训练得到少量标签训练模型，采用训练好的少量标签训练模型对图像进行分类。
[0006]本专利技术第三方面提供一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于少量标签数据自监督联合学习的图像分类方法的步骤。
[0007]本专利技术第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于少量标签数据自监督联合学习的图像分类方法的步骤。
[0008]与现有技术相比，本专利技术通过在训练模型中分别引入图像色彩修复任务、图像相对位置预测任务和图片旋转角度任务，基于自监督学习方法从图像的色彩语义信息、图像内相对位置语义信息和图片角度语义信息学习图片特征，使少量有标签数据和三种自监督任务共用一个编码层结构参数共享，让原本少量有标签数据学习特征不明显变为学习特征充分；且这些自监督任务完全不需要人工进行标注，大大降低了人工标注的成本。本专利技术实现了一种少量有标签数据自监督联合学习图像分类方法，其利用自监督学习任务提高特征提取网络的表征能力改善了少量有标签数据分类任务的效果，与传统少量有标签数据模型相比，大大提高了特征学习的能力。
附图说明
[0009]图1是本专利技术实施例所述的基于少量标签数据自监督联合学习的图像分类方法的流程框图；图2是图1中步骤S4的分步骤流程框图；图3是本专利技术实施例所述的基于少量标签数据自监督联合学习的图像分类系统的模块框图。
具体实施方式
[0010]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0011]目前，机器学习中基本的学习方法有：监督学习、半监督学习和无监督学习。它们最大的区别就是模型在训练时需要人工标注的标签信息，监督学习利用大量的标签数据来训练模型，使模型最终学习到输入和输出标签之间的相关性；半监督学习利用少量有标签的数据和大量无标签的数据来训练网络；而无监督学习不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系。使用监督学习时用户需要足够的标签数据。为了获得这些信息，需要手工标签数据(图像/文本)，这是一个既耗时又昂贵的过程。因此想要在不需要手工标签数据的情况下，训练过程还能对任务本身有很大的帮助，可以包含更多的语义
特征，自监督学习因此被提出。自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。
[0012]基于上述内容，本专利技术实施例提供一种基于少量标签数据自监督联合学习的图像分类方法，如图1所示，其包括如下步骤：S1、对无标签图像数据进行色彩预处理，将每张图像进行灰度转化，并为灰度图像设置色彩标签。
[0013]即，将无标签图像的原始彩色图像分为R、G、B三个颜色通道分量，分别显示出红绿蓝颜色，并采用加权平均值的方式进行灰度等分处理，对灰度等分处理后的灰度图像设置色彩标签。具体是按照一定权值，对无标签图像的原始彩色图像中R、G、B三个颜色通道分量的值加权平均，公式如下：上式中，分别为R、G、B的权值，取不同的值形成不同的灰度图像。由于人眼对绿色最为敏感，红色次之，对蓝色的敏感性最低，因此使将得到较易识别的灰度图像。在此设置，，；由此得到一组灰度图像X
gray
和原始的无标签图像彩色Y，每一个灰度图像均设有自己的色彩标签。
[0014]S2、对无标签图像数据进行相对位置预处理，将每张图像按比例进行裁剪，并为裁剪后的小图像设置相对原始的无标签图像的相对位置标签。
[0015]即，将每张图像按比例进行裁剪，基于小图像相对原始的无标签图像的相对位置，设置各个小图像相对原始的无标签图像的相对位置标签，并选取中心位置的小图像作为中心小图像。
[0016]例如：可以将原始的无标签图像分为3x3的小图像，并为每一个小图像编号。
[0017]然后在自监督训练模型的数据相对位置预测任务中，将中心小图像和其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于少量标签数据自监督联合学习的图像分类方法，其特征在于，包括如下步骤：对无标签图像数据进行色彩预处理，将每张图像进行灰度转化，并为灰度图像设置色彩标签；对无标签图像数据进行相对位置预处理，将每张图像按比例进行裁剪，并为裁剪后的小图像设置相对原始的无标签图像的相对位置标签；对无标签图像数据进行旋转角度预处理，将每张图像旋转多个角度，并为不同角度的旋转图像设置相对原始的无标签图像的角度旋转标签；采用带有彩色标签的灰度图像数据、带有相对位置标签的小图像数据、带有角度旋转标签的旋转图像数据以及带有少量标签的图像数据对基础训练模型进行综合训练，经过迭代训练得到少量标签训练模型，采用训练好的少量标签训练模型对图像进行分类。2.根据权利要求1所述基于少量标签数据自监督联合学习的图像分类方法，其特征在于，所述对无标签图像数据进行色彩预处理，将每张图像进行灰度转化，并为灰度图像设置色彩标签；包含：将无标签图像的原始彩色图像分为R、G、B三个颜色通道分量，并采用加权平均值的方式进行灰度等分处理，对灰度等分处理后的灰度图像设置色彩标签。3.根据权利要求1所述基于少量标签数据自监督联合学习的图像分类方法，其特征在于，所述对无标签图像数据进行相对位置预处理，将每张图像按比例进行裁剪，并为裁剪后的小图像设置相对原始的无标签图像的相对位置标签；包含：将每张图像按比例进行裁剪，基于小图像相对原始的无标签图像的相对位置，设置各个小图像相对原始的无标签图像的相对位置标签，并选取中心位置的小图像作为中心小图像。4.根据权利要求1所述基于少量标签数据自监督联合学习的图像分类方法，其特征在于，所述对无标签图像数据进行旋转角度预处理，将每张图像旋转多个角度，并为不同角度的旋转图像设置相对原始的无标签图像的角度旋转标签；包含：将无标签图像数据自RGB图像转化为HSV颜色空间图像，对HSV转换后的图像进行多个角度的旋转，并基于原始的无标签图像的角度设置旋转图像相对原始的无标签图像的角度旋转标签。5.根据权利要求1所述基于少量标签数据自监督联合学习的图像分类方法，其特征在于，所述带有彩色标签的灰度图像数据、带有相对位置标签的小图像数据、带有角度旋转标签的旋转图像数据为自监督任务数据，在采用自监督任务数据以及带有少量标签的图像数据对基础训练模型进行综合训练的过程中，通过自监督任务数据以及带有少量标签的图像数据对训练模型的损失函数进行调整。6.根据权利要求1所述基于少量标签数据自监督联合学习的图像分类方法，其特征在于，所述采用带有彩色标签的灰度图像数据、带有相对位置标签的小图像数据、带有角度旋转标签的旋转图像数据以及带有少量标签的图像数据对基础训练模型进行综合训练，经过迭代训练得...

【专利技术属性】
技术研发人员：丁冬睿，曲浩，王潇涵，杨光远，房体品，逯天斌，
申请(专利权)人：广东众聚人工智能科技有限公司，
类型：发明
国别省市：