基于变换识别的自监督表征学习方法及装置制造方法及图纸

本发明专利技术公开了一种基于变换识别的自监督表征学习方法及装置，其中，该方法包括以下步骤：根据训练图片集和选定的缩放操作和旋转操作构建变换图像；初始化神经网络参数，并获取每张原始图像和变换图像的表征；对每张原始图像和变换图像的表征进行分组，并构建损失函数；通过损失函数对表征求导，并更新学习到的表征和更新网络参数；通过损失函数持续更新表征与网络参数，直到满足预设条件，训练结束。该方法可以适应多种模式的输入图像，学习到的视觉表征的表达能力得到进一步增强，可有效用于无监督学习，半监督学习和监督学习下的迁移学习。

Self-supervised Representation Learning Method and Device Based on Transform Recognition

The invention discloses a self-supervised representation learning method and device based on transformation recognition, which comprises the following steps: constructing transformation image according to training picture set and selected scaling and rotation operations; initializing neural network parameters and obtaining the representation of each original image and transformation image; grouping the representation of each original image and transformation image; The loss function is constructed to derive the representation and update the learned representation and network parameters. The loss function is used to update the representation and network parameters continuously until the preset conditions are met and the training is completed. This method can be adapted to input images of various modes, and the expressive ability of visual representation acquired is further enhanced. It can be effectively used in unsupervised learning, semi-supervised learning and transfer learning under supervised learning.

【技术实现步骤摘要】
基于变换识别的自监督表征学习方法及装置
本专利技术涉及计算机视觉和机器学习
，特别涉及一种基于变换识别的自监督表征学习方法及装置。
技术介绍
近年来，卷积神经网络在计算机视觉的许多领域获得了成功，例如分类，检测和分割任务。不同于手工设计的特征，卷积神经网络通过训练参数来学习视觉表征，其目标是最小化给定数据集上的预先设定的目标损失。为了捕获视觉内容的语义概念，这些网络的训练中的目标损失通常以有监督方式进行，依赖于手工标注信息。然而，视觉数据虽然获取成本低，但标签成本高。因此从未标注数据中学习视觉表示引起了研究者的广泛兴趣，其中自监督学习是很有前景的一种方法，其通过整合人类先验知识来捕获语义知识。自监督学习的主要思想是通过利用视觉数据外部和内部的免费可用标签信息来定义代理任务。相关技术中的自监督学习方法大部分是将图像信息的一部分作为输入，并设计代理任务，以预测隐藏的剩余信息或推断不同部分之间的关系。这些方法的主要假设是除非训练好的神经网络能捕获语义知识来理解视觉内容，否则就不能在设计的代理任务上很好地工作。虽然这些自监督学习方法已被证明可替代监督学习得到有用的语义图像表征，并可以将这些表征迁移到其他视觉任务，例如图像分类，对象检测和语义分割，但它们的性能仍然落后于通过监督学习得到的表征。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于变换识别的自监督表征学习方法，该方法可以适应多种模式的输入图像，学习到的视觉表征的表达能力得到进一步增强，可有效用于无监督学习，半监督学习和监督学习下的迁移学习。本专利技术的另一个目的在于提出一种基于变换识别的自监督表征学习装置。为达到上述目的，本专利技术一方面提出了于变换识别的自监督表征学习方法，包括以下步骤：步骤S1，根据训练图片集和选定的缩放操作和旋转操作构建变换图像；步骤S2，初始化神经网络参数，并获取每张原始图像和变换图像的表征；步骤S3，对所述每张原始图像和变换图像的表征进行分组，并构建损失函数；步骤S4，通过所述损失函数对表征求导，并更新学习到的表征和更新网络参数；步骤S5，通过所述损失函数持续更新所述表征与所述网络参数，直到满足预设条件，训练结束。本专利技术实施例的基于变换识别的自监督表征学习方法，通过识别作用输入图像的几何变换，构造监督信号，以监督深度神经网络的训练，同时，引入缩放变换使得表征具有尺度不变的特性，并可以适用于更多类型的输入图片，再引入旋转变化使得表征可以捕获方向等信息，最终综合缩放与旋转变换的模型，进而兼备两者属性，使得学习表征具有更多的视觉语义信息，并可以有效进行无监督学习、半监督学习和监督学习下的迁移学习。另外，根据本专利技术上述实施例的基于变换识别的自监督表征学习方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述步骤S1包括：选取不同的所述缩放操作gZ＝Z(p，m)，其中，p为缩放中心，m为缩放倍数，和所述旋转操作gR＝R(d)，其中，d为旋转角度；使用所述缩放操作和所述旋转操作对训练集里的图片X＝{x1,x2,…,xN}分别进行变换操作，以得到每张图片对应的变换后的图片g(x)。进一步地，在本专利技术的一个实施例中，所述步骤S2包括：初始化所述神经网络参数；使用初始化的神经网络获取不同变换图像下的表征F(g(x))。进一步地，在本专利技术的一个实施例中，所述步骤S3包括：对所述表征F(g(x))按照缩放和旋转进行分组，以得到缩放分组和旋转分组；分别对所述缩放分组和所述旋转分组使用交叉熵得到损失函数lZ和损失函数lR；通过所述损失函数lZ和所述损失函数lR加权求和并对所有训练图片求和得到最终损失函数L。进一步地，在本专利技术的一个实施例中，所述步骤S4包括：根据目标函数对局部特征求导；根据随机梯度下降法更新所述表征与所述网络参数。为达到上述目的，本专利技术另一方面提出了一种基于变换识别的自监督表征学习装置，包括：构建模块用于根据训练图片集和选定的缩放操作和旋转操作构建变换图像；获取模块用于初始化神经网络参数，并获取每张原始图像和变换图像的表征；分组模块用于对所述每张原始图像和变换图像的表征进行分组，并构建损失函数；更新模块用于通过所述损失函数对表征求导，并更新学习到的表征和更新网络参数；训练模块用于通过所述损失函数持续更新所述表征与所述网络参数，直到满足预设条件，训练结束。本专利技术实施例的基于变换识别的自监督表征学习装置，通过识别作用输入图像的几何变换，构造监督信号，以监督深度神经网络的训练，同时，引入缩放变换使得表征具有尺度不变的特性，并可以适用于更多类型的输入图片，再引入旋转变化使得表征可以捕获方向等信息，最终综合缩放与旋转变换的模型，进而兼备两者属性，使得学习表征具有更多的视觉语义信息，并可以有效进行无监督学习、半监督学习和监督学习下的迁移学习。另外，根据本专利技术上述实施例的基于变换识别的自监督表征学习装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述构建模块包括：选取子模块用于选取不同的所述缩放操作gZ＝Z(p，m)，其中，p为缩放中心，m为缩放倍数，和所述旋转操作gR＝R(d)，其中，d为旋转角度；变换子模块用于使用所述缩放操作和所述旋转操作对训练集里的图片X＝{x1,x2,…,xN}分别进行变换操作，以得到每张图片对应的变换后的图片g(x)。进一步地，在本专利技术的一个实施例中，所述获取模块包括：初始化子模块用于初始化所述神经网络参数；获取子模块用于使用初始化的神经网络获取不同变换图像下的表征F(g(x))。进一步地，在本专利技术的一个实施例中，所述分组模块包括：分组子模块用于对所述表征F(g(x))按照缩放和旋转进行分组，以得到缩放分组和旋转分组；第一计算子模块用于分别对所述缩放分组和所述旋转分组使用交叉熵得到损失函数lZ和损失函数lR；第二计算子模块用于通过所述损失函数lZ和所述损失函数lR加权求和并对所有训练图片求和得到最终损失函数L。进一步地，在本专利技术的一个实施例中，所述更新模块包括：求导子模块用于根据目标函数对局部特征求导；更新子模块用于根据随机梯度下降法更新所述表征与所述网络参数。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的基于变换识别的自监督表征学习方法流程图；图2为根据本专利技术具体示例一的基于变换识别的自监督表征学习方法流程框图；图3为根据本专利技术具体示例二的基于变换识别的自监督表征学习方法流程框图；图4为根据本专利技术具体示例三的基于变换识别的自监督表征学习方法流程框图；图5为根据本专利技术实施例的基于变换识别的自监督表征学习装置结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的基于变换识别的自监督表征学习方法及装置，首先将参照附图描述本文档来自技高网...

【技术保护点】
1.一种基于变换识别的自监督表征学习方法，其特征在于，包括以下步骤：步骤S1，根据训练图片集和选定的缩放操作和旋转操作构建变换图像；步骤S2，初始化神经网络参数，并获取每张原始图像和变换图像的表征；步骤S3，对所述每张原始图像和变换图像的表征进行分组，并构建损失函数；步骤S4，通过所述损失函数对表征求导，并更新学习到的表征和更新网络参数；以及步骤S5，通过所述损失函数持续更新所述表征与所述网络参数，直到满足预设条件，训练结束。

【技术特征摘要】
1.一种基于变换识别的自监督表征学习方法，其特征在于，包括以下步骤：步骤S1，根据训练图片集和选定的缩放操作和旋转操作构建变换图像；步骤S2，初始化神经网络参数，并获取每张原始图像和变换图像的表征；步骤S3，对所述每张原始图像和变换图像的表征进行分组，并构建损失函数；步骤S4，通过所述损失函数对表征求导，并更新学习到的表征和更新网络参数；以及步骤S5，通过所述损失函数持续更新所述表征与所述网络参数，直到满足预设条件，训练结束。2.根据权利要求1所述的基于变换识别的自监督表征学习方法，其特征在于，所述步骤S1包括：选取不同的所述缩放操作gZ＝Z(p，m)，其中，p为缩放中心，m为缩放倍数，和所述旋转操作gR＝R(d)，其中，d为旋转角度；使用所述缩放操作和所述旋转操作对训练集里的图片X＝{x1,x2,…,xN}分别进行变换操作，以得到每张图片对应的变换后的图片g(x)。3.根据权利要求2所述的基于变换识别的自监督表征学习方法，其特征在于，所述步骤S2包括：初始化所述神经网络参数；使用初始化的神经网络获取不同变换图像下的表征F(g(x))。4.根据权利要求3所述的基于变换识别的自监督表征学习方法，其特征在于，所述步骤S3包括：对所述表征F(g(x))按照缩放和旋转进行分组，以得到缩放分组和旋转分组；分别对所述缩放分组和所述旋转分组使用交叉熵得到损失函数lZ和损失函数lR；通过所述损失函数lZ和所述损失函数lR加权求和并对所有训练图片求和得到最终损失函数L。5.根据权利要求1或4所述的基于变换识别的自监督表征学习方法，其特征在于，所述步骤S4包括：根据目标函数对局部特征求导；根据随机梯度下降法更新所述表征与所述网络参数。6.一种基于变换识别的自监督表征学习装置，其特征在于，包括：构建模块，用于根据训练图...

【专利技术属性】
技术研发人员：鲁继文，周杰，陈志祥，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11