分类优化方法及装置制造方法及图纸

本申请实施例提供一种分类优化方法及装置，该方法包括：对预先构建的神经网络进行初始化处理，构建参数矩阵，利用参数矩阵对神经网络中的分类层参数进行正交初始化处理；将训练图像导入至所述神经网络，获得训练图像经过网络层后输出的特征向量；根据参数矩阵及特征向量计算得到损失函数；根据该损失函数对各网络层对应的网络层权值以及分类层对应的分类层权值进行梯度计算以更新网络层权值及分类层权值；根据更新网络层权值及分类层权值后的神经网络对输入图像进行训练。该分类优化方案增加了类别参数之间的相互正交的约束，促使不同类别相对独立，使得神经网络模型更具判别性。

Classification optimization method and device

The embodiment of this application provides a classification optimization method and device. The method includes: initializing the pre-constructed neural network, constructing the parameter matrix, orthogonal initialization of the parameters of the classification layer in the neural network by using the parameter matrix, importing the training image into the neural network, and obtaining the feature vector of the training image after passing through the network layer; The loss function is obtained by calculating the parameter matrix and eigenvector; the gradient calculation of the network layer weight corresponding to each network layer and the classification layer weight corresponding to the classification layer is carried out according to the loss function to update the network layer weight and the classification layer weight; and the input image is trained by the neural network after updating the network layer weight and the classification layer weight. The classification optimization scheme increases the constraints of orthogonality between class parameters, makes different classes relatively independent, and makes the neural network model more discriminant.

【技术实现步骤摘要】
分类优化方法及装置
本专利技术涉及图像识别
，具体而言，涉及一种分类优化方法及装置。
技术介绍
多分类问题是实际应用场景中常见的问题之一。在深度神经网络中，Softmax是最常被使用的损失函数。这是因为，Softmax具有结构简单和梯度运算高效等特点。但是许多研究已经表明，仅仅采用Softmax损失函数监督网络模型进行训练时，得到的特征判别性不足。切确地说，在图像比较相似时，网络对图像的分类容易出错。这主要是因为，Softmax仅对类间距离做了优化，未收缩类内样本的距离。现有方案中有基于Softmax的改进方法和基于多元组的Contrastive(二元组)和Triplet(三元组)方法以用于解决上述问题。但是，基于Softmax损失的改进方法主要关注于加性间距，如AM-Softmax，但都未对类别中心进行约束，而是随模型训练进行动态学习。而多元组方法虽然对样本间的距离做约束，但高质量的样本对存在生成困难的问题，且梯度更新运算较为复杂。
技术实现思路
有鉴于此，本申请的目的在于，提供一种分类优化方法及装置以改善上述问题。本申请实施例提供一种分类优化方法，所述方法包括：对预先建立的神经网络进行初始化处理，所述神经网络包括分类层及多个网络层；构建参数矩阵，利用所述参数矩阵对所述神经网络中的分类层参数进行正交初始化处理，所述参数矩阵包括所述分类层的分类层权值，且所述参数矩阵中各个行向量两两正交；将训练图像导入至所述神经网络，获得所述训练图像经过所述网络层后输出的特征向量；根据所述参数矩阵及所述特征向量计算得到损失函数；根据所述损失函数对各所述网络层对应的网络层权值以及所述分类层对应的分类层权值进行梯度计算以更新所述网络层权值及所述分类层权值；根据更新网络层权值及分类层权值后的神经网络对输入图像进行训练。可选地，所述分类层包括多个类别参数，所述构建参数矩阵，利用所述参数矩阵对所述神经网络中的分类层参数进行正交初始化处理的步骤，包括：根据所述分类层中的类别参数的个数以及各类别参数的维度数构建参数矩阵，所述参数矩阵中各行类别参数之间两两正交；根据所述参数矩阵对所述神经网络包含的分类层参数进行正交初始化处理。可选地，所述将训练图像导入至所述神经网络，获得所述训练图像经过所述网络层后输出的特征向量的步骤，包括：将训练图像导入至所述神经网络，对所述训练图像进行特征提取；将提取到的特征与所述网络层对应的网络层权值进行矩阵计算；对得到的矩阵计算结果进行归一化处理以得到所述训练图像经过所述网络层后输出的特征向量。可选地，所述根据所述参数矩阵及所述特征向量计算得到损失函数的步骤，包括：根据所述参数矩阵、所述特征向量以及所述训练图像的数量计算得到初始函数；根据所述初始函数及所述分类层权值计算得到损失函数。可选地，所述根据所述参数矩阵、所述特征向量以及所述训练图像的数量计算得到初始函数的步骤，包括：根据所述参数矩阵、所述特征向量以及所述训练图像的数量计算得到初始函数并按以下公式计算得到初始函数：其中，Losssoftmax为初始函数，WFCclass为所述分类层的参数矩阵，M为训练图像的个数，K为所述分类层的类别数，fi为第i个训练图像经过所述网络层后输出的特征向量，fj为第j个训练图像经过所述网络层后输出的特征向量，yi为第i个训练图像对应的类别，为第i个训练图像对应的分类层权值。可选地，所述根据所述初始函数及所述分类层权值计算得到损失函数的步骤，包括：根据所述初始函数及所述分类层权值并按以下公式计算得到初始函数：Loss＝Losssoftmax+λ||WTFCclassWFCclass-I||其中，Loss为损失函数，λ为固定常数，WTFCclass为所述分类层的参数矩阵的转置矩阵，I为单位矩阵。本申请实施例还提供一种分类优化装置，所述装置包括：初始化处理模块，用于对预先建立的神经网络进行初始化处理，所述神经网络包括分类层及多个网络层；构建模块，用于构建参数矩阵，利用所述参数矩阵对所述神经网络中的分类层参数进行正交初始化处理，所述参数矩阵包括所述分类层的分类层权值，且所述参数矩阵中各个行向量两两正交；特征向量获取模块，用于将训练图像导入至所述神经网络，获得所述训练图像经过所述网络层后输出的特征向量；计算模块，用于根据所述参数矩阵及所述特征向量计算得到损失函数；更新模块，用于根据所述损失函数对各所述网络层对应的网络层权值以及所述分类层对应的分类层权值进行梯度计算以更新所述网络层权值及所述分类层权值；训练模块，用于根据更新网络层权值及分类层权值后的神经网络对输入图像进行训练。可选地，所述分类层包括多个类别参数，所述构建模块包括：构建单元，用于根据所述分类层中的类别参数的个数以及各类别参数的维度数构建参数矩阵，所述参数矩阵中各行类别参数之间两两正交；初始化单元，用于根据所述参数矩阵对所述神经网络包含的分类层参数进行正交初始化处理。可选地，所述特征向量获取模块包括：提取单元，用于将训练图像导入至所述神经网络，对所述训练图像进行特征提取；矩阵计算单元，用于将提取到的特征与所述网络层对应的网络层权值进行矩阵计算；归一化处理单元，用于对得到的矩阵计算结果进行归一化处理以得到所述训练图像经过所述网络层后输出的特征向量。可选地，所述计算模块包括：第一计算单元，用于根据所述参数矩阵、所述特征向量以及所述训练图像的数量计算得到初始函数；第二计算单元，用于根据所述初始函数及所述分类层权值计算得到损失函数。本申请实施例提供的分类优化方法及装置，通过构建内部行向量两两正交的参数矩阵以对神经网络中的分类层参数进行正交初始化处理，利用参数矩阵及训练图像的特征向量计算损失函数，并根据计算得到的损失函数对网络层权值进行梯度计算以更新网络层权值。后续利用更新后的神经网络对输入图像进行训练。该分类优化方案增加了类别参数之间的相互正交的约束，促使不同类别相对独立，使得神经网络模型更具判别性。并且，该方案相对现有技术而言，未引入额外的超参数，训练过程更加简单。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本申请实施例提供的电子设备的结构框图。图2为本申请实施例提供的分类优化方法的流程图。图3为图2中步骤S130的子步骤的流程图。图4为图2中步骤S140的子步骤的流程图。图5为本申请实施例提供的分类优化装置的功能模块框图。图6为本申请实施例提供的构建模块的功能模块框图。图7为本申请实施例提供的特征向量获取模块的功能模块框图。图8为本申请实施例提供的计算模块的功能模块框图。图标：100-电子设备；110-分类优化装置；111-初始化处理模块；112-构建模块；1121-构建单元；1122-初始化单元；113-特征向量获取模块；1131-提取单元；1132-矩阵计算单元；1133-归一化处理单元；114-计算模块；1141-第一计算单元；1142-第本文档来自技高网...

【技术保护点】
1.一种分类优化方法，其特征在于，所述方法包括：对预先建立的神经网络进行初始化处理，所述神经网络包括分类层及多个网络层；构建参数矩阵，利用所述参数矩阵对所述神经网络中的分类层参数进行正交初始化处理，所述参数矩阵包括所述分类层的分类层权值，且所述参数矩阵中各个行向量两两正交；将训练图像导入至所述神经网络，获得所述训练图像经过所述网络层后输出的特征向量；根据所述参数矩阵及所述特征向量计算得到损失函数；根据所述损失函数对各所述网络层对应的网络层权值以及所述分类层对应的分类层权值进行梯度计算以更新所述网络层权值及所述分类层权值；根据更新网络层权值及分类层权值后的神经网络对输入图像进行训练。

【技术特征摘要】
1.一种分类优化方法，其特征在于，所述方法包括：对预先建立的神经网络进行初始化处理，所述神经网络包括分类层及多个网络层；构建参数矩阵，利用所述参数矩阵对所述神经网络中的分类层参数进行正交初始化处理，所述参数矩阵包括所述分类层的分类层权值，且所述参数矩阵中各个行向量两两正交；将训练图像导入至所述神经网络，获得所述训练图像经过所述网络层后输出的特征向量；根据所述参数矩阵及所述特征向量计算得到损失函数；根据所述损失函数对各所述网络层对应的网络层权值以及所述分类层对应的分类层权值进行梯度计算以更新所述网络层权值及所述分类层权值；根据更新网络层权值及分类层权值后的神经网络对输入图像进行训练。2.根据权利要求1所述的分类优化方法，其特征在于，所述分类层包括多个类别参数，所述构建参数矩阵，利用所述参数矩阵对所述神经网络中的分类层参数进行正交初始化处理的步骤，包括：根据所述分类层中的类别参数的个数以及各类别参数的维度数构建参数矩阵，所述参数矩阵中各行类别参数之间两两正交；根据所述参数矩阵对所述神经网络包含的分类层参数进行正交初始化处理。3.根据权利要求1所述的分类优化方法，其特征在于，所述将训练图像导入至所述神经网络，获得所述训练图像经过所述网络层后输出的特征向量的步骤，包括：将训练图像导入至所述神经网络，对所述训练图像进行特征提取；将提取到的特征与所述网络层对应的网络层权值进行矩阵计算；对得到的矩阵计算结果进行归一化处理以得到所述训练图像经过所述网络层后输出的特征向量。4.根据权利要求1所述的分类优化方法，其特征在于，所述根据所述参数矩阵及所述特征向量计算得到损失函数的步骤，包括：根据所述参数矩阵、所述特征向量以及所述训练图像的数量计算得到初始函数；根据所述初始函数及所述分类层权值计算得到损失函数。5.根据权利要求4所述的分类优化方法，其特征在于，所述根据所述参数矩阵、所述特征向量以及所述训练图像的数量计算得到初始函数的步骤，包括：根据所述参数矩阵、所述特征向量以及所述训练图像的数量按以下公式计算得到初始函数：其中，Losssoftmax为初始函数，WFCclass为所述分类层的参数矩阵，M为训练图像的个数，K为所述分类层的类别数，fi为第i个训练图像经过所述网络层后输出的特征向量，fj为第j个训练图像经过所述网络层后输出的特征向量，yi为第...

【专利技术属性】
技术研发人员：苏灿平，余清洲，许清泉，洪炜冬，张伟，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建,35