一种分类模型的训练方法及其装置、计算机服务器制造方法及图纸

本发明专利技术公开一种分类模型的训练方法及其装置、计算机服务器，以解决现有技术通过半监督学习技术训练分类模型计算效率低、适用范围窄的技术问题。方法包括：构建初始分类模型，初始分类模型包含分类任务相同的至少一个单模态分类模型，每个单模态分类模型对应的模态数据训练集包含有标签训练数据和无标签训练数据；基于对齐每个单模态分类模型的模态数据训练集中的有标签训练数据和无标签训练数据的特征编码分布的方法，对初始分类模型进行训练以得到目标分类模型。本方案不仅能够提高分类模型训练的效率而且适用范围更广。

Training method for classification model, device and computer server thereof

The invention discloses a training method of classification model, a device and a computer server to solve the technical problems of low calculation efficiency and narrow application range of the classification model trained by the prior art through semi-supervised learning technology. The methods include: constructing an initial classification model, including at least one single-modal classification model with the same classification task, each single-modal classification model corresponding to the modal data training set containing labeled training data and unlabeled training data; aligning each single-modal classification model based on the modal data training set The method of feature coding distribution between labeled training data and unlabeled training data is used to train the initial classification model to get the target classification model. This scheme not only improves the efficiency of classification model training, but also has wider application scope.

【技术实现步骤摘要】
一种分类模型的训练方法及其装置、计算机服务器
本专利技术涉及深度学习领域，特别涉及一种分类模型的训练方法、一种分类模型的训练装置和一种计算机服务器。
技术介绍
目前，训练神经网络通常需要大量的标注样本数据，首先需要采集大量的样本数据，然后通过人工对采集到的样本数据进行标注得到用于训练神经网络的标注样本数据，采集和标注需要较高的人力成本和时间成本。为解决该技术问题，目前采用包含有标签训练数据和无标签训练数据的训练数据集对神经网络进行训练，无需大量的标签训练数据，从而能够缓解对大量有标签数据的依赖，以解决现有技术的标注样本数据成本和时间成本较高的问题。目前已有的深度学习中的半监督学习技术，主要是在输入及特征构建过程中引入随机噪声或各种随机变换，同时约束神经网络的输出应当具有鲁棒性、不变性，以达到利用无标签训练数据进行辅助训练的目的，例如，TakeruMiyato等人使用对抗样本、MehdiSajjadi等人使用随机变换、SamuliLaine等人使用随机噪声引入扰动。然而，现有的半监督学习技术存在以下技术缺陷：为从无标签训练数据中得到监督信息，需要对同一组训练样本进行多次前向计算，效率较本文档来自技高网...

【技术保护点】
1.一种分类模型的训练方法，其特征在于，包括：构建初始分类模型，所述初始分类模型包含分类任务相同的至少一个单模态分类模型，其中每个单模态分类模型对应的模态数据训练集包含有标签训练数据和无标签训练数据；基于对齐每个单模态分类模型的模态数据训练集中的有标签训练数据和无标签训练数据的特征编码分布的方法，采用各单模态分类模型对应的模态训练数据集对所述初始分类模型进行训练以得到目标分类模型。

【技术特征摘要】
1.一种分类模型的训练方法，其特征在于，包括：构建初始分类模型，所述初始分类模型包含分类任务相同的至少一个单模态分类模型，其中每个单模态分类模型对应的模态数据训练集包含有标签训练数据和无标签训练数据；基于对齐每个单模态分类模型的模态数据训练集中的有标签训练数据和无标签训练数据的特征编码分布的方法，采用各单模态分类模型对应的模态训练数据集对所述初始分类模型进行训练以得到目标分类模型。2.根据权利要求1所述的方法，其特征在于，每个单模态分类模型包含特征编码器以及分别与所述特征编码器级联的分类器和判别器，所述判别器用于判断所述特征编码器输出的特征编码来源于有标签训练数据或无标签训练数据，所述判别器的输出端设置有用于对所述判别器进行训练的第一损失函数和用于所述特征编码器进行训练的第二损失函数，所述第一损失函数和第二损失函数对抗设置；采用各单模态分类模型对应的模态训练数据集对所述初始分类模型进行训练以得到目标分类模型，具体包括：采用各单模态分类模型对应的模态训练数据集对所述初始分类模型进行迭代训练；将训练得到的分类模型中各单模态分类模型中的判别器删除。3.根据权利要求2所述的方法，其特征在于，采用各单模态分类模型对应的模态训练数据集对所述初始分类模型进行迭代训练，具体包括：对所述初始分类模型进行多次以下迭代训练：针对每个单模态分类模型，从所述单模态分类模型的模态数据训练集中获取一个训练数据输入到所述单模态分类模型的特征编码器中，并根据所述单模态分类模型的分类器的损失函数的取值对所述单模态分类模型中的特征编码器和分类器的参数进行调整；以及，基于所述单模态分类模型的第一损失函数的取值和第二损失函数的取值对该单模态分类模型的判别器和特征编码器的参数进行调整；基于参数调整后的初始分类模型，进行下一次迭代训练。4.根据权利要求2所述的方法，其特征在于，所述初始分类模型包含的单模态分类模型为两个以上，所述多个单模态分类模型的特征编码器还分别连接到同一个跨模态判别器上，所述跨模态判别器用于判别各单模态分类模型的特征编码器输出的特征编码对应的模态类型，在跨模态判别器的输出端设置有用于对跨模态判别器进行训练的第三损失函数和用于对各单模态分类模型中的特征编码器进行训练的第四损失函数，所述第三损失函数和第四损失函数对抗设置；所述方法还包括：将训练得到的分类模态中的跨模态判别器删除。5.根据权利要求4所述的方法，其特征在于，采用各单模态分类模型对应的模态训练数据集对所述初始分类模型进行迭代训练，具体包括：对所述初始分类模型进行多次以下迭代训练：针对每个单模态分类模型，从单模态分类模型对应的模态数据训练集中获取一个训练数据输入到该单模态分类模型的特征编码器中，并根据该单模态分类模型的分类器的损失函数的取值对该单模态分类模型中的特征编码器和分类器的参数进行调整；以及，基于所述单模态分类模型的第一损失函数的取值和第二损失函数的取值对该单模态分类模型的判别器和特征编码器的参数进行调整；基于第三损失函数的取值和第四损失函数的取值对跨模态判别器和各单模态分类模型的特征编码器的参数进行调整；基于参数调整后的初始分类模型，进行下一次迭代训练。6.根据权利要求5所述的方法，其特征在于，基于第三损失函数的取值和第四损失函数的取值对跨模态判别器和各单模态分类模型的特征编码器的参数进行调整，具体包括：根据跨模态判别器对各单模态分类模型的特征编码器输出的特征编码进行判别后的第三损失函数的取值，调整所述跨模态判别器的参数；基于参数调整后的跨模态判别器对各单模态分类模型的特征编码器输出的特征编码进行重判别后的第四损失函数的取值，调整各单模态分类模型的特征编码器的参数。7.根据权利要求3或5所述的方法，其特征在于，基于所述单模态分类模型的第一损失函数的取值和第二损失函数的取值对该单模态分类模型的判别器和特征编码器的参数进行调整，具体包括：根据所述单模态分类模型的判别器对所述特征编码器输出的特征编码进行判别后的第一损失函数的取值，调整所述判别器的参数；基于参数调整后的所述判别器对所述特征编码器输出的特征编码进行重判别后的第二损失函数的取值，调整所述特征编码器的参数。8.一种分类模型的训练装置，其特征在于，包括：模型构建单元，用于构建初始分类模型，所述初始分类模型包含分类任务相同的至少一...

【专利技术属性】
技术研发人员：王乃岩，樊峻崧，
申请(专利权)人：北京图森未来科技有限公司，
类型：发明
国别省市：北京,11