基于深度学习的新增类别识别方法技术

本发明专利技术涉及一种基于深度学习的新增类别识别方法，包括以下步骤：将预测样本输入到深度网络获得预测样本的输出向量；计算所述预测样本的输出向量，与训练样本中每种类别的代表向量之间的相似度值，从而识别所述预测样本的类别；其中，所述训练样本中每种类别的代表向量是通过将所述训练样本集输入到深度网络获得输出向量集，并根据所述训练样本的输出向量集计算得出的。

New category recognition method based on depth learning

The invention relates to a new recognition method based on deep learning category, which comprises the following steps: the prediction sample input to the network to get depth predictive output vectors; calculating the predicted output vectors, and the similarity between the vectors representing each category in the training sample values to identify the prediction samples among them, the representative vector; each category in the training samples through the training sample set is input to the depth of network to obtain the output vector set, and according to the output vector of the training sample set is calculated.

【技术实现步骤摘要】
基于深度学习的新增类别识别方法
本专利技术涉及机器学习
，特别涉及一种基于深度学习的新增类别识别方法。
技术介绍
深度学习作为一种新型的机器学习方法，由于其对与时空域关联的样本数据具有很好的识别效果，例如，图像、音频、文本等，且对样本数据平移变形等变换具有一定的鲁棒性，使得其识别精度明显优于经典的机器学习方法，因此一提出即得到广泛应用。深度学习尽管具有明显的识别精度优势，但在训练阶段的复杂度却高于SVM等经典的机器学习方法。因此，如何针对特定问题，学习得到最优网络模型，并且使该网络模型适用于普适的网络结构是一个难题。例如，传统机器学习的预测样本和训练样本，通常满足严格的独立同分布假设，并且预测样本的类别结果一定是训练样本所属类别的一种，但是，在实际的识别问题中，预测样本的类别有可能是训练样本之外的，对于这种类别增加的问题，现有的深度学习可以采用如下两种方式解决：第一种方式是参考训练样本非均衡的处理方式，在设计网络结构时，在网络的最后一层增加“新增类别”输出。但是由于没有属于新增类别的训练样本，在训练阶段生成网络模型时，对新增类别的网络参数并不能有效更新，其新增类别输出从未被激活。所以在预测阶段，属于新增类别的预测样本很难激活新增类别输出。第二种方式是采用预处理的方式，例如，属于异常检测方法的支持向量描述算法(SVDD)。在训练阶段，首先将所有现有类别的训练样本作为正常类别，其次利用这一正常类别的样本数据训练得到SVDD模型，然后使用普通的深度学习训练整个样本数据得到网络模型。在预测阶段，根据SVDD模型判断预测样本是否正常，如果预测样本被识别为异常样本，直接认定为新增类别，否则再利用普通的深度学习进行识别。这种方式的主要缺点存在于异常检测阶段精度较低，尤其是处理具有时空相关性的数据，例如图像、语音、文本、自然语言处理等。因此，目前需要一种识别精度高，普适性好的新增类别识别方法。
技术实现思路
本专利技术的目的是提供一种基于深度学习的新增类别识别方法，该方法能够克服上述现有技术的缺陷，具体包括以下步骤：步骤1)、将预测样本集输入到深度网络获得预测样本的输出向量；步骤2)、计算所述预测样本的输出向量，与训练样本中每种类别的代表向量之间的相似度值，从而识别所述预测样本的类别；其中，所述训练样本中每种类别的代表向量是通过将所述训练样本集输入到所述深度网络获得输出向量集，并根据所述训练样本的输出向量集计算得出的。优选的，在计算所述训练样本中每种类别的代表向量时，仅针对所述训练样本集中类别确定的训练样本进行计算。优选的，计算所述训练样本中每种类别的代表向量包括以下步骤：对所述训练样本的输出向量进行零值归一化，获得所述训练样本的归一化输出向量；利用所述训练样本的归一化输出向量计算获得输出向量的单边均值向量和单边方差向量；利用所述单边均值向量和所述单边方差向量计算获得所述训练样本的每种类别的代表向量。优选的，所述步骤1)进一步包括：对所述预测样本的输出向量进行零值归一化，获得所述预测样本的归一化输出向量。优选的，所述步骤2)进一步包括：计算所述预测样本的归一化输出向量与所述训练样本的每种类别的代表向量之间的相似度值。优选的，取所述最小相似度值对应的所述训练样本的类别为所述预测样本的类别识别结果。优选的，当所述最小相似度值大于预定的阈值时，将所述相似度值对应的预测样本的类别识别为相对于所述训练样本集新增的类别。优选的，将获得的所有属于新增类别的所述预测样本组成新增类别样本集，通过聚类方式区分不同类型的新增类别。根据本专利技术的另一方面，提供一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器运行所述程序时执行如上所述的步骤。根据本专利技术的另一个方面，提供一种计算机可读存储介质，包括存储在所述可读存储介质上的计算机程序，其中，所述程序执行如上所述的步骤。相对于现有技术，本专利技术取得了如下有益技术效果：本专利技术提供的基于深度学习的新增类别识别方法，在训练阶段，利用单边均值/方差等算法，仅针对训练样本中的确定样本计算代表向量，与传统的机器学习方法相比，不仅保证了预测阶段的查全率和查准率，并且提高了整体的识别精度；另外，在预测阶段，通过比对预测样本与训练阶段计算得到的代表向量之间的相似度，识别出预测样本是否为新增类别，利用本专利技术提供的识别方法，不仅能够识别出属于具有新增类别的预测样本，还能够进一步应用于其它算法，例如聚类，具有很好的普遍适用性。附图说明图1是本专利技术提供的识别方法的训练阶段流程图。图2是本专利技术提供的识别方法的预测阶段流程图。具体实施方式为了使本专利技术的目的、技术方案以及优点更加清楚明白，以下结合附图，对根据本专利技术的实施例中提供的基于深度学习的新增类别识别方法进行说明。一般来说，机器学习(包括深度学习)可以分为监督学习，非监督学习和半监督学习三种类型。其中，监督学习是指所有训练样本的类别均是已标记的，机器学习的目的是判定预测样本的类别，结果必然属于现有类别；非监督学习是指所有训练样本的类别均是未标记的，非监督学习的目的是对训练样本进行聚类，进一步判定预测样本的类别和哪些训练样本的类别最相似；半监督学习中的训练样本的类别，有的是已标记的，有的是未标记的，对于未标记的训练样本，其类别属于现有类别的一种，半监督学习的目的是判定预测样本的类别，结果也是属于现有类别。综上所述，传统的机器学习，其预测样本的类别结果一定是训练样本所属类别的一种。但是，在实际的识别问题中，预测样本的类别有可能是训练样本之外的，例如对于图片识别，假设训练样本图片中仅包括三种动物：“老虎”，“大象”和“狮子”，当对一张“狐狸”的预测样本进行分类时，传统的机器学习算法会将其判定为训练样本中的三种动物之一，而这显然是不正确的。为了解决上述问题，专利技术人经研究提出了一种训练模型及预测方法，能够识别预测样本中相对于训练样本新增的样本类别。在本专利技术的一个实施例中，提供一种基于深度学习的新增类别识别方法，该方法，包括以下步骤：S10.训练阶段图1是本专利技术提供的识别方法的训练阶段流程图，如图1所示，在训练阶段，首先需要构建训练样本中每种类别的代表向量(100)。例如，训练样本集为X，该训练样本集X中每个样本xi的标记类别cj组成了类别集C，其中，样本xi∈X，i＝1，2......N，N表示样本的总数，类别cj∈C，j＝1，2......M，M表示类别的合成总数；将训练样本集X中每个样本xi分别输入已有的深度网络f(x)(101)，获得样本的类别输出向量yi(102)，其中yi＝f(xi)∈C。为便于计算，对输出向量yi进行零值归一化，可以得到归一化输出向量如果输出向量yi属于标记类别cj，则类别判定结果正确，保存对应的样本xi，以及归一化输出向量和对应的归一化类别向量记为假设和分别表示类别向量cj和输出向量yi的第d维分量，将和进行零值归一化，得到向量和若则表示对应向量代表了第d种类别。如果类别向量cj和输出向量yi中有多个分量为正，则说明该向量代表多种类别。设定和的范围是和的范围是(-r，r)，则可得到零值归一化公式如下：为了仅针对确定类型样本计算每种类别cj的代表向量zj，可以先计算每种类别cj的所有归一化输出向量的单本文档来自技高网...

【技术保护点】
一种基于深度学习的新增类别识别方法，包括以下步骤：步骤1)、将预测样本输入到深度网络获得预测样本的输出向量；步骤2)、计算所述预测样本的输出向量，与训练样本中每种类别的代表向量之间的相似度值，从而识别所述预测样本的类别；其中，所述训练样本中每种类别的代表向量是通过将所述训练样本集输入到所述深度网络获得输出向量集，并根据所述训练样本的输出向量集计算得出的。

【技术特征摘要】
1.一种基于深度学习的新增类别识别方法，包括以下步骤：步骤1)、将预测样本输入到深度网络获得预测样本的输出向量；步骤2)、计算所述预测样本的输出向量，与训练样本中每种类别的代表向量之间的相似度值，从而识别所述预测样本的类别；其中，所述训练样本中每种类别的代表向量是通过将所述训练样本集输入到所述深度网络获得输出向量集，并根据所述训练样本的输出向量集计算得出的。2.根据权利要求1所述的基于深度学习的新增类别识别方法，在计算所述训练样本中每种类别的代表向量时，仅针对所述训练样本集中类别确定的训练样本进行计算。3.根据权利要求2所述的基于深度学习的新增类别识别方法，计算所述训练样本中每种类别的代表向量包括以下步骤：对所述训练样本的输出向量进行零值归一化，获得所述训练样本的归一化输出向量；利用所述训练样本的归一化输出向量计算获得输出向量的单边均值向量和单边方差向量；利用所述单边均值向量和所述单边方差向量计算获得所述训练样本的每种类别的代表向量。4.根据权利要求3所述的基于深度学习的新增类别识别方法，所述步骤1)进一步包括：对所述预测样本的输...

【专利技术属性】
技术研发人员：邢云冰，陈益强，蒋鑫龙，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11