分类器、神经网络模型训练方法、数据处理设备及介质技术

本发明专利技术公开了分类器、神经网络模型训练方法、数据处理设备及介质。一种分类器包括：加权损失值计算装置，使得从神经网络模型输出的预测置信度经由其而得到该训练样本在各分类类别上的加权损失值；及参数调整装置，所述加权损失值反向输出到该参数调整装置，以使得其基于加权损失值调整该神经网络模型的参数，由此完成该分类器的神经网络模型的训练，其中，该加权损失值计算装置在用来度量训练样本的预测置信度与标注真实值的损失代价的损失函数中，添加加权因子，由此计算得到该训练样本在各分类类别上的加权损失值。通过在损失值计算时添加加权因子，能够调整神经网络模型的参数，优化网络模型，提高分类器的识别精度。

【技术实现步骤摘要】
分类器、神经网络模型训练方法、数据处理设备及介质
本专利技术涉及分类技术，尤其涉及分类器、神经网络模型训练方法、数据处理设备及介质。
技术介绍
深度学习目前是计算机模式识别领域精度优秀、广泛使用的主流方法。在深度学习模型的应用过程中，首先需要将深度学习模型在大的训练数据集上进行训练，通过自定义的损失函数和反向传播算法(例如作为多次迭代的反向传播算法的梯度下降函数)学习迭代最优的神经网络模型参数，然后在验证集上验证达到指标后，部署到实际应用中进行分类或预测。深度学习在实际数据训练中，经常会出现由于训练样本的数量不均衡导致分类精度不高的问题。例如，对于物体识别，一些常见类别的样本的数目可能有很多，例如可以有几千到上万个以上，但是，不常见类别的样本由于出现频率低、难于收集，它们的数目则很少，例如可能仅几百个样本甚至更少。由于传统的损失函数(如交叉熵、均方误差等)没有考虑现实情况中这种不同类别的训练样本的数目的差异，会导致深度学习模型的总体分类结果更偏向于样本数更多的类别，尽管已经使损失函数的损失值最小，但对于小样本类别的分类的精度却仍然可能很低。例如，假设一个训练数据集中有两类样本A和B，样本A的数目远远大于样本B，则即便某个待分类物品与样本B属于同类，但经过这个训练数据集训练后的深度学习模型的分类结果可能更大概率为样本A，这就是由于训练样本的数量不均衡导致的分类精度不高的问题。由此，亟需一种提高分类器的识别精度的解决方案。
技术实现思路
为了解决以上问题之一，本专利技术提供了一种分类器、神经网络模型训练方法、数据处理设备及介质，以期克服分类器的识别精度不高的问题，由此提高其识别精度。根据本专利技术的一个实施例，提供一种基于神经网络模型的分类器，包括：加权损失值计算装置，被配置用于使得从所述神经网络模型输出的、作为神经网络模型的初步预测结果的、用于表示训练样本属于样本的各分类类别的概率的预测置信度，经由该加权损失值计算装置，得到该训练样本在各分类类别上的加权损失值；以及参数调整装置，由加权损失值计算装置输出的所述加权损失值反向输出到该参数调整装置，以使得所述参数调整装置基于所述加权损失值调整该神经网络模型的参数，由此完成该分类器的神经网络模型的训练，其中，该加权损失值计算装置在用来度量训练样本的所述预测置信度与标注真实值的损失代价的损失函数中，添加加权因子，由此计算得到该训练样本在各分类类别上的加权损失值。可选地，所述加权因子与以下至少之一有关：1)训练数据集中各分类类别的训练样本的数目；以及2)作为所述神经网络模型的初步预测结果的、用于表示训练样本属于样本的各分类类别的概率的预测置信度。可选地，所述加权因子与训练数据集中各分类类别的训练样本的数目成反比。可选地，所述加权因子与作为神经网络模型的初步预测结果的、用于表示训练样本属于样本的各分类类别的概率的预测置信度呈单调递减关系。可选地，所述损失函数包括交叉熵损失函数。可选地，所述参数调整装置基于所述加权损失值，通过多次迭代的后向传播算法来调整神经网络模型的参数。根据本专利技术的一个实施例，提供一种用于分类器的神经网络模型训练方法，包括：将训练样本输入到神经网络模型；神经网络模型输出作为初步预测结果的、用于表示所述训练样本属于样本的各分类类别的概率的预测置信度；通过在用来度量训练样本的所述预测置信度与标注真实值的损失代价的损失函数中添加加权因子，并且利用该添加了加权因子的损失函数，来计算该训练样本在各分类类别上的加权损失值；以及基于该训练样本在各分类类别上的所述加权损失值，调整所述神经网络模型的参数，由此完成神经网络模型的训练。可选地，所述加权因子与以下至少之一有关：1)训练数据集中各分类类别的训练样本的数目；以及2)作为所述神经网络模型的初步预测结果的、用于表示训练样本属于样本的各分类类别的概率的预测置信度。可选地，所述加权因子与训练数据集中各分类类别的训练样本的数目成反比。可选地，所述加权因子与作为神经网络模型的初步预测结果的、用于表示训练样本属于样本的各分类类别的概率的预测置信度呈单调递减关系。可选地，所述损失函数包括交叉熵损失函数。可选地，基于所述加权损失值，通过多次迭代的后向传播算法来调整神经网络模型的参数。根据本专利技术的再一个实施例，提供一种数据处理设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上面描述的方法之一。根据本专利技术的又一个实施例，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行上面描述的方法之一。本专利技术通过在损失值计算时添加加权因子，能够调整神经网络模型的参数，优化神经网络模型，从而对于使用神经网络模型进行分类和预测的图像分类、物品识别、图像分割、边缘提取、语音识别等应用而言，能够有效提高识别精度。附图说明通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的附图标记通常代表相同部件。图1给出了根据本专利技术的一个示例性实施例的分类器的示意性框图。图2给出了根据本专利技术的一个示例性实施例的神经网络模型训练过程的示意图。图3给出了根据本专利技术的一个示例性实施例的神经网络模型训练方法的示意性流程图。图4给出了根据本专利技术的一个示例性实施例的数据处理设备的示意性框图。具体实施方式下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。这里需要说明的是，本申请中的数字、序号以及附图标记仅是为了方便描述而出现的，对于本专利技术的步骤、顺序等等均不构成任何限制，除非在说明书中明确指出了步骤的执行有特定的先后顺序。神经网络分类模型解决多分类问题最常用的方法是设置n个输出节点，其中n为类别的个数。对于每一个样本，经由神经网络可以得到一个n维数组作为输出结果。数组中的每一个维度(也就是每一个输出节点)对应一个类别的输出结果。在理想情况下，如果一个样本属于类别k，那么这个类别所对应的输出节点的输出值应该为1，而其他节点的输出都为0。在实际应用中，通常输出结果并不能够达到1，而是一个概率数值，比如0.5、0.3等，这种情况通常取概率最大的输出节点对应的那个类别作为这个样本的最终分类结果。如
技术介绍
中所述，目前存在分类器的分类精度低的问题，例如由于训练样本数目不均衡导致的分类精度低的问题，更具体而言，由于某个或某些类别的样本的数目大，其对应的输出节点的输出概率值可能也会大，导致得到的分类结果偏向于数目大的样本类别，导致可能无法准确识别出数目小的样本的类型。另外，还存在困难样本的识别精度低的问题。为了解决上述问题之一，本专利技术提出一种使用基于加权损失函数的神经网络模型的训练方法及相应的分类器。首先，图1给出了根据本专利技术的一个示例性实施例的分类器的示意性框图，图2给出了根据本专利技术的一个示例性实施例的神经网络模型训练过程的示意图。具体地，如图1所示，根据本专利技术的一个示例性实施例的基于神经本文档来自技高网...

【技术保护点】
1.一种基于神经网络模型的分类器，其特征在于，包括：加权损失值计算装置，被配置用于使得从所述神经网络模型输出的、作为神经网络模型的初步预测结果的、用于表示训练样本属于样本的各分类类别的概率的预测置信度，经由该加权损失值计算装置，得到该训练样本在各分类类别上的加权损失值；以及参数调整装置，由加权损失值计算装置输出的所述加权损失值输出到该参数调整装置，以使得所述参数调整装置基于所述加权损失值调整该神经网络模型的参数，由此完成该分类器的神经网络模型的训练；其中，该加权损失值计算装置在用来度量训练样本的所述预测置信度与标注真实值的损失代价的损失函数中，添加加权因子，由此计算得到该训练样本在各分类类别上的加权损失值。

【技术特征摘要】
1.一种基于神经网络模型的分类器，其特征在于，包括：加权损失值计算装置，被配置用于使得从所述神经网络模型输出的、作为神经网络模型的初步预测结果的、用于表示训练样本属于样本的各分类类别的概率的预测置信度，经由该加权损失值计算装置，得到该训练样本在各分类类别上的加权损失值；以及参数调整装置，由加权损失值计算装置输出的所述加权损失值输出到该参数调整装置，以使得所述参数调整装置基于所述加权损失值调整该神经网络模型的参数，由此完成该分类器的神经网络模型的训练；其中，该加权损失值计算装置在用来度量训练样本的所述预测置信度与标注真实值的损失代价的损失函数中，添加加权因子，由此计算得到该训练样本在各分类类别上的加权损失值。2.如权利要求1所述的分类器，其特征在于，其中，所述加权因子与以下至少之一有关：1)训练数据集中各分类类别的训练样本的数目；以及2)作为所述神经网络模型的初步预测结果的、用于表示训练样本属于样本的各分类类别的概率的预测置信度。3.如权利要求2所述的分类器，其特征在于，其中，所述加权因子与训练数据集中各分类类别的训练样本的数目呈反比例关系。4.如权利要求2所述的分类器，其特征在于，其中，所述加权因子与作为神经网络模型的初步预测结果的、用于表示训练样本属于样本的各分类类别的概率的预测置信度呈单调递减关系。5.如权利要求1～4中的任何一项所述的分类器，其特征在于，所述损失函数包括交叉熵损失函数。6.如权利要求1～4中的任何一项所述的分类器，其特征在于，所述参数调整装置基于所述加权损失值，通过多次迭代的后向传播算法来调整神经网络模型的参数。7.一种用于分类器的神经网络模型训练方法，其特征在于，包括：将训练样本输入到神经网络模型；神经网络模型输出...

【专利技术属性】
技术研发人员：蔡东阳，王涛，刘倩，刘洁，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11