基于深度学习及多聚类中心损失函数的摊贩物品分类方法技术

基于深度学习及多聚类中心损失函数的摊贩物品分类方法，涉及人工智能以及计算机视觉技术领域。本发明专利技术方法步骤为：1）网络结构设计：整理摊贩物品样本，并对其进行类别标定。2）目标损失函数。3）模型预测：利用训练好的模型进行预测。同现有技术相比，本发明专利技术一方面进一步提高深度学习模型在复杂的摊贩物品分类中的性能，以及在训练样本不是很充足的情况下，避免模型过拟合；另一方面，充分利用类内、类间离散度信息，使模型有更好的泛化能力，进一步提升深度学习模型在摊贩物品分类中的性能。

Classification of vendors'goods based on in-depth learning and loss function of multi-cluster centers

【技术实现步骤摘要】
基于深度学习及多聚类中心损失函数的摊贩物品分类方法
本专利技术涉及人工智能以及计算机视觉
，特别是基于深度学习及多聚类clustering中心损失函数lossfunction的应用于城市摊贩复杂无序物品的分类方法。
技术介绍
图像分类是计算机视觉研究中最基本的问题，是后续高层次视觉任务的基础。现有技术中，图像分类一般由图像特征提取、分类器分类两大部分组成。特征都是靠手工设计的提取算法提取，常用的有HOG、SIFT、SURF等经典的特征提取算法。之后，将提取的图像特征送入后续的分类器进行分类，经典的分类器有MLP、SVM、随机森林等。上述传统的图像分类算法在一些特定的应用领域中取得了一定成功，比如车牌识别等，但随着大数据的出现以及图像复杂性的提高，传统图像分类方法在处理这类问题时已经不再适应。随着越来越丰富的数据集的出现以及计算能力的提升，深度学习技术迎来了巨大的发展。2012年的ImageNet竞赛中，Krizhevsky等人训练了一个大型的深度卷积神经网络AlexNet，它包含了8个学习层：5个卷积层和3个全连接层。Krizhevsky等人成功借助了ImageNet这个足够大的数据集，并结合随机梯度下降SGD和Dropout等优化技巧，成功训练了一个深度卷积网络，实现了top-5的错误率为15.3%的好成绩，最终赢得了2012年的ILSVRC竞赛的冠军。从此大量的研究人员开始进入这个领域，也迎来了网络结构的一系列变革。2013年的ZFNet错误率降到了11.2%。2014年ChristianSzegedy等人设计的GoogLeNet是一个22层的卷积神经网络，在ILSVRC2014上top-5的错误率降到了6.7%。2015年，微软亚洲研究院的KaimingHe等人设计了一个多达152层的ResNet架构，它比之前的深度神经网络都深，但却降低了复杂度，从而更易于训练，ResNet的错误率也降到了3.6%。而人类的水平也仅仅是5%-10%，由此可见，深度学习网络已经跟人类的分辨能力相当了。所有这些网络的改进都是其结构上的改进，随着研究的进一步深入，人们也开始关注到深度学习中普遍采用的softmax分类损失函数没有考虑类内、类间离散度信息，只是单纯的考虑分类信息，针对这个问题也提出了各种改进措施。ICML2016提出的LargeMarginSoftmaxLoss(L-softmax)通过在传统的softmaxloss公式中添加参数m，作者在论文中的定义为：，其中。L-softmax函数加大了学习的难度，逼迫模型不断学习更具区分性的特征，从而使得类间距离更大，类内距离更小，借用SVM的思想来理解的话，如果原来的softmaxloss是只要支持向量和分类面的距离大于h，分类效果就算比较好了，那么L-softmaxloss就是需要距离达到m*h(m是正整数)才算分类效果比较好了。该方法的缺点是训练难度比较大，需要反复调参。ECCV2016上发表的一篇文章，ADiscriminativeFeatureLearningApproachforDeepFaceRecognition针对softmax函数在人脸识别中的缺点，提出了centerloss函数，通过将特征和特征中心的距离和softmaxloss一同作为损失函数，使得类内距离更小，其实也是正则化的一种实现方式。先看看centerloss的公式Lc:表示第yi个类别的特征中心，表示全连接层之前的特征。作者在论文中采用的损失L包含softmaxloss和centerloss，即：该方法默认每个类别有一个聚类中心，在人脸识别问题上有一定的效果，因为同一类都为一个人的人脸样本，但对于类内差异比较大的问题，每类只定义一个类别就不再合适了。CVPR2017提出的A-softmaxloss(angularsoftmaxloss)用来改进原来的softmaxloss。A-softmaxloss是在largemarginsoftmaxloss的基础上添加了两个限制条件，使得预测仅取决于w和x之间的角度，定义的loss函数如下：因此，简单讲A-softmaxloss可以看成是largemarginsoftmaxloss的改进版，在其基础上增加了权重归一化。在对城市摊贩物品分类方面，上述传统算法很难满足需求，主要原因是摊贩物品复杂度较高，无序且形变也大，比如将一堆水果与一堆蔬菜进行区分，传统的分类算法对于这类复杂的问题时错误率较高，因此很难满足实际的需求。近几年开始使用的基于深度学习算法，可以设计出泛化能力较强的方法来解决复杂的物体分类问题，但是对于样本的数量有很强的依赖性，样本不足的情况下很有可能导致模型过拟合。目前深度学习模型中普遍采用的激活函数为relu函数，该函数虽然取得了一定的成功，但该函数属于硬决策，即会将小于0的数置为0，因此一定程度上会有信息损失。另外，传统的深度学习分类损失函数（如softmaxloss）没有充分利用学习出的特征类内、类间离散度信息，而上面提及的几种损失函数，虽然考虑了类内、类间离散度信息，但这些损失函数本身存在着一些问题：A-softmaxloss和L-softmaxloss计算量较大，并且需要反复调参；centerloss对于类内差异比较大的情况不再适用，并且随着差异的增大会出现性能下降的情况。
技术实现思路
针对上述现有技术中存在的不足，本专利技术的目的是提供一种基于深度学习及多聚类中心损失函数的摊贩物品分类方法。它一方面进一步提高深度学习模型在复杂的摊贩物品分类中的性能，以及在训练样本不是很充足的情况下，避免模型过拟合；另一方面，充分利用类内、类间离散度信息，使模型有更好的泛化能力，进一步提升深度学习模型在摊贩物品分类中的性能。为了达到上述专利技术目的，本专利技术的技术方案以如下方式实现：基于深度学习及多聚类中心损失函数的摊贩物品分类方法，其方法步骤为：1）网络结构设计：整理摊贩物品样本，并对其进行类别标定。2）目标损失函数：a）CNN模型参数初始化以及聚类中心初始化；b）将数据分批次输入CNN模型进行前向计算；c）计算模型基于多聚类中心的类内损失和随机化计算聚类中心类间损失，并结合softmaxloss，作为模型最终的loss；d）将loss进行反向传播，计算出参数梯度，采用SGD算法更新CNN模型参数、NTanh参数p以及聚类中心；e）重复上述步骤b、c、d，直到模型收敛或者达到指定迭代次数，训练结束。3）模型预测：利用训练好的模型进行预测。在上述基于深度学习及多聚类中心损失函数的摊贩物品分类方法中，所述将数据分批次输入CNN模型进行前向计算时，其中的第一个全连接层采用带有随机噪声的激活函数NTanh,卷积层采用传统relu函数。在上述基于深度学习及多聚类中心损失函数的摊贩物品分类方法中，所述对模型进行预测时，第一个全连接层采用噪声激活函数Ntanh的期望形式。本专利技术由于采用了上述方法步骤，设计了一种基于多聚类中心的损失函数，并在此基础上针对传统方法计算类间距离的不足，提出了一种随机化计算类间距离的方法，结合传统的softmaxloss分类损失函数构造最终的损失函数。另外，本专利技术将网络中第一个全连接层的relu激活函数替换为加入噪声的t本文档来自技高网...

【技术保护点】
1.基于深度学习及多聚类中心损失函数的摊贩物品分类方法，其方法步骤为：1）网络结构设计： 整理摊贩物品样本，并对其进行类别标定；2）目标损失函数：a）CNN模型参数初始化以及聚类中心初始化；b）将数据分批次输入CNN模型进行前向计算；c）计算模型基于多聚类中心的类内损失和随机化计算聚类中心类间损失，并结合softmax loss，作为模型最终的loss；d）将loss进行反向传播，计算出参数梯度，采用SGD算法更新CNN模型参数、NTanh参数p以及聚类中心；e）重复上述步骤b、c、d，直到模型收敛或者达到指定迭代次数，训练结束；3）模型预测：利用训练好的模型进行预测。

【技术特征摘要】
1.基于深度学习及多聚类中心损失函数的摊贩物品分类方法，其方法步骤为：1）网络结构设计：整理摊贩物品样本，并对其进行类别标定；2）目标损失函数：a）CNN模型参数初始化以及聚类中心初始化；b）将数据分批次输入CNN模型进行前向计算；c）计算模型基于多聚类中心的类内损失和随机化计算聚类中心类间损失，并结合softmaxloss，作为模型最终的loss；d）将loss进行反向传播，计算出参数梯度，采用SGD算法更新CNN模型参数、NTanh参数p以及聚类中心；e）重复上述步骤...

【专利技术属性】
技术研发人员：张磊，王亚涛，郑全新，黄刚，赵英，江龙，
申请(专利权)人：北京同方软件有限公司，
类型：发明
国别省市：北京,11