一种基于统计思想的图像分布外检测方法技术

本发明专利技术公开了一种基于统计思想的图像分布外检测方法，属于图像分类技术领域。对深度学习模型进行训练得到图像分类器；利用图像分类器和验证数据集V求解减小值向量Z；求解各已知图像类别的阈值得到图像类别阈值向量T；针对任一输入图像，经过图像分类器计算得到的logits值减去Z，再进行sigmoid计算，得到图像类别标签预测概率向量Y，将Y与T进行比较，若Y中的元素值均低于T中的对应元素值，则判定该输入图像不属于已知的图像类别；否则使用Y中的最大值对应的图像类别标签作为检测结果。本发明专利技术方法的性能显著优于现有方法：有效地使得图像分类器在未接触到新图像数据的情况下成功地拒绝未知图像类别，减少了开放空间的风险，且进一步降低了拒绝开放的风险。

【技术实现步骤摘要】
一种基于统计思想的图像分布外检测方法
本专利技术属于图像分类
，涉及到一种基于统计思想的图像分布外检测方法。
技术介绍
图像分类的目标是根据图像信息中反映的不同特征，将不同的图像，划分到不同的类别，实现最小的分类误差。现有的图像分类方法通常会完整建立图像识别模型，所建立的图像识别模型一般包括底层特征提取、特征编码、空间特征约束、分类器设计、模型融合等几个阶段。近年来，随着以卷积神经网络为代表的深度学习技术的发展，图像特征信息提取技术取得了长足的进步，图像分类等典型计算机视觉研究取得越来越多成果。深度学习引入了端到端学习的概念，不再需要通过精心编写算法来搜索特定特征，而是训练深层神经网络来自动学习输入图片的特征。尽管深度学习在各种视觉识别任务上表现出色，但它们通常无法识别分布外的输入即不同于训练数据的采样输入。例如，卷积神经网络经常以高置信度将分布外的输入图像分类为已知类别之一。目前的监督式学习也是要求在测试数据中出现的种类必须为训练集中的种类，在进行预测服务时，预测结果会被限定为训练集中出现的种类。而图像分类器应该具有检测分布外输入的功能。理想情况下，图像分类器应该将输入的图像分类为训练中使用的正确的现有类别，并且还应该检测到不属于任何现有类别的种类。这个问题被称为分布外检测或开放世界分类。现有的分布外检测方法中，如使用支持向量机判别未知种类，但是由于缺少足够的泛化负类训练数据，这类单分类器的效果不佳；还有基于中心的相似度的空间学习方法，此方法易受数据集影响，如某些特征相似的种类间互相影响，致使中心相似度相互靠近，决策边界不明显，干扰分类结果；此外还有通过对CNN模型全连接层的输出值进行优化的方法来增加拒绝能力，但其存在一定缺陷，与全连接层的输出值相似的样本有可能来自未知类别，也有可能是难以分类的样本。
技术实现思路
针对现有技术存在的不足，本专利技术提供一种基于统计思想的图像分布外检测方法，旨在能够有效检测分布外的输入图像。本专利技术的技术方案是：一种基于统计思想的图像分布外检测方法，包括以下步骤：步骤1：确定深度学习模型，并相应确定具有相同的m个已知图像类别的训练数据集D和验证数据集V；所述m个已知图像类别的类别标签集合为步骤2：使用训练数据集D对深度学习模型进行训练，将训练后的该模型作为图像分类器；步骤3：根据图像分类器和验证数据集V，求解图像样本的减小值向量Z；步骤4：根据验证数据集V和图像样本的减小值向量，求解各已知图像类别的阈值，进而得到m个已知图像类别的图像类别阈值向量T；步骤5：向图像分类器输入任一待检测图像，图像分类器输出该图像的特征向量；步骤6：将该图像的特征向量减去步骤3得到的减小值向量Z，求得该图像的特征向量缩小值；步骤7：使用sigmoid函数将该图像的特征向量缩小值映射到0～1区间，得到该图像的图像类别预测概率向量步骤8：令Y减去步骤4得到的图像类别阈值向量T得到该图像的最终图像类别检测值向量L中的最大值记为则该图像类别的最终检测结果为：当小于0时，表示该输入图像的图像类别预测概率向量值均小于所设定的每一图像类别的阈值，则判定该输入图像不属于已知图像类别；否则，以对应的图像类别标签作为检测结果。进一步地，根据所述的基于统计思想的图像分布外检测方法，所述深度学习模型为CNN模型。进一步地，根据所述的基于统计思想的图像分布外检测方法，步骤3包括如下具体步骤：步骤3.1：将验证数据集V中的图像样本均输入图像分类器，通过图像分类器输出每个图像样本的特征向量；每个图像样本的特征向量均是m维的特征向量，其中的每一个维度对应每一个已知图像类别；步骤3.2：根据从验证数据集V中查出的每个图像样本对应的图像类别标签，分别从每个图像样本的特征向量中取出与其各自的图像类别标签所对应的维度的值，并分别放入与各图像类别标签相对应的数组中，得到m个数组；步骤3.3：计算每个数组的标准差σi，令减小值zi＝kσi，k为正数，则得到一个m维的减小值向量Z＝{z1，z2，...zm}。进一步地，根据所述的基于统计思想的图像分布外检测方法，步骤4包括如下具体步骤：步骤4.1：令验证数据集V中每个图像样本的特征向量减去减小值向量Z，得到验证数据集V中每个图像样本的特征向量缩小值；步骤4.2：使用sigmoid函数将验证数据集V中每个图像样本的特征向量缩小值映射到0～1区间，得到每个图像样本的图像类别预测概率向量Y，向量Y中的每个维度代表图像分类器对当前图像样本对应的图像类别的预测概率；步骤4.3：根据从验证数据集V中查出的每个图像样本的图像类别标签，分别从每个图像样本的预测概率向量中取出与其各自的图像类别标签所对应的维度的值，并分别放入与各图像类别标签相对应的概率数组中；步骤4.4：将每个概率数组均构造为一个均值为1的正态分布的数组；步骤4.5：求出每个正态分布数组的标准差σ′i，根据标准差σ′i确定每个图像类别的阈值ti＝max(0.5，1-kσ′i)，进而得到已知图像类别的阈值向量T＝{t1，t2，...，tm}。进一步地，根据所述的基于统计思想的图像分布外检测方法，k为3。与现有技术相比，本专利技术基于统计思想的图像分布外检测方法的有益效果在于：1.该方法基于统计学的离群点检测思想，为每个已知图像类别设计阈值，有效地使得图像分类器在未接触到新数据的情况下成功拒绝未知类别。2.与现有图像分类器不同，本专利技术所建立的图像分类器的最终层采用的是sigmoid函数，而不是softmax函数，这样可以减少开放空间的风险即将未知类识别为已知类别。并且通过拟合正态分布来紧缩sigmoid函数的决策边界，进一步降低了拒绝开放的风险即将已知类识别为未知类别。实验结果表明，本专利技术方法的性能显著优于现有方法，能够有效检测分布外的输入图像，具有高可用性。3.由于文本分类能够使用跟图像分类相似的卷积神经网络，因此本专利技术的分布外检测方法同样适用于文本分类。附图说明图1是本专利技术基于统计思想的图像分布外检测方法流程图；图2是本专利技术求解图像样本的减小值向量的流程图；图3是本专利技术求解各已知图像类别的阈值的流程图。具体实施方式为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。为了使深度学习模型能检测出不属于其被训练时使用的现有图像类别的未知种类图像，本专利技术提供了一种基于统计思想的图像分布外检测方法，该方法的基本思想如下：现有的图像分类器通常使用softmax逻辑回归模型作为最终的输出层，由于对在图像分类器训练过程的预测阶段的输出值采取了归一化操作，即对于样本x，经过softmax计本文档来自技高网...

【技术保护点】
1.一种基于统计思想的图像分布外检测方法，其特征在于，包括以下步骤：/n步骤1：确定深度学习模型，并相应确定具有相同的m个已知图像类别的训练数据集D和验证数据集V；/n所述m个已知图像类别的类别标签集合为

【技术特征摘要】
1.一种基于统计思想的图像分布外检测方法，其特征在于，包括以下步骤：
步骤1：确定深度学习模型，并相应确定具有相同的m个已知图像类别的训练数据集D和验证数据集V；
所述m个已知图像类别的类别标签集合为
步骤2：使用训练数据集D对深度学习模型进行训练，将训练后的该模型作为图像分类器；
步骤3：根据图像分类器和验证数据集V，求解图像样本的减小值向量Z；
步骤4：根据验证数据集V和图像样本的减小值向量，求解各已知图像类别的阈值，进而得到m个已知图像类别的图像类别阈值向量T；
步骤5：向图像分类器输入任一待检测图像，图像分类器输出该图像的特征向量；
步骤6：将该图像的特征向量减去步骤3得到的减小值向量Z，求得该图像的特征向量缩小值；
步骤7：使用sigmoid函数将该图像的特征向量缩小值映射到0～1区间，得到该图像的图像类别预测概率向量
步骤8：令Y减去步骤4得到的图像类别阈值向量T得到该图像的最终图像类别检测值向量L中的最大值记为则该图像类别的最终检测结果为：当小于0时，表示该输入图像的图像类别预测概率向量值均小于所设定的每一图像类别的阈值，则判定该输入图像不属于已知图像类别；否则，以对应的图像类别标签作为检测结果。


2.根据权利要求1所述的基于统计思想的图像分布外检测方法，其特征在于，所述深度学习模型为CNN模型。


3.根据权利要求1所述的基于统计思想的图像分布外检测方法，其特征在于，步骤3包括如下具体步骤：
步骤3.1：将验证数据集V中的图像样本均输入图像分类器，通过图像分类器输出每个图像样本的特征向量；
每个图像样...

【专利技术属性】
技术研发人员：冯晓硕，陈鸣，万克，
申请(专利权)人：中国人民解放军九一零五四部队，
类型：发明
国别省市：北京;11