一种基于交叉对比神经网络的图像多任务分类方法技术

本发明专利技术公开了一种基于交叉对比神经网络的图像多任务分类方法。本发明专利技术将深度神经网络与IBS理论相结合，提出了交叉对比神经网络，包括训练部分和测试部分。训练部分步骤：(1)按序选取图像组成集合，使用网络对任两幅进行特征提取；(2)对提取的特征进行概率统计，使用修改的IBS公式得到标准化后的MIBS值；(3)将MIBS值与标签结合，计算损失值；(4)重复以上步骤，使用算法优化损失值；(5)重复4，直至模型训练结束。测试部分步骤：(6)将测试图像与训练集图像两两输入训练好的模型中计算MIBS值，确定测试图像类别。本方法将图像以组合方式两两输入网络，对IBS理论修改加入网络中，解决了样本量少，准确率难以保证和统计特征无法寻找的问题。

【技术实现步骤摘要】
一种基于交叉对比神经网络的图像多任务分类方法
本专利技术涉及统计分析以及深度学习在图像方面的应用，特别是针对小样本图像数据的多任务分类。
技术介绍
2012年，AlexNet网络在ILSVRC中取得了历史性的突破，效果大幅度超越传统的图像分类方法，这也是首次将深度神经网络用于大规模图像分类中。从AlexNet网络之后，出现了一系列的卷积神经网络模型，不断地在ImageNet数据集上刷新成绩，其中包括VGG、GoogleNet和ResNet等。但是这所有的网络，都需要在大样本上进行训练，准确率才能有较大的提升，无法在小样本上做的很好。IBS(Information-basedSimilarity)理论属于统计分析的范畴。它是哈佛医学院彭仲康教授在2007年提出的基于符号序列实现有效分类的方法。此方法成功的应用于在基因序列，文字序列，心音信号分析等领域，实践证明有效。但是这一统计分析的理论只能进行正向的分析，无法对分析得到的数据结果进行反馈，统计特征无法寻找。
技术实现思路
针对以上现有方法中存在的不足，本专利技术的目的在于提出一种基于交叉对比神经网络的图像多任务分类方法，该方法通过将深度神经网络和IBS理论结合形成交叉对比神经网络，以此为基础从而实现图像的多任务分类。相应地，本专利技术的一种基于交叉对比神经网络的图像多任务分类方法，包括训练部分和测试部分。训练部分包括以下步骤：步骤1，按序选取图像组成集合，使用网络对任两幅进行特征提取；步骤2，对提取的特征进行概率统计，使用修改的IBS公式得到标准化后的MIBS(ModifiedInformation-basedSimilarity)值；步骤3，将MIBS值与标签结合，计算损失值；步骤4，重复以上步骤，使用算法优化损失值；步骤5，重复4，直至模型训练结束。测试部分包括以下步骤：步骤6，将测试图像与训练集图像两两输入训练好的模型中计算MIBS值，确定测试图像类别。本专利技术的有益效果是：将深度神经网络与统计分析的IBS理论相结合，创新性的提出了交叉对比神经网络，将图像以组合方式两两输入到网络中，对传统IBS理论进行修改并作为先验知识加入到网络判决中，解决了样本量少，准确率难以保证以及统计特征无法寻找的问题。附图说明图1是本专利技术方法的网络结构图图2是训练部分的流程图图3是测试部分的流程图具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图和具体实施方式对本专利技术进行详细的说明。本实施例的一种基于交叉对比神经网络的图像多任务分类方法，包括训练部分和测试部分。训练部分包括以下步骤：步骤1，按序选取图像组成集合，使用网络对任两幅进行特征提取；在本专利技术的至少一个实施例中，集合是从数据库中选取一定数量一定类别的图像组成，数据库中每个类别的图像数量可以有略微不同，但是不能偏差太多，否则训练出的网络会有偏移。在本专利技术的至少一个实施例中，每个集合中同类图像的数量是集合大小的1/3。如图2所示，本实施例所使用的数据库是160幅油画，共包含4个画家，每个画家40幅油画。设定集合大小是15，它的组成规则是：将160幅油画编号，每次按序取1幅，然后随机选取此画家的另外4幅油画，最后随机选取剩余画家的10幅画组成一个集合。由此共有160个集合。将集合中的15幅油画，按照组合的方式，两两输入到网络中，共有种情况。如图1所示，依次取组合的两幅油画输入到网络。在深度神经网络中，‘convi_j’代表第i卷积层的第j个分层，i越小，其代表的卷积层次越低。在本实施例中，取出‘conv41’卷积层的特征，进一步处理。步骤2，对提取的特征进行概率统计，使用修改的IBS公式得到标准化后的MIBS值；如图1所示，可以选取‘conv4_1’层，有512个滤波器，即1幅图像经过滤波器处理之后，产生512幅图像。设定一个阈值，将512幅图像中每个像素点的像素值和阈值进行比较，大于等于阈值计为1，反之计为0。由此，得到512幅图像中每一幅图像中1的个数ni(i＝1，2，3，....，N)，并由此得到一系列的概率wi(i＝1，2，3，....，N)。依公式(1)计算wi：见图1，依公式(2)计算原先的IBS：F(wi)＝[-p1(wi)log(p1(wi))-p2(wi)log(p2(wi))]/Z(3)N表示滤波器的个数，本实施例中，N为512。R1(wi)表示输入的第一幅图像中第i个滤波器的概率wi在所有N个概率中的排序名次，R2(wi)表示输入的第二幅图像中第i个滤波器的概率wi在所有N个概率中的排序名次。p1(wi)表示输入的第一幅图像中第i个滤波器的概率wi，p2(wi)表示输入的第二幅图像中第i个滤波器的概率wi。由公式(2)可知，相似序列的IBS值趋向于0，而风格迥异的两幅图像的IBS值上限不为1，无法估计，故将IBS的计算公式进行修改，并对其进行标准化形成MIBS。依公式(5)计算MIBS：RevIBS＝IBS(random(p1(wi))，random(p2(wi)))(6)random(p1(wi))表示将第一幅图中所有wi全部打散随机分配，这样第i个滤波器不再对应wi，random(p2(wi))表示将第二幅图中所有wi全部打散随机分配。RevIBS的计算方法，是将两幅图像各自的N个概率全部打散随机分配，接着按照公式(2)，计算得到RevIBS值。步骤3，将MIBS值与标签结合，计算损失值；规定，两幅图像若是同一类，label(标签)为0，反之则为1。根据步骤2得到的两幅图像的MIBS值，结合两幅图像是否是同一类的标签，根据公式(7)计算得到交叉熵损失值：loss＝-label*log(MIBS)-(1-label)*log(1-MIBS)(7)步骤4，重复以上步骤，使用算法优化损失值；根据步骤1可知，重复的次数由集合大小决定，次数等于集合中图像的组合数。在本实施例中，重复次。在本专利技术的至少一个实例中，所使用的算法是反向传播算法和梯度下降算法。将计算得到的这些损失值反向传播回深度网络中，使用梯度下降算法优化损失值。步骤5，重复4，直至模型训练结束。在本实施例中，数据库有160幅油画，则每跑完160个集合，迭代次数递增1，紧接着判断迭代次数是否超过限定次数，若超过限定次数，则训练结束。或者，每迭代一次，判断损失值的方差是否小于设定值，若小于设定值，则训练结束。测试部分包括以下步骤：步骤6，将测试图像与训练集图像两两输入训练好的模型中计算MIBS值，确定测试图像类别。如图3所示，将测试图像与训练集中图像两两输入训练好的模型中网络计算得到MIBS值，在本实施例中，针对每幅测试图像，均有160个MIBS值。最终根据MIBS值判定每幅测试图像属于这4个画家的幅数为mi(i＝1，2，3，4)，则测试图像属于这4个画家的概率是ki(i＝1，2，3，4)。再将这些概率进行比较，测试图像属于最大概率的所属类别。依公式(8)计算ki：式中M表示训练集中此类别的图像数量。本实施例中，M为40。训练集中每个类别的图像数量可以有所不同。应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方本文档来自技高网...

【技术保护点】
1.本专利技术公开了一种基于交叉对比神经网络的图像多任务分类方法，其特征在于：交叉对比神经网络包括训练部分和测试部分。

【技术特征摘要】
1.本发明公开了一种基于交叉对比神经网络的图像多任务分类方法，其特征在于：交叉对比神经网络包括训练部分和测试部分。2.根据权利要求1所述的一种基于交叉对比神经网络的图像多任务分类方法，其特征在于，训练部分包括以下步骤：步骤1，按序选取图像组成集合，使用网络对任两幅进行特征提取；步骤2，对提取的特征进行概率统计，使用修改的IBS公式得到标准化后的MIBS值；步骤3，将MIBS值与标签结合，计算损失值；步骤4，重复以上步骤，使用算法优化损失值；步骤5，重复4，直至模型...

【专利技术属性】
技术研发人员：孙宇，陈颖，葛云，黄晓林，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32