一种基于知识分类的复杂目标渐近识别方法及装置制造方法及图纸

本发明专利技术提出了一种基于知识分类的复杂目标渐近识别方法及装置。该方法包括：图像预处理，将原始图像数据集I分为多种级别分辨率的数据集，作为复杂目标渐近识别的基准数据集；将图像批量输入在ImageNet数据集上预训练的VGG‑16网络进行特征提取；将提取到的多种分辨率的特征，进行双线性特征融合计算和三线性特征融合计算；利用融合后的特征预测类别。本方法融合三线性池化和双线性池化的特征，在统一的框架内规划复杂目标的粗粒度任务和细粒度任务。解决了实际生活中细粒度识别中忽略的粗粒度任务所提供的特征参考。

【技术实现步骤摘要】
一种基于知识分类的复杂目标渐近识别方法及装置
本专利技术属于图像识别领域，涉及细粒度图像识别与检索，具体涉及一种基于知识分类的复杂目标渐近识别方法及装置。
技术介绍
近年来，细粒度图像识别与检索已成为视觉计算和信息检索领域的研究热点。虽然图像识别技术在近年来已经取得了很大的发展，但是在细粒度图像识别和检索等方面仍然有诸多技术难点亟需突破。细粒度图像分类问题是对大类下的子类进行识别。细粒度图像分析任务相对通用图像任务的区别和难点在于其图像所属类别的粒度更为精细。不止对计算机，对普通人来说，细粒度图像任务的难度和挑战无疑也更为巨大。尽管现有的技术很容易甄别外观差异较为明显的对象如：猫与狗，但这些现有技术仍然难以区分外观差异较不明显的对象如：波音737客机与波音747客机，这些子类中对象的识别结果易于被其运动姿态，观察方向以及相对位置所影响。然而随着人工智能的发展，越来越多的应用场景需要对同一类别下的物体进行更为精细的特征区分，例如：商人对品牌的识别，植物学家对植物的识别等。细粒度图像分类无论在工业界还是学术界都有着广泛的研究需求与应用场景。与之相关的研究课题主要包括识别不同种类的鸟、狗、花、车、飞机等。在实际生活中，识别不同的子类别又存在着巨大的应用需求。例如，在生态保护中，有效识别不同种类的生物，是进行生态研究的重要前提。与一般的图像分类任务区别基本类别不同，细粒度识别非常具有挑战性。然而在实际生活场景中，当观察者与被观察者距离缩短，被观察者更加接近观察者时，细粒度任务往往与粗粒度任务一起出现。而在此前的工作中，细粒度任务和粗粒度任务的结合常常被忽略。学者们更多的关注于细粒度级别的研究，忽略了伴随的粗粒度任务所提供的特征参考也具有指导意义。因此，有必要提出一种在统一的框架内规划复杂目标的粗粒度任务和细粒度任务，进而针对细粒度图像识别的方法。
技术实现思路
本专利技术解决了实际生活中细粒度识别中忽略的粗粒度任务所提供的特征参考的问题。根据本专利技术的一个方面，提供一种基于知识分类的复杂目标渐近识别方法，该方法包括：图像预处理，将原始图像数据集I分为多种级别分辨率的数据集，作为复杂目标渐近识别的基准数据集；将图像批量输入在ImageNet数据集上预训练的VGG-16网络进行特征提取；将提取到的多种分辨率的特征，进行双线性特征融合计算和三线性特征融合计算；利用融合后的特征预测类别。进一步地，将原始图像数据集I定义分为分辨率由高到低的三个图像数据集Ihigh,Imedium,Ilow.。进一步地，将原始图像数据集的分辨率r定义为高分辨率rhigh，图像数据集确定为Ihigh；逐渐降低原始图像数据集的分辨率来得到另外两种分辨率的图像数据集：当准确率低于阈值tmed时，根据rmed分辨率，将图像数据集确定为Imedium；当准确率低于阈值tlow时，根据rlow分辨率，将图像数据集确定为llow。进一步地，将三种分辨率的图像与生物分类学一一映射：Ihigh对应物种，Imedium对应属，Ilow对应科。进一步地，使用SVM分类算法将图像从高分辨率rhigh种向科级别分类，通过准确率阈值tmed和tlow来进行分类。进一步地，将图像批量输入在ImageNet数据集上预训练的VGG-16网络进行特征提取包括：提取三种分辨率图集的relu5_1,relu5_2,relu5_3特征。进一步地，双线性特征的结合fA(I)∈Rhw×c和fB(I)∈Rhw×c等于fA(I)TfB(I)∈Rc×c，其中c是特征图的数量，h和w表示特征图的高和宽；将跨层分解的双线性池化表示为：其中X表示一层，Y表示另一层，其中和是投影矩阵，是分类器矩阵，是哈达玛乘积，d表示联合嵌入的维度，f是双线性模型的输出，投影矩阵F＝I。进一步地，三线性池化方法表示为：其中W表示投影矩阵f结合了三个独立的层，其中X表示一层，Y、Z表示另外两层。进一步地，将三线性特征和三个维度的双线性特征进行融合，计算SoftMax向量，得到预测的结果；三种损失函数相加为全部的损失函数：lfull＝lhigh+lmedium+llow.其中，损失函数loss在每个分辨率下定义为：lhigh＝loss(Ihigh),lmedium＝loss(Imedium),和llow＝loss(Ilow)。根据本专利技术的另一方面，提供一种基于知识分类的复杂目标渐近识别装置，该装置包括：存储器，存储有计算机可执行指令；处理器，所述处理器运行所述存储器中的计算机可执行指令，执行以下步骤：图像预处理，将原始图像数据集I分为多种级别分辨率的数据集，作为复杂目标渐近识别的基准数据集；将图像批量输入在ImageNet数据集上预训练的VGG-16网络进行特征提取；将提取到的多种分辨率的特征，进行双线性特征融合计算和三线性特征融合计算；利用融合后的特征预测类别。本专利技术提出了三线性池化方法，并融合三线性池化和双线性池化的特征，考虑了层间的特征交互，同时避免引入额外的训练参数，更好的捕捉了层间特征关系，跨层的双线性方法效率高、功能强大。附图说明通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。图1为本专利技术基于知识分类的复杂目标渐近识别方法的流程图。图2为根据本专利技术实施例的复杂目标渐近识别方法的应用示意图。图3为本专利技术在CUB200-2011上预测正确的部分结果。图4为本专利技术在CUB200-2011，StanfordCars和FGVC-Aircrafts数据集上的识别准确率对比。具体实施方式下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。本专利技术旨在解决实际生活中复杂目标渐近识别问题，它的目标是在多个分辨率(从低到高)下识别对象的类。为了解决这一问题，本专利技术提出了一种基于知识分类的复杂目标渐近识别方法。本方法融合三线性池化和双线性池化的特征，在统一的框架内规划复杂目标的粗粒度任务和细粒度任务。解决了实际生活中细粒度识别中忽略的粗粒度任务所提供的特征参考。图1为本专利技术基于知识分类的复杂目标渐近识别方法的流程图。如图1所示，本专利技术提出了一种基于知识分类的复杂目标渐近识别方法，该方法包括：图像预处理，将原始图像数据集I分为多种级别分辨率的数据集，作为复杂目标渐近识别的基准数据集；将图像批量输入在ImageNet数据集上预训练的VG本文档来自技高网...

【技术保护点】
1.一种基于知识分类的复杂目标渐近识别方法，其特征在于，该方法包括：/n图像预处理，将原始图像数据集I分为多种级别分辨率的数据集，作为复杂目标渐近识别的基准数据集；/n将图像批量输入在ImageNet数据集上预训练的VGG-16网络进行特征提取；/n将提取到的多种分辨率的特征，进行双线性特征融合计算和三线性特征融合计算；/n利用融合后的特征预测类别。/n

【技术特征摘要】
1.一种基于知识分类的复杂目标渐近识别方法，其特征在于，该方法包括：
图像预处理，将原始图像数据集I分为多种级别分辨率的数据集，作为复杂目标渐近识别的基准数据集；
将图像批量输入在ImageNet数据集上预训练的VGG-16网络进行特征提取；
将提取到的多种分辨率的特征，进行双线性特征融合计算和三线性特征融合计算；
利用融合后的特征预测类别。


2.根据权利要求1所述的基于知识分类的复杂目标渐近识别方法，其特征在于，将原始图像数据集I定义分为分辨率由高到低的三个图像数据集Ihigh,Imedium,Ilow.。


3.根据权利要求2所述的基于知识分类的复杂目标渐近识别方法，其特征在于，将原始图像数据集的分辨率r定义为高分辨率rhigh，图像数据集确定为Ihigh；
逐渐降低原始图像数据集的分辨率来得到另外两种分辨率的图像数据集：
当准确率低于阈值tmed时，根据rmed分辨率，将图像数据集确定为Imedium；
当准确率低于阈值tlow时，根据rlow分辨率，将图像数据集确定为llow。


4.根据权利要求3所述的基于知识分类的复杂目标渐近识别方法，其特征在于，将三种分辨率的图像与生物分类学一一映射：
Ihigh对应物种，Imedium对应属，Ilow对应科。


5.根据权利要求3所述的基于知识分类的复杂目标渐近识别方法，其特征在于，使用SVM分类算法将图像从高分辨率rhigh种向科级别分类，通过准确率阈值tmed和tlow来进行分类。


6.根据权利要求1所述的基于知识分类的复杂目标渐近识别方法，其特征在于，将图像批量输入在ImageNet数据集上预训练的VGG-16网络进行特征提取包括：提取三种分辨率图集的relu5_1,relu5_2,rel...

【专利技术属性】
技术研发人员：胡君，贺东华，方标新，韦章兵，贾小月，殷贺琦，刘丹，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：北京;11