一种图像中目标的检索方法和装置制造方法及图纸

本发明专利技术公开了一种图像中目标的检索方法和装置。该检索方法，包括：对待检索图像进行目标定位；将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码；查找数据库图像中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于阈值的疑似图像。通过对待检索图像进行目标定位，将目标进行至少两级分类，并生成目标的局部特征编码，检索时根据检索目标的分类进行检索和相似度排序；通过目标分类，检索的目标在同一目标类别下进行模型匹配，提高了检索准确率和效率。

【技术实现步骤摘要】

本专利技术涉及图形图像领域，尤其涉及一种图像中目标的检索方法和装置。
技术介绍
现有技术中对图片进行检索时，从技术而言一般是处理目标的灰度图像，提取图像局部描述(SIFT,SURF),采用视觉词袋(BOW)，汉明嵌入，局部敏感哈希等方法，计算目标图像之间的特征的距离或者相似度，这种方法忽略了同样重要的颜色，形状，纹理，目标类型等全局的特征，导致检索的结果颜色，形状，纹理，目标类型与查询的目标差异较大。从检索思路而言，监控场景中不区分目标的类型逐一进行对比，处理缺乏针对性，且浪费资源。
技术实现思路
本专利技术提供了一种图像中目标的检索方法和装置，通过对待检索图像进行目标定位，将目标进行至少两级分类，并生成目标的局部特征编码，检索时根据检索目标的分类进行检索和相似度排序；通过目标分类，检索的目标在同一目标类别下进行模型匹配，提高了检索准确率和效率。为达此目的，本专利技术采用以下技术方案：一方面采用一种图像中目标的检索方法，包括：对待检索图像进行目标定位；将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码；查找数据库图像中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于阈值的疑似图像。另一方面采用一种图像中目标的检索装置，包括：目标获取单元，用于对待检索图像进行目标定位；分类编码单元，用于将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码；比对单元，用于查找数据库图像中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于阈值的疑似图像。本专利技术的有益效果为：通过对待检索图像进行目标定位，将目标进行至少两级分类，并生成目标的局部特征编码，检索时根据检索目标的分类进行检索和相似度排序；通过目标分类，检索的目标在同一目标类别下进行模型匹配，提高了检索准确率和效率。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对本专利技术实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本专利技术实施例的内容和这些附图获得其他的附图。图1是本专利技术具体实施方式中提供的一种图像中目标的检索方法的第一实施例的方法流程图。图2是本专利技术具体实施方式中提供的一种图像中目标的检索方法的第二实施例的方法流程图。图3是本专利技术具体实施方式中提供的一种图像中目标的检索方法的第三实施例的方法流程图。图4是本专利技术具体实施方式中提供的一种图像中目标的检索装置的第一实施例的结构方框图。图5是本专利技术具体实施方式中提供的一种图像中目标的检索装置的第二实施例的结构方框图。图6是本专利技术具体实施方式中提供的一种图像中目标的检索方法的第三实施例的结构方框图。具体实施方式为使本专利技术解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本专利技术实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参考图1，其是本专利技术具体实施方式中提供的一种图像中目标的检索方法的第一实施例的方法流程图。如图所示，该检索方法，包括：步骤S101：对待检索图像进行目标定位。对目标进行定位和获取目标区域图像，通过LBP(LocalBinaryPatterns，线性反投影算法)、HOG(HistogramofOrientedGradient，方向梯度直方图)、DPM(DeformablePartsModel，一种目标检测算法)目标检测方法结合显著性检测方法实现，前述的算子在现有技术中已有实现，在此不做进一步说明。步骤S102：将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码。在现有技术中，在目标中对特定目标进行检索时，所有的目标都处于同一集合中，相当于只有一级分类，每个分类就是一个目标，在本方案中，在每个目标上方再设置至少一级分类，例如人、汽车、自行车等。步骤S103：查找数据库图像中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于阈值的疑似图像。因为已经对目标进行了分类，在检索过程中，直接确认检索目标的分类，然后在目标的对应分类中进行检索即可，减少了检索的运算量，并且在同一分类中进行检索，通过相同类别的模型进行检索即可。综上所述，通过对待检索图像进行目标定位，将目标进行至少两级分类，并生成目标的局部特征编码，检索时根据检索目标的分类进行检索和相似度排序；通过目标分类，检索的目标在同一目标类别下进行模型匹配，提高了检索准确率和效率。请参考图2，其是本专利技术具体实施方式中提供的一种图像中目标的检索方法的第二实施例的方法流程图。如图所示，该检索方法，包括：步骤S201：对待检索图像进行目标定位。步骤S202：训练生成深度学习分类器，所述深度学习分类器将所述目标进行至少两级分类。对输入的目标图像识别目标类型，使用机器学习中深度学习分类算法进行训练，得到深度学习分类器，深度学习分类器识别出目标的大类：例如人、汽车、自行车、电瓶车；对于每个大类中，还可进一步进行分类，例如车辆的品牌分类，人的衣服类型分类和性别分类。步骤S203：将一个目标对应的目标区域图像分成多个特征提取区域，每一特征提取区域生成相应的特征，将所有特征提取区域对应的特征合成所述目标的局部特征。步骤S204：基于所述至少两级分类中的一级分类模型编码压缩所述局部特征，生成每个所述目标的局部特征编码，所述局部特征编码为固定长度的二进制码串。步骤S205：查找数据库图像中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于阈值的疑似图像。在检索过程中，可能会检索出多个图像相似度都比较高的目标，此时根据图像相似度进行排名，以供人工判断。综上所述，通过对待检索图像进行目标定位，将目标进行至少两级分类，并生成目标的局部特征编码，检索时根据检索目标的分类进行检索和相似度排序；通过目标分类，检索的目标在同一目标类别下进行模型匹配，提高了检索准确率和效率。请参考图3，其是本专利技术具体实施方式中提供的一种图像中目标的检索方法的第三实施例的方法流程图。如图所示，该检索方法，包括：步骤S301：对待检索图像进行目标定位。步骤S302：提取所述目标的基础特征，所述基础特征包括颜色特征、纹理特征和轮廓特征。对输入的每一幅目标区域图像提取颜色特征，颜色特征的提取方法为利用深度学习方法训练得到图像RGB像素值到14种主颜色(黑，蓝，棕，灰，绿，青，橙，粉红，紫色,紫红，红，白，银白，黄)之间的卷积神经网络，训练的方式与目标类型网络训练方式相同。每一个图像RGB三元组都会按概率映射到14个主颜色上，得到一个置信度直方图，将目标区域的所有置信度直方图求平均：M→=ΣxΣy(C→)/patch_size]]>轮廓形状本文档来自技高网...

【技术保护点】
一种图像中目标的检索方法，其特征在于，包括：对待检索图像进行目标定位；将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码；通过树形分类索引结构，查找到图像数据库中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于阈值的疑似图像。

【技术特征摘要】
1.一种图像中目标的检索方法，其特征在于，包括：对待检索图像进行目标定位；将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码；通过树形分类索引结构，查找到图像数据库中与所述目标的分类相同的疑似图像，将所述疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于阈值的疑似图像。2.根据权利要求1所述的图像中目标的检索方法，其特征在于，所述将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码，包括：训练生成深度学习分类器，所述深度学习分类器将所述目标进行至少两级分类；将一个目标对应的目标区域图像分成多个特征提取区域，每一特征提取区域生成相应的特征，将所有特征提取区域对应的特征合成为所述目标的局部特征；基于所述至少两级分类中的一级分类模型编码压缩所述局部特征，生成每个所述目标的局部特征编码，所述局部特征编码为固定长度的二进制码串。3.根据权利要求2所述的图像中目标的检索方法，其特征在于，所述训练生成深度学习分类器的步骤中，所述深度学习分类器将所述目标进行至少两级分类，包括：从所述目标的目标区域图像中抽取a×b小尺寸图像样本xs，对每个小尺寸图像样本计算出对应的值fs＝σ(W(1)xs+b(1))，对所有的fs做卷积，得到k×(r-a+1)×(c-b+1)个卷积特征的矩阵；将所述卷积特征划分到多个不相交区域上，通过所述不相交区域的平均或
\t最大特征来获取池化后的卷积特征；基于所述池化后的卷积特征，通过反向传播算法和Softmax回归训练出深度学习分类器；所述深度学习分类器将所述目标进行至少两级分类；其中σ是sigmod型函数，W(1)和b(1)是小尺寸图像样本中可视层单元和隐含单元之间的权重和偏差值，k为fs计算得到的特征的个数，所述目标区域图像的大小为r×c。4.根据权利要求1所述的图像中目标的检索方法，其特征在于，所述图像数据库中同一分类的图像地址保存到同一个表，以形成所述树形分类索引结构；所述树形分类索引结构的根节点存储一级分类索引表地址，上级分类索引表中存储下级分类索引表地址，末级分类索引表中存储图像地址。5.根据权利要求2所述的图像中目标的检索方法，其特征在于，所述基于所述至少两级分类中的一级分类模型编码压缩所述局部特征，生成每个所述目标的局部特征编码的步骤，包括：生成d×d的高斯分布随机数矩阵S；对S使用SVD分解算法S＝UΛU-1得到正交投影矩阵U；取U的前db行形成最终的正交投影矩阵p；将局部特征的特征描述符分配到与其距离最小的词袋；使用正交投影矩阵p对所述特征描述符进行投影计算；在每一个词袋中心的每一维投影分量中,对属于这个词袋的特征集合进行
\t排序，获取排序结果的中值作为二进制码串生成相似度阈值；生成每个所述目标的局部特征编码，所述局部特征编码的计算如下：其中bi(x)表示当前第i维二进制局部特征编码，zi表示当前第i维局部特征值，τq(x),i表示当前第i维局部特征阈值。6.根据权利要求1所述的图像中目标的检索方法，其特征在于，所述将所述目标进行分类和局部特征提取，生成所述局部特征的局部特征编码的步骤之前，还包括：提取所述目标的基础特征的步骤，所述基础特征包括颜色特征、纹理特征和轮廓特征。7.根据权利要求1所述的图像中目标的检索方法，其特征在于，所述将疑似图像预存的局部特征编码与所述目标的局部特征编码进行比对，输出相似度大于阈值的疑似图像的步骤，进一步包括：查找图像数据库中与所述目标分类相同的疑似图像；滤除所述疑似图像中与目标的基础特征的相似度低于第二阈值的图像；将剩余的疑似图像与目标进行局部特征码对比，获得对比的相似度大于相似度阈值的疑似图像子集；将所述疑似图像子集中的图像按相似度从高到低...

【专利技术属性】
技术研发人员：郭阶添，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33