图像物体检测方法技术

本发明专利技术提供一种能够在大图像数据集上获得较好检测性能的图像物体检测方法，包括：对多个样本图像按照信息量级别分别进行标注，获得对应的标注图像；提取所述标注图像中包含物体的区域或包含物体概率最大的区域并生成候选窗口；在卷积神经网络上提取所述候选窗口的特征表达并组成候选集，通过半监督学习对所述候选集进行拟合，获得图像检测模型目标函数；提取待检测图像中包含目标物体的区域或包含目标物体概率最大的区域并生成待检测窗口，提取所述待检测窗口的特征表达并进行检测，获得包含所述目标物体概率最大的所述候选窗口。本发明专利技术所述方法能够在大数据集上较快速准确的对目标物体进行检测。

【技术实现步骤摘要】
图像物体检测方法
本专利技术涉及图像识别或图像处理
，特别涉及一种图像物体检测方法。
技术介绍
在图像识别或图像处理技术中，图像物体检测应用广泛，例如犯罪追踪、大型体育赛事或博览会的人流统计及分析、智能城市、智能交通、智能家居、网购检索、以图搜图、图像或视频语义的实时理解等。是否能够较好的完成对输入图像如人脸等的识别并找到相关度高的匹配图像，一方面取决于图像数据库是否足够完备，海量图像、视频数据将有利于提升检索性能；另一方面与所使用的图像检测方法是否合适有关，这就需要计算机对图像数据集合理建模，以便后续快速准确的从图像数据库中为输入图像找到最为相似的搜索结果，图像检测建模过程也称图像检测算法学习，图像检测即是通过这种学习过程找到图像检测的目标函数并将其用于检测图像中的物体。现有技术中，图像检测算法学习按照图像数据集中的图像数据是否包含先验信息可以分为三种类型：全部图像数据均包含先验信息、例如物体的种类或位置标签等的有监督学习，一部分图像数据包含先验信息另一部分图像数据不包含先验信息的半监督学习和全部图像数据不包含先验信息的无监督学习方法。无监督学习方法基于无先验信息标签的数据集实现，不利于在有限计算能力下获得较快的计算速度，较难获得良好的检测性能；有卷积神经监督学习方法基于先验信息标签完备的数据集实现，有助于提高图像检测性能，但受到标签标注人工成本和硬件存储容量等的限制，对于样本容量大的图像数据集并不适用。半监督学习方法基于部分图像贴住标签的数据集，对于人员和硬件资源的消耗适中，但随着图像数据的增加，现有图像检测模型中数据集模糊性增加，通过半监督学习得到的目标函数对大数据集的拟合性下降，因此现有半监督学习得到的图像物体检测方法在大图像数据集上对图像的检测性能不佳。
技术实现思路
本专利技术提供一种图像物体检测方法，以实现在大图像数据集上获得较好检测性能。本专利技术图像物体检测方法，包括：对多个样本图像按照信息量级别分别进行标注，获得对应的标注图像；根据窗口提取方法提取所述标注图像中包含物体的区域或包含物体概率最大的区域并生成候选窗口；在卷积神经网络上提取所述候选窗口的特征表达并组成候选集，通过半监督学习对所述候选集进行拟合，获得图像检测模型目标函数；根据所述窗口提取方法提取待检测图像中包含目标物体的区域或包含目标物体概率最大的区域并生成待检测窗口，在所述卷积神经网络上提取所述待检测窗口的特征表达并在所述图像检测模型目标函数上进行检测，获得所述候选集中的特征表达所对应的包含所述目标物体概率最大的所述候选窗口。本专利技术的有益效果为：本专利技术通过在更加灵活的卷积神经网络上提取候选窗口的特征表达，并基于卷积神经网络进行半监督学习，将图像先验信息量程度不同的图像数据统一个框架，能够表达更复杂的非线性变换关系，更好的处理候选集以及待检测窗口等输入图像的非线性和复杂性，从而能够在大量图像所组成数据集上快速高效的检测出目标物体，解决了如何在大图像数据集上获得较好检测性能的技术问题。附图说明图1是本专利技术图像物体检测方法实施例一的流程图；图2是本专利技术图像物体检测方法实施例一的框架图；图3是本专利技术图像物体检测方法实施例一在PascalVOC2007测试集上前10类物体的检测性能对比图；图4是本专利技术图像物体检测方法实施例一在PascalVOC2007测试集上进行测试的效果图；图5是本专利技术图像物体检测方法实施例二的流程图；图6是本专利技术图像物体检测方法实施例二的平均检测精度示意图；图7是本专利技术图像物体检测方法实施例三的流程图；图8是本专利技术图像物体检测方法实施例四的流程图。具体实施方式图1为本专利技术图像物体检测方法实施例一的流程图，图2是本专利技术图像物体检测方法实施例一的框架图，如图1所示，本专利技术图像物体检测方法，包括：S101、对多个样本图像按照信息量级别分别进行标注，获得对应的标注图像；优选的，所述信息量级别包括强标注和弱标注，所述对多个样本图像按照信息量级别分别进行标注，获得对应的标注图像包括：对样本图像添加所包含物体的类别标注和位置标注，获得强标注图像；强标注图像指的是知道图像中所包含物体的类别及其位置的图像；或者，对样本图像仅添加所包含物体的类别标注，获得弱标注图像；弱标注图像指的是知道所包含的物体类别的图像，比如“人”、“椅子”，但是“人”和“椅子”在图像中的什么位置，以及其数目，都是不知道的；S102、根据窗口提取方法提取所述标注图像中包含物体的区域或包含物体概率最大的区域并生成候选窗口；需要说明的是，对任意所述标注图像，若能提取到包含物体的区域则提取所述标注图像中包含物体的区域，若不能提取到包含物体的区域则提取所述标注图像中最可能包含物体的区域，也即对于任意一张所述标注图像，在完成第一步骤之后即能够确定无疑的对提取方式二选其一而不存在无法确定唯一提取方式的情形；优选的，所述根据窗口提取方法提取所述标注图像中包含物体的区域或包含物体概率最大的区域并生成候选窗口包括：根据所述类别标注和所述位置标注，提取所述强标注图像中包含物体的区域并生成强标注候选窗口；或者，根据所述类别标注和选择性搜索算法，提取所述弱标注图像中包含物体概率最大的区域并生成弱标注候选窗口，具体包括：S1021、将输入图像从RGB空间转化到不同的颜色空间，如HSV,Lab,RGI,I等；S1022、利用基于图的过分割算法，对转换了颜色空间的图像进行分割；S1023、利用层次化组织思想，采用贪婪算法进行区块合并，得到层次化的图像分块；S1024、将不同参数下得到的图像分块整合到一起并进行去重处理，得到弱标注图像的候选窗口；由此可见，所述选择性搜索算法，是一种基于过分割，采用多种参数配置得到图像的多个过分割，利用层次化组织合并算法实现图像块层级合并，得到层次化的图像分块的方法，而所述分块中很可能包含有完整的物体；而对于强标注图像，由于图像中物体的位置是给定的，因而可以直接根据物体的位置标注提取出相关的物体区域。S103、在卷积神经网络上提取所述候选窗口的特征表达并组成候选集，通过半监督学习对所述候选集进行拟合，获得图像检测模型目标函数；优选的，所述卷积神经网络为预先在图像分类数据集ImageNet2013上训练并获取的卷积神经网络，图像分类数据集ImageNet2013是一个很大的图像分类数据集，预先在该数据集上训练得到的卷积神经网络能够从候选窗口中提取得到包含更强的高层语义信息的丰富特征表达；在获取到可能包含感兴趣的物体的候选区域之后，要通过计算机视觉和模式识别算法确定某个候选窗口是否是某种物体，就需要首先对该候选窗口进行特征表达，从而可以在之后使用分类器进行分类判断；在图像分类与识别技术中，常用的特征表达包括SIFT、LBP、HOG等底层特征表达，词包模型等中层特征表达，以及卷积神经网络、深度信念网络等近年非常流行的层次化特征表达；所述半监督学习，要解决的是物体层次的识别问题，要通过消除半监督学习中数据集的模糊性来回答什么物体在什么地方这个语义层次的问题，这种高层语义问题不是底层特征描述和中层特征描述能够很好处理的，需要非常抽象的高层特征表达，卷积神经网络在物体识别领域取得了一系列的重大突破，其层次化的特征表达，实现了特征由底层到高层的逐层抽象，其前面的特征本文档来自技高网...

【技术保护点】
一种图像物体检测方法，其特征在于，包括：对多个样本图像按照信息量级别分别进行标注，获得对应的标注图像；根据窗口提取方法提取所述标注图像中包含物体的区域或包含物体概率最大的区域并生成候选窗口；在卷积神经网络上提取所述候选窗口的特征表达并组成候选集，通过半监督学习对所述候选集进行拟合，获得图像检测模型目标函数；根据所述窗口提取方法提取待检测图像中包含目标物体的区域或包含目标物体概率最大的区域并生成待检测窗口，在所述卷积神经网络上提取所述待检测窗口的特征表达并在所述图像检测模型目标函数上进行检测，获得所述候选集中的特征表达所对应的包含所述目标物体概率最大的所述候选窗口。

【技术特征摘要】
1.一种图像物体检测方法，其特征在于，包括：对多个样本图像按照信息量级别分别进行标注，获得对应的标注图像；根据窗口提取方法提取所述标注图像中包含物体的区域或包含物体概率最大的区域并生成候选窗口；在卷积神经网络上提取所述候选窗口的特征表达并组成候选集，通过半监督学习对所述候选集进行拟合，获得图像检测模型目标函数；根据所述窗口提取方法提取待检测图像中包含目标物体的区域或包含目标物体概率最大的区域并生成待检测窗口，在所述卷积神经网络上提取所述待检测窗口的特征表达；并根据所述待检测窗口的特征表达在所述图像检测模型目标函数上进行检测，获得包含所述目标物体置信度最高的待检测窗口，作为最终检测到的目标物体；其中，所述信息量级别，包括：强标注和弱标注；“对多个样本图像按照信息量级别分别进行标注，获得对应的标注图像”，包括：对样本图像添加所包含物体的类别标注和位置标注，获得强标注图像；所述强标注图像指的是知道图像中所包含物体的类别及其位置的图像；或者，对样本图像仅添加所包含物体的类别标注，获得弱标注图像；所述弱标注图像指的是仅知道所包含的物体类别的图像；“根据窗口提取方法提取所述标注图像中包含物体的区域或包含物体概率最大的区域并生成候选窗口”，包括：根据所述类别标注和所述位置标注，提取所述强标注图像中包含物体的区域并生成强标注候选窗口；或者，根据所述类别标注和选择性搜索算法，提取所述弱标注图像中包含物体概率最大的区域并生成弱标注候选窗口；具体包括：将输入图像从RGB空间转化到不同的颜色空间；利用基于图的过分割算法，对转换了颜色空间的图像进行分割；利用层次化组织思想，采用贪婪算法进行区块合并，得到层次化的图像分块；将不同参数下得到的图像分块整合到一起并进行去重处理，得到弱标注图像的候选窗口；所述图像检测模型目标函数为：C1、C2、C3为加权参数，用于调整不同类型数据集的损失惩罚；λ为权重衰减系数，用于加在卷积神经网络的权重上，以控制权重的取值范围，防止出现模型的过拟合现象，w为所述卷积神经网络的输出函数的二范数；Lp表示正样本图像强标注候选窗口的负对数似然函数：Lwp表示正样本图像弱标注候选窗口的负对数似然函数：Ln表示负样本图像候选窗口的负对数似然函数：用于将卷积神经网络的输出函数f(x)转换成概率；表示第i个正样本图像强标注候选窗口的特征表达；ki表示第i个正样本图像中响应最大的弱标注候选窗口的索引，表示第i个正样本图像响应最大的弱标注候选窗口的特征表达；表示第i个负样本图像候选窗口的特征表达；Np、Nwp、Nn分别表示正样本图像强标注窗口的个数、正样本图像弱标注窗口的个数和随机选取的负样本图像候选窗口的个数。2.根据权利要求1所述的图像物体检测方法，其特征在于，在所述根据所述类别标注和所述位置标注，提取所述强标注图像中包含物体的区域并生成强标注候选窗口之后，还包括：对所述强标注候选窗口进行翻转处理。3.根据权利要求1所述的图像物体检测方法，其特征在于，所述通过半监督学习对所述候选集进行拟合，获得图...

【专利技术属性】
技术研发人员：黄凯奇，任伟强，王冲，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11