基于多层次特征融合的图像表达方法和装置制造方法及图纸

本发明专利技术实施例提供了一种基于多层次特征融合的图像表达方法和装置。所述基于多层次特征融合的图像表达方法，包括：获取输入图像的至少两个特征；所述至少两个特征为场景级别特征、对象级别特征、点级别特征的至少两个的组合；将所述至少两个特征融合到所述输入图像的特征空间，作为所述输入图像的表达；根据所述输入图像的表达，对所述输入图像进行处理。本发明专利技术能够提高对图像的表达力。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域，尤其涉及一种基于多层次特征融合的图像表达方法和装置。
技术介绍
随着移动互联网的兴起和摄像头在终端的快速普及，人们记录图像越来越方便。图像数据呈现指数级的增长趋势。如何合理准确的表达图像中的信息是许多计算机视觉任务的关键，例如图像检索、图像分类等。近十年来，尺度不变特征变换(SIFT)广泛应用于计算机视觉的众多方向，其对旋转、尺度变化等具有较好的几何不变形。为了让SIFT更有效的表达图像的语义信息，人们提出了词袋模型(Bag-of-Word)、费舍尔向量(FisherVector)以及局部特征聚合描述符(VLAD)等表达方法。但这些方法并没有较好的解决“语义鸿沟”。近年来，卷积神经网络(CNN)作为深度学习的代表，在图像分类，对象检测等诸多视觉任务中显著超越了传统方法，其能较好的表达图像的高层语义信息。当前大多数基于CNN的图像表达是将全图输入训练好的网络得到一个固定维数的特征向量，表达一张图像。尽管CNN的表达具有较为丰富的语义信息，但其对一些几何变换较为敏感，且其性能受训练数据的影响很大，故在缺少训练数据或训练数据较少的任务不能很好的发挥作用。现有的特征描述主要是基于SIFT或CNN的表达，一般只描述图像全局的信息，即整张图像的特征分布。如果对象在图像中所占比例较小在特征中将很难描述该对象的信息。显然，这对对象检索及分类等相关应用的影响很大。>
技术实现思路
本专利技术的实施例提供了一种基于多层次特征融合的图像表达方法和装置，能够提高对图像的表达力。为了实现上述目的，本专利技术采取了如下技术方案。一种基于多层次特征融合的图像表达方法，包括：获取输入图像的至少两个特征；所述至少两个特征为场景级别特征、对象级别特征、点级别特征的至少两个的组合；将所述至少两个特征融合到所述输入图像的特征空间，作为所述输入图像的表达；根据所述输入图像的表达，对所述输入图像进行处理。一种基于多层次特征融合的图像表达装置，包括：获取单元，获取输入图像的至少两个特征；所述至少两个特征为场景级别特征、对象级别特征、点级别特征的至少两个的组合；聚合单元，将所述至少两个特征融合到所述输入图像的特征空间，作为所述输入图像的表达；处理单元，根据所述输入图像的表达，对所述输入图像进行处理。本专利技术提出一种基于多层次特征融合的图像表达方法及装置，融合后的特征具有很强的表达力，其在较低维度下仍能保持稳定的性能。本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例一提供的一种基于多层次特征融合的图像表达方法的的处理流程图；图2是本专利技术另一实施例提供的基于多层次特征融合的图像表达方法的步骤图；图3是本专利技术实施例中对象级别特征表达的图像表达方法的流程图；图4是以一图像为例的基于多层次特征融合的图像表达方法的示意图。图5是本专利技术的基于图像表达方法进行检索的流程图；图6是本专利技术的基于图像表达方法进行分类的流程图；图7是本专利技术实施例提供的一种基于多层次特征融合的图像表达装置的连接示意图。具体实施方式下面详细描述本专利技术的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本专利技术的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本专利技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。为便于对本专利技术实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本专利技术实施例的限定。如图1所示，一种基于多层次特征融合的图像表达方法的实施例，包括：步骤11，获取输入图像的至少两个特征；所述至少两个特征为场景级别特征、对象级别特征、点级别特征的至少两个的组合；步骤12，将所述至少两个特征融合到所述输入图像的特征空间，作为所述输入图像的表达；步骤13，根据所述输入图像的表达，对所述输入图像进行处理。其中，处理可以为根据输入图像的表达，进行具体的应用。例如，步骤13包括：根据所述输入图像的特征空间，对所述输入图像进行分类；或者根据所述输入图像的特征空间，对所述输入图像进行检索。或者，步骤13包括：步骤131，对所述输入图像的表达进行后处理；步骤132，根据后处理的所述输入图像的表达，对所述输入图像进行处理。步骤131包括：对所述输入图像的特征空间进行幂归一化处理、归一化处理、降维处理、或者白化处理。其中，步骤12包括：对所述至少两个特征进行等权值或不等权值融合，将所述至少两个特征融合到所述输入图像的特征空间。其中，所述场景级别特征的获取步骤包括：利用深度学习和/或人工筛选特征,获取所述输入图像在全图级别的信息，作为所述输入图像的场景级别特征。所述对象级别特征的获取步骤包括：生成所述输入图像的对象区域矩形框；获取每个所述对象区域矩形框的深度学习和/或人工筛选的特征；聚合每个所述对象区域矩形框的深本文档来自技高网...

【技术保护点】
一种基于多层次特征融合的图像表达方法，其特征在于，包括：获取输入图像的至少两个特征；所述至少两个特征为场景级别特征、对象级别特征、点级别特征的至少两个的组合；将所述至少两个特征融合到所述输入图像的特征空间，作为所述输入图像的表达；根据所述输入图像的表达，对所述输入图像进行处理。

【技术特征摘要】
1.一种基于多层次特征融合的图像表达方法，其特征在于，包括：
获取输入图像的至少两个特征；所述至少两个特征为场景级别特征、对
象级别特征、点级别特征的至少两个的组合；
将所述至少两个特征融合到所述输入图像的特征空间，作为所述输入图
像的表达；
根据所述输入图像的表达，对所述输入图像进行处理。
2.根据权利要求1所述的方法，其特征在于，所述根据所述输入图像的
表达，对所述输入图像进行处理的步骤包括：
根据所述输入图像的特征空间，对所述输入图像进行分类；或者
根据所述输入图像的特征空间，对所述输入图像进行检索。
3.根据权利要求1所述的方法，其特征在于，所述根据所述输入图像的
表达，对所述输入图像进行处理的步骤包括：
对所述输入图像的表达进行后处理；
根据后处理的所述输入图像的表达，对所述输入图像进行处理。
4.根据权利要求3所述的方法，其特征在于，所述对所述特征空间进行
后处理的步骤包括：
对所述输入图像的特征空间进行幂归一化处理、归一化处理、降维处
理、或者白化处理。
5.根据权利要求1所述的方法，其特征在于，所述将所述至少两个特征
融合到所述输入图像的特征空间的步骤包括：
对所述至少两个特征进行等权值或不等权值融合，将所述至少两个特征
融合到所述输入图像的特征空间。
6.根据权利要求1所述的方法，其特征在于，所述场景级别特征的获取

\t步骤包括：
利用深度学习和\...

【专利技术属性】
技术研发人员：田永鸿，鄢科，梁大为，王耀威，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11