一种场景图像识别方法和场景图像识别设备技术

本发明专利技术提供了一种场景图像识别方法及其设备，涉及图像处理技术领域。该方法包括：步骤S101：提取图像的特征，以形成特征图；步骤S102：利用多个随机模板将所述特征图切分成多个独立的通道；以及步骤S103：将所述多个独立的通道进行池化，以形成新的特征图。该方法可以更加精确地识别场景，以提供最优的场景识别性能。该场景图像识别设备同样具有上述优点。

【技术实现步骤摘要】

本专利技术涉及图像处理
，具体而言涉及一种场景图像识别方法及其设备。
技术介绍
场景识另Ij(scene recognit1n)是广义上的图像识别(image recognit1n)问题中的一个特定的子问题，其目标即为给定一张图像或照片，由计算机自动判断该图像或照片是属于何种具体的场景(包括但不限于室外场景如海滩、森林、城市等，室内场景如客厅、卧室、健身房等，以及事件场景如足球比赛、游行、演唱会等)。如今，场景识别技术在视频监控、社交网络用户行为挖掘等方面发挥着非常重要的作用，也因此受到了广泛的关注和研宄。在当前学界及业界中现有的场景识别方法几乎都是直接移植了广义图像识别方法，其主要可归为两个步骤:第一步，提取图像的外表特征(appearance feature)，如颜色直方图、HOG (histogram of gradient,梯度直方图)、SIFT (scale-1nvariant featuretransform，尺度不变特征变换)、深度神经网络的特征层等；第二步，是利用大量的训练图像数据，在第一步提取的图像外表特征上训练分类器，如SVM(support vector machine，支持向量机)、DF(decis1n forest，决策森林)、神经网络等，根据图像的外表特征对图像所属的场景进行分类预测。然而，场景图像与广义图像对比有着一项很特殊的性质:空间布局(spatiallayout) ο如图1所示，在场景为“海滩”的图像中，具有天空、建筑、海、沙滩等空间布局信息；而在场景为“航帆”的图像中，具有帆、天空，船和海等空间布局信息。场景通常可分类为但不限于，室内、室外、操场、建筑物、城里、乡下、高速公路、沙滩、森林。对场景进行分类并不关心图像中具体有什么物体，而是关注图片在什么场景下被拍摄的。空间布局信息对于描述场景图像有非常积极的意义:同一类别的场景往往具有相似的空间布局，而不同类别的场景的空间布局往往有较大差异，而妥善利用这些空间布局信息将会使场景识别更加精确。但在现有的场景识别方法中，无论是提取图像特征还是训练分类器，俱没有考虑到不同类别的场景图像的空间布局信息并加以利用，因此现有方法无法提供最优的场景识别性能。由此可见，现有技术中的上述场景图像识别方法由于没有考虑到空间布局信息，导致场景图像识别不够精确，没有达到最优的场景识别性能。因此，为解决上述技术问题，有必要提出一种新的场景图像识别方法及其设备。
技术实现思路
针对现有技术的不足，本专利技术提出一种场景图像识别方法和场景图像识别设备，可以显著提高场景识别的精确度和性能。本专利技术的一个实施例提供一种场景图像识别方法，所述方法包括:步骤SlOl:提取图像的特征，以形成特征图；步骤S102:利用多个随机模板将所述特征图切分成多个独立的通道；以及步骤S103:将所述多个独立的通道进行池化，以形成新的特征图。示例性地，所述多个随机模板是预先定义的。示例性地，该方法还包括步骤S104:将所述新的特征图通过全连接层以进行分类。示例性地，所述全连接层中的每个节点是基于所述新的特征图中的所有特征值的，或者是基于所述新的特征图中的某部分的特征值的。示例性地，该方法还包括步骤S105:将分类结果通过最优胜出策略做出判断。本专利技术的另一实施例提供一种场景图像识别设备，所述设备包括:特征提取模块，用于提取图像的特征，以形成特征图；随机空间切分模块，用于利用多个随机模板将所述图像切分成多个独立的通道；以及空间池化模块，用于将所述多个独立的通道进行池化，以形成新的特征图。示例性地，所述多个随机模板是预先定义的。示例性地，该场景图像识别设备还包括全连接分类模块，用于将所述新的特征图通过全连接层以进行分类。示例性地，所述全连接层中的每个节点是基于所述新的特征图中的所有特征值的，或者是基于所述新的特征图中的某部分的特征值的。示例性地，该场景图像识别设备还包括最优胜出策略模块，用于将分类结果通过最优胜出策略做出判断。本专利技术的场景图像识别方法，由于充分利用了空间布局信息，因而可以保证更高的场景识别精确度和最优的场景识别性能。本专利技术的场景图像识别设备，同样具有上述优点。【附图说明】本专利技术的下列附图在此作为本专利技术的一部分用于理解本专利技术。附图中示出了本专利技术的实施例及其描述，用来解释本专利技术的原理。附图中:图1为场景分类中的空间布局信息的示图；图2为本专利技术实施例的场景图像识别方法的流程图；图3为本专利技术实施例的场景图像识别方法的示意图；图4为本专利技术实施例的全连接层的示意图；图5为本专利技术实施例的局部全连接层的示意图；以及图6为本专利技术实施例的最优胜出策略的示意图。【具体实施方式】在下文的描述中，给出了大量具体的细节以便提供对本专利技术更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本专利技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本专利技术发生混淆，对于本领域公知的一些技术特征未进行描述。应当理解的是，本专利技术能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本专利技术的范围完全地传递给本领域技术人员。在附图中，为了清楚，层和区的尺寸以及相对尺寸可能被夸大。自始至终相同附图标记表示相同的元件。在此使用的术语的目的仅在于描述具体实施例并且不作为本专利技术的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。为了彻底理解本专利技术，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本专利技术的技术方案。本专利技术的较佳实施例详细描述如下，然而除了这些详细描述外，本专利技术还可以具有其他实施方式。本专利技术的一个实施例提供一种场景图像识别方法，用于通过利用空间布局信息来对场景进行分类。该方法可以显著提高场景识别的精确度以及场景识别性能。下面，参照图2和图3来具体描述本专利技术的一个实施例的一种场景图像识别方法。其中，图2为本专利技术实施例的场景图像识别方法的流程图。图3为本专利技术实施例的场景图像识别方法的示意图；本专利技术实施例的场景图像识别方法，包括如下步骤:步骤SlOl:提取图像的特征，以形成特征图。示例性地，本步骤包括:输入原始图像，提取原始图像的外表特征，如颜色直方图、HOG、SIFT、深度神经网络的卷积层等，并在维持原始图像的二维空间布局的条件下，将提取出的外表特征以一组特征图的形式表达。步骤S102:利用多个随机模板将所述特征图切分成多个独立的通道。示例性地，本步骤包括:将步骤SlOl中生成的特征图，按照多个随机切分模板独立地切分成若干子图。每个随机切分模板将独立地产生等数量的、但形状大小不一的子图。随机切分模板例如但不限于，将特征图进行非等分，或将特征图旋转某个角度然后再进行非等分。除特别声明外，每个随机切分模板所产生的数据(包括此步骤中产生的子图及以后步骤中衍变出的内容)相互独立并不会交叉影响，故称之为一个通道。其中本文档来自技高网...

【技术保护点】
一种场景图像识别方法，其特征在于，所述方法包括：步骤S101：提取图像的特征，以形成特征图；步骤S102：利用多个随机模板将所述特征图切分成多个独立的通道；以及步骤S103：将所述多个独立的通道进行池化，以形成新的特征图。

【技术特征摘要】

【专利技术属性】
技术研发人员：姜宇宁，李百恩，
申请(专利权)人：北京旷视科技有限公司，北京小孔科技有限公司，
类型：发明
国别省市：北京;11