图像处理方法、装置和电子设备制造方法及图纸

本申请提供一种图像处理方法、装置和电子设备。一种图像处理方法，包括：将待测图像分割为多个超像素区域；根据超像素区域的语义特征，获取语义特征对应的语义标签；将语义标签嵌入超像素区域，生成显著性区域；提取显著性区域的深度特征，生成待测图像的图像核；利用向量分类器处理图像核，对待测图像进行场景分类。

Image processing methods, devices and electronic equipment

【技术实现步骤摘要】
图像处理方法、装置和电子设备
本申请涉及图像处理领域，具体而言，涉及一种图像处理方法、装置和电子设备。
技术介绍
图像场景分类在计算机视觉和智能系统中有重要应用，例如：图像理解，自动驾驶。该技术旨在根据对象、区域、上下文等关键信息，自动地将图像分为不同的类别。现有的基于深度学习的方法，其训练阶段是一个“黑盒”，不符合人类对于图像场景的视觉感知。而且在训练阶段，现有的方法需要大量的区域或像素级语义标签，给人工标注带来了巨大的挑战。
技术实现思路
本申请实施例的目的在于提供一种图像处理方法、装置和电子设备。第一方面，实施例提供一种图像处理方法，包括：将待测图像分割为多个超像素区域；根据超像素区域的语义特征，获取语义特征对应的语义标签；将语义标签嵌入超像素区域，生成显著性区域；提取显著性区域的深度特征，生成待测图像的图像核；利用向量分类器处理图像核，对待测图像进行场景分类。在可选的实施方式中，在将待测图像分割为多个超像素区域之后，还包括：去除尺寸小于预设值或超像素分数低于阈值的超像素区域。在可选的实施方式中，将语义标签嵌入超像素区域，生成显著性区域，包括：将语义标签利用流形学习算法嵌入超像素区域；根据语义标签，从超像素区域的原始矩阵中获取基矩阵和稀疏矩阵；根据基矩阵，从超像素区域中对应获取显著性区域；其中，基矩阵表示带有语义标签的特征矩阵，稀疏矩阵表示不带有标签的特征矩阵。在可选的实施方式中，在将语义标签嵌入超像素区域，生成显著性区域之后，还包括：根据显著性区域的稀疏编码范数，计算显著性区域的显著性分数；根据显著性分数，将显著性区域排序，生成广义序列模式集。在可选的实施方式中，提取显著性区域的深度特征，生成待测图像的图像核，包括：根据神经网络架构获取广义序列模式集对应显著性区域的深度特征；获取深度特征的特征向量；根据特征向量之间的欧几里得距离，从显著性区域中获取图像核。在可选的实施方式中，利用向量分类器处理图像核，对待测图像进行场景分类，包括：基于图像核，训练一个多类别支持向量机分类器；利用支持向量机分类器，将待测图像根据待测图像的特征向量对应至不同的场景类别。第二方面，实施例提供一种图像处理装置，包括：图像分割模块，用于将待测图像分割为多个超像素区域；标签获取模块，用于根据超像素区域的语义特征，获取语义特征对应的语义标签；标签嵌入模块，用于将语义标签嵌入超像素区域，生成显著性区域；特征提取模块，用于提取显著性区域的深度特征，生成待测图像的图像核；场景分类模块，用于利用向量分类器处理图像核，对待测图像进行场景分类。在可选的实施方式中，标签嵌入模块用于：将语义标签利用流形学习算法嵌入超像素区域；根据语义标签，从超像素区域的原始矩阵中获取基矩阵和稀疏矩阵；根据基矩阵，从超像素区域中对应获取显著性区域；其中，基矩阵表示带有语义标签的特征矩阵，稀疏矩阵表示不带有标签的特征矩阵。在可选的实施方式中，特征提取模块用于：根据神经网络架构获取广义序列模式集对应显著性区域的深度特征；获取深度特征的特征向量；根据特征向量之间的欧几里得距离，从显著性区域中获取图像核。在可选的实施方式中，场景分类模块用于：基于图像核，训练一个多类别支持向量机分类器；利用支持向量机分类器，将待测图像根据待测图像的特征向量对应至不同的场景类别。第三方面，实施例提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行如上述前述实施方式任一项方法。本申请提供的技术方案带来的有益效果是：1、本申请实施例构建了弱监督下的图像场景分类方法，并结合人类视觉感知，提高了图像场景分类的准确性。2、本申请实施例利用流形学习算法在训练阶段只需要图像级语义标签，大大减少了人工标注量。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本申请实施例提供的一种电子设备的结构示意图；图2为本申请实施例提供的一种交互式场景示意图；图3为本申请实施例提供的一种图像处理方法的流程图；图4为本申请实施例提供的另一种图像处理方法的流程图；图5为本申请实施例提供的一种图像处理装置的结构示意图。图标：图标：电子设备1，总线10，处理器11，存储器12，用户终端100，服务端200，图像分割模块501，标签获取模块502，标签嵌入模块503，特征提取模块504，场景分类模块505。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。如图1所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图1中以一个处理器为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行。于一实施例中，电子设备1可以获取存储在存储器中的原始图像数据，并将原始图像数据根据语义特征处理成图像核，在根据向量分类器根据所述图像核将原始图像数据进行场景分类。图2为本实施例提供的一种图像质量的评估方法的应用场景示意图。如图2所示，该应用场景可以包括用户终端100，用户终端100可以是具有拍照功能的智能手机或平板电脑。用户终端100可以执行本申请提供的图像处理方法，根据所拍摄图像的进行场景分类。根据需要，该应用场景还可以包括服务端200，服务端200可以是服务器、服务器集群或者云计算中心。服务端200可以接收用户终端100上传的图像，执行本申请提供的图像处理方法，根据所拍摄图像的进行场景分类。请参阅图3，其为本实施例提供的一种轨迹数据处理方法，该方法可由图1所示的电子设备1来执行，并用于图2所示的交互场景中。该方法包括如下步骤：步骤301：将待测图像分割为多个超像素区域。在本步骤中，待测图像可以是存储在存储器中的图像数据，也可以是用户终端采集的图像数据。在计算机视觉领域，图像分割指的是将数字图像细分为多个图像子区域(像素的集合)(也被称作超像素)的过程。超像素区域由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。于一实施例中，可以采用SLIC算法将图像分割为超像素，可以利用三种分割参数(0.5A，0.2A，0.1A，其中A代表图像的宽、高的较小值)分割图像，得到一系列超像素区域。SLIC算法是一个超像素分割的算法。SLIC利用K-means聚类将相似的像素聚集在一起，且设定K-means搜索范围是2S，S表示每个超像素中的像素数目。这样可以大大减少搜索范围，提高计算效率。于一实施例中，提取图像区域的底层特征，底层特征包括9位颜色矩特征(colormomen本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n将待测图像分割为多个超像素区域；/n根据所述超像素区域的语义特征，获取所述语义特征对应的语义标签；/n将所述语义标签嵌入所述超像素区域，生成显著性区域；/n提取所述显著性区域的深度特征，生成所述待测图像的图像核；/n利用向量分类器处理所述图像核，对所述待测图像进行场景分类。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
将待测图像分割为多个超像素区域；
根据所述超像素区域的语义特征，获取所述语义特征对应的语义标签；
将所述语义标签嵌入所述超像素区域，生成显著性区域；
提取所述显著性区域的深度特征，生成所述待测图像的图像核；
利用向量分类器处理所述图像核，对所述待测图像进行场景分类。


2.根据权利要求1所述的方法，其特征在于，在所述将待测图像分割为多个超像素区域之后，还包括：
去除尺寸小于预设值或超像素分数低于阈值的所述超像素区域。


3.根据权利要求1所述的方法，其特征在于，所述将所述语义标签嵌入所述超像素区域，生成显著性区域，包括：
将所述语义标签利用流形学习算法嵌入所述超像素区域；
根据所述语义标签，从所述超像素区域的原始矩阵中获取基矩阵和稀疏矩阵；
根据所述基矩阵，从所述超像素区域中对应获取所述显著性区域；
其中，所述基矩阵表示带有语义标签的特征矩阵，所述稀疏矩阵表示不带有标签的特征矩阵。


4.根据权利要求3所述的方法，其特征在于，在所述将所述语义标签嵌入所述超像素区域，生成显著性区域之后，还包括：
根据所述显著性区域的稀疏编码范数，计算所述显著性区域的显著性分数；
根据所述显著性分数，将所述显著性区域排序，生成广义序列模式集。


5.根据权利要求4所述的方法，其特征在于，所述提取所述显著性区域的深度特征，生成所述待测图像的图像核，包括：
根据神经网络架构获取所述广义序列模式集对应所述显著性区域的深度特征；
获取所述深度特征的特征向量；
根据所述特征向量之间的欧几里得距离，从所述显著性区域中获取所述图像核。

【专利技术属性】
技术研发人员：王扬斌，张鹿鸣，王泽鹏，
申请(专利权)人：杭州阜博科技有限公司，
类型：发明
国别省市：浙江;33