一种细粒度图像分类方法、系统、装置和存储介质制造方法及图纸

本发明专利技术公开了一种细粒度图像分类方法、系统、装置和存储介质，其中方法包括以下步骤：获取待分类的图像信息；将图像信息输入采用局部区域进行训练的识别模型进行细粒度识别后，输出识别分类结果。本发明专利技术采用局部区域进行增强模型训练，使模型更加适应于细粒度识别，当两个商品高度相似时，识别模型更能有效地抓住商品图像中的关键区别信息，从而能够快速准确地对商品进行识别以及分类，可广泛应用于图像数据处理领域。

A fine-grained image classification method, system, device and storage medium

【技术实现步骤摘要】
一种细粒度图像分类方法、系统、装置和存储介质
本专利技术涉及图像数据处理领域，尤其涉及一种细粒度图像分类方法、系统、装置和存储介质。
技术介绍
基于图像识别和目标检测算法的商品识别技术，在新零售、无人商店领域具有很大应用潜力。例如：通过商品识别，可以在顾客选取商品时自动进行记录，配合移动支付手段，可以不用在出口处排队进行支付，从而提升商超运营效率。但通用的目标检测算法，更加侧重于依赖形状、纹理、颜色等内容进行检测，而对于常见的商品包装中，在同一品类下的各种商品的区分中，往往其外形规律性非常强(往往是长方体、圆柱体等)，只能依赖局部内容差异来区分，因此这些算法往往效果不佳。
技术实现思路
为了解决上述技术问题之一，本专利技术的目的是提供一种识别分类效果更佳加的细粒度图像分类方法、系统、装置和存储介质。本专利技术所采用的第一技术方案是：一种细粒度图像分类方法，包括以下步骤：获取待分类的图像信息；将图像信息输入采用局部区域进行训练的识别模型进行细粒度识别后，输出识别分类结果。进一步，还包括建立识别模型的步骤，所述建立识别模型的步骤具体包括以下步骤：获取输入图像，提取输入图像的图像局部区域；对图像局部区域进行重叠区域检测，并对重叠的图像局部区域进行合并处理；计算合并后的图像局部区域的图像复杂度，根据计算结果筛选多个图像局部区域；按照预设的方式对筛选获得的图像局部区进行分组后，获得多个局部图像集；结合输入图像、局部图像集和预设的损失函数对神经网络进行训练后，获得识别模型。进一步，所述提取输入图像的图像局部区域这一步骤，具体为：采用选择性搜索算法提取输入图像的图像局部区域。进一步，所述对图像局部区域进行重叠区域检测，并对重叠的图像局部区域进行合并处理这一步骤，具体为：采用交并比方式计算图像局部区域之间的重叠度，并在检测到重叠度大于预设值时，将对应的图像局部区域进行合并处理。进一步，所述计算合并后的图像局部区域的图像复杂度，根据计算结果筛选多个图像局部区域这一步骤，具体包括以下步骤：采用图像熵算法计算合并后的图像局部区域的图像复杂度；根据计算结果对图像局部区域进行排序，并根据排序顺序获取多个图像局部区域。进一步，所述结合输入图像、局部图像集和预设的损失函数对神经网络进行训练后，获得识别模型这一步骤，具体包括以下步骤：将输入图像和局部图像集分别输入预设的神经网络中进行特征向量提取，获得多个特征向量；将获得的特征向量进行拼接，并结合损失函数对神经网络进行训练后，获得识别模型。进一步，所述损失函数采用交叉熵损失函数。本专利技术所采用的第二技术方案是：一种细粒度图像分类系统，包括：输入模块，用于获取待分类的图像信息；识别分类模块，用于将图像信息输入采用局部区域进行训练的识别模型进行细粒度识别后，输出识别分类结果。本专利技术所采用的第三技术方案是：一种细粒度图像分类装置，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述方法。本专利技术所采用的第四技术方案是：一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。本专利技术的有益效果是：本专利技术采用局部区域进行增强模型训练，使模型更加适应于细粒度识别，当两个商品高度相似时，识别模型更能有效地抓住商品图像中的关键区别信息，从而能够准确地对商品进行识别分类。附图说明图1是本专利技术一种细粒度图像分类方法的步骤流程图；图2是具体实施例方式中建立识别模型的步骤流程图；图3是本专利技术一种细粒度图像分类系统的结构框图。具体实施方式如图1所示，本实施例提供了一种细粒度图像分类方法，包括以下步骤：S1、建立识别模型。S2、获取待分类的图像信息。S3、将图像信息输入采用局部区域进行训练的识别模型进行细粒度识别后，输出识别分类结果。在本实施例中，具体采用了细粒度图像识别技术，通过细粒度图像识别技术，可以增强对图像细节部分的关注，从而实现区分同一大品类商品下的各个子品类识别，例如，同一品牌洗发液下的各个类型，如：去油型与清爽型等等，其图像包装高度相似。但是现有常见的细粒度图像识别方法中，需要通过人工标注物体中容易被算法所识别的图像局部区域，并训练识别模型。采用局部区域进行增强模型训练，使模型更加适应于细粒度识别，当两个商品高度相似时，识别模型更能有效地抓住商品图像中的关键区别信息，从而能够快速准确地对商品进行识别以及分类。其中，所述图像信息包括商品的图片和广告图片等。参照图2，步骤S1具体包括步骤S11～S15：S11、获取输入图像，提取输入图像的图像局部区域；S12、对图像局部区域进行重叠区域检测，并对重叠的图像局部区域进行合并处理；S13、计算合并后的图像局部区域的图像复杂度，根据计算结果筛选多个图像局部区域；S14、按照预设的方式对筛选获得的图像局部区进行分组后，获得多个局部图像集；S15、结合输入图像、局部图像集和预设的损失函数对神经网络进行训练后，获得识别模型。其中步骤S11具体为：获取输入图像，采用选择性搜索算法提取输入图像的图像局部区域。现有常见的细粒度图像识别方法中，需要通过人工标注物体中容易被算法所识别的图像局部区域，并训练识别模型。这种方式需要大量人力对样本进行更复杂标注，同时也需要标注人员对算法识别敏感内容有一定了解，这些都大幅度提升了人力成本。本实施例中，采用选择性搜索算法对图像局部区域进行自动提取，有效地避免了人工标注造成的成本上升。其中步骤S12具体为：采用交并比方式计算图像局部区域之间的重叠度，并在检测到重叠度大于预设值时，将对应的图像局部区域进行合并处理。步骤S13具体包括步骤A1～A2：A1、采用图像熵算法计算合并后的图像局部区域的图像复杂度；A2、根据计算结果对图像局部区域进行排序，并根据排序顺序获取多个图像局部区域。步骤S15具体包括步骤B1～B2：B1、将输入图像和局部图像集分别输入预设的神经网络中进行特征向量提取，获得多个特征向量；B2、将获得的特征向量进行拼接，并结合损失函数对神经网络进行训练后，获得识别模型。所述损失函数采用交叉熵损失函数。具体实施例以下结合洗发水商品识别的例子对上述方法进行详细解释说明。第一步：在得到一个洗发水图像(即输入图像)输入后，首先使用selectivesearch方法(即选择性搜索算法)对图像进行提取，基于颜色、纹理、空间交叠3个参数，根据综合相似度，提取出若干相关区域。相似度计算采用如下公式1：s(ri,rj)＝a1scolor(ri,本文档来自技高网...

【技术保护点】
1.一种细粒度图像分类方法，其特征在于，包括以下步骤：/n获取待分类的图像信息；/n将图像信息输入采用局部区域进行训练的识别模型进行细粒度识别后，输出识别分类结果。/n

【技术特征摘要】
1.一种细粒度图像分类方法，其特征在于，包括以下步骤：
获取待分类的图像信息；
将图像信息输入采用局部区域进行训练的识别模型进行细粒度识别后，输出识别分类结果。


2.根据权利要求1所述的一种细粒度图像分类方法，其特征在于，还包括建立识别模型的步骤，所述建立识别模型的步骤具体包括以下步骤：
获取输入图像，提取输入图像的图像局部区域；
对图像局部区域进行重叠区域检测，并对重叠的图像局部区域进行合并处理；
计算合并后的图像局部区域的图像复杂度，根据计算结果筛选多个图像局部区域；
按照预设的方式对筛选获得的图像局部区进行分组后，获得多个局部图像集；
结合输入图像、局部图像集和预设的损失函数对神经网络进行训练后，获得识别模型。


3.根据权利要求2所述的一种细粒度图像分类方法，其特征在于，所述提取输入图像的图像局部区域这一步骤，具体为：
采用选择性搜索算法提取输入图像的图像局部区域。


4.根据权利要求2所述的一种细粒度图像分类方法，其特征在于，所述对图像局部区域进行重叠区域检测，并对重叠的图像局部区域进行合并处理这一步骤，具体为：
采用交并比方式计算图像局部区域之间的重叠度，并在检测到重叠度大于预设值时，将对应的图像局部区域进行合并处理。


5.根据权利要求2所述的一种细粒度图像分类方法，其特征在于，所述计算合并后的图像局部区域的图像复杂度，根据计算结果筛选多个图...

【专利技术属性】
技术研发人员：许广廷，张朝婷，张洪，
申请(专利权)人：广州极汇信息科技有限公司，
类型：发明
国别省市：广东;44