基于特征融合的商品分类系统及分类方法技术方案

本发明专利技术公开了一种基于特征融合的商品分类系统、方法，其中系统包括：图像输入模块，用于输入待检测的商品图像；图像拍摄角度预估模块，用于预估商品图像的拍摄角度；图像仿射变换模块，用于根据预估的拍摄角度，对商品图像进行仿射变换；图像全局特征提取模块，用于对经仿射变换后的商品图像进行全局特征提取；第一图像匹配模块，用于将全局特征图与预存于样图库中的各样图进行图像匹配，得到一第一匹配结果；图像局部特征提取模块，用于对经仿射变换后的商品图像进行局部特征提取；第二图像匹配模块，用于将局部特征图与初步匹配与商品图像具有关联性的的各样图进行局部特征匹配，得到对商品图像的分类结果，本发明专利技术实现了对商品的精细分类。

Commodity classification system and method based on Feature Fusion

【技术实现步骤摘要】
基于特征融合的商品分类系统及分类方法
本专利技术涉及商品识别检测
，具体涉及一种基于特征融合的商品分类系统及分类方法。
技术介绍
在无人售货领域，需要对商品进行自动识别分类。近些年，随着计算机视觉识别技术的发展，基于视觉识别技术的商品自动识别检测方法开始被大量应用。然而零售场景的商品数量繁多，商品种类多样，商品图片拍摄场景复杂，同一商品在不同场景、不同角度拍摄所得的商品图像存在很大差异，而且货架上的商品排放密集，商品单品体积通常较小，而且货架上的同类商品往往被放置在一起，导致商品和商品间的类间相似度很高，现有的商品自动识别检测方法对场景复杂的商品进行分类识别的错误率较高，无法做到对商品的精细分类。
技术实现思路
本专利技术的目的在于提供一种基于特征融合的商品分类系统、方法，以解决上述技术问题。为达此目的，本专利技术采用以下技术方案：提供一种基于特征融合的商品分类系统，包括：图像输入模块，用于提供给用户输入待检测的商品图像；图像拍摄角度预估模块，连接所述图像输入模块，用于根据所述商品图像中的参照物，对所述商品图像的拍摄角度进行预估；图像仿射变换模块，分别连接所述图像输入模块和所述图像拍摄角度预估模块，用于根据预估的所述拍摄角度，对所述商品图像进行仿射变换，以纠正所述商品图像中的商品图片的角度；图像全局特征提取模块，连接所述图像仿射变换模块，用于对经仿射变换后的所述商品图像进行图像全局特征提取，得到一关联于所述商品图像的全局特征图；第一图像匹配模块，连接所述图像全局特征提取模块和一样图库，用于将所述全局特征图与预存于所述样图库中的各样图进行逐一的图像匹配，并根据所述全局特征图与各所述样图的相似度，初步匹配到与所述商品图像具有关联性的所述样图并存储；图像局部特征提取模块，连接所述图像仿射变换模块，用于对经仿射变换后的所述商品图像进行图像局部特征提取，得到所述商品图像对应的局部特征图；第二图像匹配模块，分别连接所述图像局部特征提取模块和所述第一图像匹配模块，用于将所述局部特征图与初步匹配得到的各所述样图进行进一步的图像局部特征匹配，并根据所述局部特征图与所匹配的各所述样图的局部特征的相似度，在初步匹配到的各所述样图中进一步匹配出与所述商品图像具有关联性的所述样图并存储；商品类别判断模块，连接所述第二图像匹配模块，用于将最终匹配得到的所述样图对应的商品类别作为所述商品对应的商品类别输出。作为本专利技术的一种优选方案，所述商品分类系统还包括：第一特征差异区域提取模块，分别连接所述图像局部特征提取模块和所述第二图像匹配模块，用于识别并提取所述局部特征图上与进一步匹配得到的各所述样图的第一特征差异区域并存储；第二特征差异区域提取模块，分别连接所述图像局部特征提取模块和所述第二图像匹配模块，用于识别并提取进一步匹配得到的各所述样图上与所述局部特征图的第二特征差异区域并存储；第三图像匹配模块，分别连接所述第一特征差异区域提取模块和所述第二特征差异区域提取模块，用于将所述第一特征差异区域与各所述第二特征差异区域进行逐一的区域图像匹配，并根据所述第一特征差异区域和各所述第二特征差异区域的区域相似度，匹配得到与所述商品图像具有关联性的所述样图并存储；所述商品类别判断模块，连接所述第三图像匹配模块，用于将所述第三图像匹配模块匹配得到的所述样图所对应的商品类别作为所述商品图像中的所述商品对应的商品类别输出。作为本专利技术的一种优选方案，采用卷积神经网络对所述商品图像进行图像全局特征提取以及图像局部特征提取。本专利技术还提供了一种基于特征融合的商品分类方法，通过应用所述商品分类系统实现，包括如下步骤：步骤S1，所述商品分类系统获取待检测的所述商品图像；,步骤S2，所述商品分类系统根据所述商品图像中的所述参照物，对所述商品图像的拍摄角度进行预估；步骤S3，所述商品分类系统对所述商品图像根据所述步骤S2预估得到的所述拍摄角度进行仿射变换；步骤S4，所述商品分类系统对经仿射变换后的所述商品图像进行图像全局特征提取，得到一关联于所述商品图像的所述全局特征图；步骤S5，所述商品分类系统将所述全局特征图与预存于所述样图库中的各所述样图进行逐一的图像匹配，并根据所述全局特征图与各所述样图的相似度，初步匹配得到与所述商品图像具有关联性的所述样图；步骤S6，所述商品分类系统对经仿射变换后的所述商品图像进行图像局部特征提取，提取到所述商品图像对应的局部特征图；步骤S7，所述商品分类系统将所述步骤S6得到的所述局部特征图与所述步骤S5中匹配到的各所述样图进行进一步的图像局部特征匹配，并根据所述局部特征图与各所述样图的局部特征的相似度，在初步匹配到的各所述样图中进一步匹配出与所述商品图像具有关联性的所述样图；步骤S8，所述商品分类系统将所述步骤S7匹配得到的所述样图所对应的商品类别作为所述商品图像中的所述商品对应的商品类别输出。本专利技术还另外提供了一种基于特征融合的商品分类方法，通过应用所述商品分类系统实现，包括如下步骤：步骤L1，所述商品分类系统获取待检测的所述商品图像；,步骤L2，所述商品分类系统根据所述商品图像中的所述参照物，对所述商品图像的拍摄角度进行预估；步骤L3，所述商品分类系统对所述商品图像根据所述步骤L2预估得到的所述拍摄角度进行仿射变换；步骤L4，所述商品分类系统对经仿射变换后的所述商品图像进行图像全局特征提取，得到一关联于所述商品图像的所述全局特征图；步骤L5，所述商品分类系统将所述全局特征图与预存于所述样图库中的各所述样图进行逐一的图像匹配，并根据所述全局特征图与各所述样图的相似度，初步匹配得到与所述商品图像具有关联性的所述样图；步骤L6，所述商品分类系统对经仿射变换后的所述商品图像进行图像局部特征提取，提取到所述商品图像对应的局部特征图；步骤L7，所述商品分类系统将所述局部特征图与所述步骤L5中匹配到的各所述样图进行进一步的图像局部特征匹配，并根据所述局部特征图与各所述样图的局部特征的相似度，在初步匹配到的各所述样图中进一步匹配出与所述商品图像具有关联性的所述样图；步骤L8，所述商品分类系统识别并提取所述局部特征图上与所述步骤L7匹配得到的各所述样图的第一特征差异区域并存储以及识别并提取所述步骤L7匹配得到的各所述样图上与所述局部特征图的第二特征差异区域并存储；步骤L9，所述商品分类系统将所述第一特征差异区域与各所述第二特征差异区域进行区域图像匹配，并根据所述第一特征差异区域和各所述第二特征差异区域的相似度，匹配得到与所述商品图像具有关联性的所述样图；步骤L10，所述商品分类系统将所述步骤L9匹配得到的所述样图所对应的商品类别作为所述商品图像中的所述商品对应的商品类别输出。本专利技术的有益效果是：1、本专利技术首先通过商品图像中的固定参照物，估计出图片拍摄角度，然后对商品图像进行仿射变换，本文档来自技高网...

【技术保护点】
1.一种基于特征融合的商品分类系统，其特征在于，包括：/n图像输入模块，用于提供给用户输入待检测的商品图像；/n图像拍摄角度预估模块，连接所述图像输入模块，用于根据所述商品图像中的参照物，对所述商品图像的拍摄角度进行预估；/n图像仿射变换模块，分别连接所述图像输入模块和所述图像拍摄角度预估模块，用于根据预估的所述拍摄角度，对所述商品图像进行仿射变换，以纠正所述商品图像中的商品图片的角度；/n图像全局特征提取模块，连接所述图像仿射变换模块，用于对经仿射变换后的所述商品图像进行图像全局特征提取，得到一关联于所述商品图像的全局特征图；/n第一图像匹配模块，连接所述图像全局特征提取模块和一样图库，用于将所述全局特征图与预存于所述样图库中的各样图进行逐一的图像匹配，并根据所述全局特征图与各所述样图的相似度，初步匹配到与所述商品图像具有关联性的所述样图并存储；/n图像局部特征提取模块，连接所述图像仿射变换模块，用于对经仿射变换后的所述商品图像进行图像局部特征提取，得到所述商品图像对应的局部特征图；/n第二图像匹配模块，分别连接所述图像局部特征提取模块和所述第一图像匹配模块，用于将所述局部特征图与初步匹配得到的各所述样图进行进一步的图像局部特征匹配，并根据所述局部特征图与所匹配的各所述样图的局部特征的相似度，在初步匹配到的各所述样图中进一步匹配出与所述商品图像具有关联性的所述样图并存储；/n商品类别判断模块，连接所述第二图像匹配模块，用于将最终匹配得到的所述样图对应的商品类别作为所述商品对应的商品类别输出。/n...

【技术特征摘要】
1.一种基于特征融合的商品分类系统，其特征在于，包括：
图像输入模块，用于提供给用户输入待检测的商品图像；
图像拍摄角度预估模块，连接所述图像输入模块，用于根据所述商品图像中的参照物，对所述商品图像的拍摄角度进行预估；
图像仿射变换模块，分别连接所述图像输入模块和所述图像拍摄角度预估模块，用于根据预估的所述拍摄角度，对所述商品图像进行仿射变换，以纠正所述商品图像中的商品图片的角度；
图像全局特征提取模块，连接所述图像仿射变换模块，用于对经仿射变换后的所述商品图像进行图像全局特征提取，得到一关联于所述商品图像的全局特征图；
第一图像匹配模块，连接所述图像全局特征提取模块和一样图库，用于将所述全局特征图与预存于所述样图库中的各样图进行逐一的图像匹配，并根据所述全局特征图与各所述样图的相似度，初步匹配到与所述商品图像具有关联性的所述样图并存储；
图像局部特征提取模块，连接所述图像仿射变换模块，用于对经仿射变换后的所述商品图像进行图像局部特征提取，得到所述商品图像对应的局部特征图；
第二图像匹配模块，分别连接所述图像局部特征提取模块和所述第一图像匹配模块，用于将所述局部特征图与初步匹配得到的各所述样图进行进一步的图像局部特征匹配，并根据所述局部特征图与所匹配的各所述样图的局部特征的相似度，在初步匹配到的各所述样图中进一步匹配出与所述商品图像具有关联性的所述样图并存储；
商品类别判断模块，连接所述第二图像匹配模块，用于将最终匹配得到的所述样图对应的商品类别作为所述商品对应的商品类别输出。


2.如权利要求1所述的商品分类系统，其特征在于，还包括：
第一特征差异区域提取模块，分别连接所述图像局部特征提取模块和所述第二图像匹配模块，用于识别并提取所述局部特征图上与进一步匹配得到的各所述样图的第一特征差异区域并存储；
第二特征差异区域提取模块，分别连接所述图像局部特征提取模块和所述第二图像匹配模块，用于识别并提取进一步匹配得到的各所述样图上与所述局部特征图的第二特征差异区域并存储；
第三图像匹配模块，分别连接所述第一特征差异区域提取模块和所述第二特征差异区域提取模块，用于将所述第一特征差异区域与各所述第二特征差异区域进行逐一的区域图像匹配，并根据所述第一特征差异区域和各所述第二特征差异区域的区域相似度，匹配得到与所述商品图像具有关联性的所述样图并存储；
所述商品类别判断模块，连接所述第三图像匹配模块，用于将所述第三图像匹配模块匹配得到的所述样图所对应的商品类别作为所述商品图像中的所述商品对应的商品类别输出。


3.如权利要求1所述的商品分类系统，其特征在于，采用卷积神经网络对所述商品图像进行图像全局特征提取以及图像局部特征提取。


4.一种基于特征融合的商品分类方法，通过应用如权1-3任意一项的所述商品分类系统实现，其特征在于，包括如下步骤：
步骤S1，所述商品分类系统获取待检测的所述商品图像；
步骤S2，所述商品分类系统根据所...

【专利技术属性】
技术研发人员：秦永强，张发恩，李素莹，
申请(专利权)人：创新奇智青岛科技有限公司，
类型：发明
国别省市：山东;37