一种多模态融合的商品分类系统技术方案

本发明专利技术提供了一种多模态融合的商品分类系统，包括基于图像的商品分类模块、基于文本的商品分类模块和图文融合分类模块；所述基于图像的商品分类模块用于获取商品图像的分类结果；所述基于文本的商品分类模块用于获取商品文本的分类结果；所述图文融合分类模块用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别。本发明专利技术的有益效果为：能够实现较为精确和快速的商品分类。

A multimodal classification system for goods

The invention provides a multi-modal fusion system based on the classification of goods, including goods classification module, commodity classification module based on image text and graphic fusion classification module; the commodity classification module based on image classification results for image acquisition of goods; the commodity classification module based on the text for text classification results to obtain goods; the graphic module is used for fusion classification based on image fusion and classification results of commodity and commodity based on the classification results of the text, and the output of commodity categories. The invention has the advantages that the goods classification can be realized more accurately and quickly.

【技术实现步骤摘要】
一种多模态融合的商品分类系统
本专利技术涉及商品分类
，具体涉及一种多模态融合的商品分类系统。
技术介绍
商品分类为商品检索、商品置放策略制定以及智能推荐等提供了有力支撑。图像作为商品的主要信息载体，基于图像的商品分类技术研究己成为图像处理、计算机视觉和模式识别领域的研究热点。然而，现有的商品分类方法仅对商品的图像进行研究而忽略了商品的文本信息，另一方面，现有的商品分类方法存在分类准确率低、分类速度慢等问题。
技术实现思路
针对上述问题，本专利技术旨在提供一种多模态融合的商品分类系统。本专利技术的目的采用以下技术方案来实现：提供了一种多模态融合的商品分类系统，包括基于图像的商品分类模块、基于文本的商品分类模块和图文融合分类模块；所述基于图像的商品分类模块用于获取商品图像的分类结果；所述基于文本的商品分类模块用于获取商品文本的分类结果；所述图文融合分类模块用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别。本专利技术的有益效果为：能够实现较为精确和快速的商品分类。附图说明利用附图对本专利技术作进一步说明，但附图中的实施例不构成对本专利技术的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。图1是本专利技术的结构连接示意图；附图标记：基于图像的商品分类模块1、基于文本的商品分类模块2、图文融合分类模块3、商品分类准确度评价模块4。具体实施方式结合以下实施例对本专利技术作进一步描述。参见图1，本实施例的一种多模态融合的商品分类系统，包括基于图像的商品分类模块1、基于文本的商品分类模块2和图文融合分类模块3，所述基于图像的商品分类模块1用于获取商品图像的分类结果；所述基于文本的商品分类模块2用于获取商品文本的分类结果；所述图文融合分类模块3用于融合基于商品图像的分类结果和基于文本图像的分类结果，得到并输出商品类别。本实施例能够实现较为精确和快速的商品分类。优选地，所述基于图像的商品分类模块1用于获取商品图像的分类结果，具体为：(1)对需分类的商品图像进行图像去噪处理，包括：1)进行需分类的商品图像的光照归一化处理，采用以下方式进行：将需分类的商品图像P转换到对数域，利用差分高斯滤波器对需分类的商品图像P进行平滑处理，然后对需分类的商品图像P进行全局对比度均衡化处理；2)对需分类的商品图像P以滑动窗口方式按照预先设定的滑动距离进行块划分；3)提取得到的图像块中的每一块的纹理特征，采用K-MEANS聚类方法基于提取的纹理特征对图像块进行聚类，获得多个图像块组，利用多线性子空间学习滤波器对图像块组进行初次去噪；所述K-MEANS聚类方法具体描述如下：步骤1：随机选取k个聚类质心点为μ1,μ2,…,μk，步骤2：对于每个样本例i，计算其应该属于的类，对于每一个类j，重新计算该类的质心，步骤3：重复步骤2，直到收敛；4)采用改进的自适应字典学习去噪方法对初次去噪后的需分类的商品图像进行二次去噪。(2)将第j类商品图像的训练样本集表示为Fj＝[fj,1,fj,2,…,fj,n]，则所有类别的训练样本集F＝[F1,F2,…,FN]构成过完备字典，其中，N表示商品类别数，对于未知类别测试样本t，可表示为F的线性组合：t＝Fa式中，a为稀疏的系数向量，用稀疏编码算法求得稀疏表示a；定义函数ρj(a)，该函数将稀疏表示a中不属于第j类的分量置0，则测试样本所属类别可表示为：式中，jbe表示测试样本t所属类别，Fρj(a)表示测试样本第j类的重构图像，||t-Fρj(a)||2表示原始图像和第j类重构图像的重构残差；图像分类得分为：式中，表示商品属于第j类的图像分类得分，1≤j,k≤N。一方面，本优选实施例对需分类的商品图像进行多次去噪处理，能够获得较好的去噪效果，并且适用于多维的商品图像，在对商品图像进行块划分之前先进行光照归一化处理，有利于后续图像块特征的提取，从而提高聚类的精度，进而提高去噪的精度；另一方面，本优选实施例使用上述算法确定图像分类结果，提高了图像分类准确度，定义了图像分类得分，为进一步进行分类信息融合打下了基础。优选地，所述采用改进的自适应字典学习去噪方法对初次去噪后的需分类的商品图像进行二次去噪，具体包括：(1)对初次去噪后的图像块进行重排列形成列向量矩阵，并对列向量矩阵进行降维，最终形成样本块集合{P}；(2)对该样本块集合进行自适应字典训练，得到自适应学习字典D；(3)对该需分类的商品图像P按照另一设定的滑动距离再次进行滑动窗口的块划分，对得到的图像块进行重排列形成列向量矩阵，并对列向量矩阵进行降维，最终形成输入图像块集合{P′}；(4)求解输入图像块集合{P′}中每一列向量在自适应学习字典上的稀疏表示稀疏μ，并按照下式计算输出图像块y(P)：y(P)＝Dμ(5)将输出图像块进行融合处理，得到预去噪图像y′(P)；(6)对预去噪图像y′(P)进行低秩矩阵稀疏分解，得到低秩去噪分量DZ和稀疏含噪分量XS，对该低秩去噪分量DZ和稀疏含噪分量XS进行二次去噪处理，得到最终去噪图像：y″(P)＝DZ*XS′式中，XS′表示对稀疏含噪分量XS进行中值滤波后得到的稀疏去噪分量，*表示融合处理。所述基于文本的商品分类模块2用于获取商品文本的分类结果，具体为：训练文本集式中，wi为已知类别文本，为文本类别，某商品待分类文本wt中包含不同的词wi，将文本表示为wt＝(w1,w2,…,wn)，n为文本中词的数量，统计wi在文本wt中出现的频次pi和在训练文本集文本中出现的最高频次计算相对词频将文本表示为计算wt与W中文本wi的相似度，得到与wt最近似的l个wi，式中，表示wt的第i个词wi的相对词频，表示wi的第i个词wi的相对词频；Wl表示l个最近邻文本，计算Wl中各类别占比，占比最大的类别包含文本数为l1，作为wt的类别占比第二大的类别文本数目为l2；文本分类得分为：所述图文融合分类模块3用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别，具体为：假设待分类商品图文样本(t,w,y)，三元组中的t表示商品的图像描述，w表示商品的文本描述，y表示商品的类别，商品的训练样本集(T,W,Y)＝{(ti,wi,yi)}，其中，i＝1,2,…,n，n表示样本集中样本数量；对图像分类得分和文本分类得分进行线性组合：式中，为商品属于第j类的图文融合得分，为商品属于第j类的图像分类得分，为商品属于第j类的文本分类得分，δ1和δ2为根据样本学习得到的权重系数；通过下列商品类别判定公式得到商品类别：本优选实施例对初次去噪后的需分类的商品图像进行二次去噪处理，能够很好地保留图像的细节，滤除噪声；采用商品分类模块确定文本分类结果，提高了文本分类准确率，定义了文本分类得分，为进一步进行分类信息融合打下了基础；同时考虑商品的图像视觉信息和描述文本信息，对两种不同模态信息进行融合，提高了商品分类准确率。优选地，还设有商品分类准确度评价模块4，其用于根据设定的商品分类准确度评价函数对系统的商品分类准确度进行评价，商品分类准确度评价函数的值越大，表示商品分类的准确度越高，该商品分类准确度评价函数为：式中，NL为商品类别数量，mα为第α类正确分类商品样本数量，Mα为第α类商品样本文档来自技高网...

【技术保护点】
一种多模态融合的商品分类系统，其特征是：包括基于图像的商品分类模块、基于文本的商品分类模块和图文融合分类模块，所述基于图像的商品分类模块用于获取商品图像的分类结果；所述基于文本的商品分类模块用于获取商品文本的分类结果；所述图文融合分类模块用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别。

【技术特征摘要】
1.一种多模态融合的商品分类系统，其特征是：包括基于图像的商品分类模块、基于文本的商品分类模块和图文融合分类模块，所述基于图像的商品分类模块用于获取商品图像的分类结果；所述基于文本的商品分类模块用于获取商品文本的分类结果；所述图文融合分类模块用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别。2.根据权利要求1所述的一种多模态融合的商品分类系统，其特征是：所述基于图像的商品分类模块用于获取商品图像的分类结果，具体为：(1)对需分类的商品图像进行图像去噪处理，包括：1)进行需分类的商品图像的光照归一化处理，采用以下方式进行：将需分类的商品图像P转换到对数域，利用差分高斯滤波器对需分类的商品图像P进行平滑处理，然后对需分类的商品图像P进行全局对比度均衡化处理；2)对需分类的商品图像P以滑动窗口方式按照预先设定的滑动距离进行块划分；3)提取得到的图像块中的每一块的纹理特征，采用K-MEANS聚类方法基于提取的纹理特征对图像块进行聚类，获得多个图像块组，利用多线性子空间学习滤波器对图像块组进行初次去噪；4)采用改进的自适应字典学习去噪方法对初次去噪后的需分类的商品图像进行二次去噪。(2)获取商品的图像分类结果和图像分类得分。3.根据权利要求2所述的一种多模态融合的商品分类系统，其特征是：所述采用改进的自适应字典学习去噪方法对初次去噪后的需分类的商品图像进行二次去噪，具体包括：(1)对初次去噪后的图像块进行重排列形成列向量矩阵，并对列向量矩阵进行降维，最终形成样本块集合{P}；(2)对该样本块集合进行自适应字典训练，得到自适应学习字典D；(3)对该需分类的商品图像P按照另一设定的滑动距离再次进行滑动窗口的块划分，对得到的图像块进行重排列形成列向量矩阵，并对列向量矩阵进行降维，最终形成输入图像块集合{P′}；(4)求解输入图像块集合{P′}中每一列向量在自适应学习字典上的稀疏表示稀疏μ，并按照下式计算输出图像块y(P)：y(P)＝Dμ(5)将输出图像块进行融合处理，得到预去噪图像y′(P)；(6)对预去噪图像y′(P)进行低秩矩阵稀疏分解，得到低秩去噪分量DZ和稀疏含噪分量XS，对该低秩去噪分量DZ和稀疏含噪分量XS进行二次去噪处理，得到最终去噪图像：y″(P)＝DZ*XS′式中，XS′表示对稀疏含噪分量XS进行中值滤波后得到的稀疏去噪分量，*表示融合处理。4.根据权利要求3所述的一种多模态融合的商品分类系统，其特征是：所述获取商品的图像分类结果和图像分类得分具体为：将第j类商品图像的训练样本集表示为Fj＝[fj，1，fj，2，…，fj，n]，则所有类别的训练样本集F＝[F1，F2，…，FN]构成过完备字典，其中，N表示商品类别数，对于未知类别测试样本t，可表示为F的线性组合：t＝Fa式中，a为稀疏的系数向量，用稀疏编码算法求得稀疏表示a；定义函数ρj(a)，该函...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：深圳明创自控技术有限公司，
类型：发明
国别省市：广东,44