基于特征融合的商品详情图版式分类方法技术

本发明专利技术涉及一种基于特征融合的商品详情图版式分类方法，其中商品详情图版式特指图片上的元素如图片、文字的排列和设计方式。所述方法通过计算机视觉技术定位商品详情图中各文字块的位置；利用各文本块的坐标位置提取商品详情图的版式空间特征；通过自然语言处理技术提取各文字块内部的版式语义特征；将版式空间特征和版式语义特征融合，利用机器学习方法对版式进行分类。该发明专利技术有助于探究商品详情图版式对于用户的影响，可用于为在线选购商品的用户推荐其感兴趣的商品，同时为设计商品详情图的人员提供设计建议。图的人员提供设计建议。图的人员提供设计建议。

【技术实现步骤摘要】
基于特征融合的商品详情图版式分类方法


[0001]本专利技术涉及计算机视觉领域，具体涉及一种基于特征融合的商品 详情图版式分类方法。

技术介绍

[0002]商品详情图是网上商城导购的重要媒介，其中详情图的不同版式 对用户产生的视觉影响也不同，对商品详情图的版式分类有助于探究 版式的不同特点对于用户的影响，从而可以根据商品详情图的设计为 用户推荐其可能更感兴趣的商品，或者为商品详情图的设计提供建议。
[0003]目前商品详情图的版式分类问题缺少现有的相关技术，本专利技术针 对商品详情图的版式分类问题提出一种解决方案。

技术实现思路

[0004]本专利技术的目的是提供了一种基于特征融合的商品详情图版式分 类方法。
[0005]为了解决上述技术问题，本专利技术提出一种基于特征融合的商品详 情图版式分类方法，所述方法包括：
[0006]S110，通过OCR技术得到商品详情图上文字块的坐标和文字；
[0007]S120，利用计算机视觉技术和文字块坐标提取商品详情图的版式 空间特征；/>[0008]S1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征融合的商品详情图版式分类方法，其特征在于，所述方法包括：S110，通过OCR技术得到商品详情图上文字块的坐标和文字；S120，利用计算机视觉技术和文字块坐标提取商品详情图的版式空间特征；S130，利用自然语言处理技术和文字块内容提取商品详情图的版式语义特征；S140，将商品详情图的版式空间特征和版式语义特征相加作为融合特征；S150，利用融合特征和机器学习方法训练商品详情图的版式分类器。2.如权利要求1所述的基于特征融合的商品详情图版式分类方法，其特征在于，步骤S110包括：S1101通过一种利用商品前后景差别的文本检测算法获取商品详情图上的n个文字块的坐标集合S1102利用商品详情图中检测出的各文字块坐标集合切割出所有文字块对应的子图；S1103通过商品详情图艺术字字库的数据集训练文本识别方法，以训练后的模型识别出所有商品详情图子图的文字。3.如权利要求1所述的基于特征融合的商品详情图版式分类方法，其特征在于，步骤S120，包括：S1201利用文字检测算法检测出的各文字块坐标B
n
＝{(x1，y1，h1，w1)...(x
n
，y
n
，h
n
，w
n
)}，将商品详情图除文字块内部的其他区域，用高斯模糊方法进行图像模糊；S1202根据商品详情图的版式特点，设计一种卷积网络F用于提取商品详情图的视觉特征图，即f＝F(X)，X∈B
n
；S1203对提取的图像特征图经过全局平均池化技术AvgPool，得到商品详情图的特征向量v
i
＝AvgPool(f)。4.如权利要求3所述的基于特征融合的商品详情图版式分类方法，其特征在于，步骤S1202包括：(1)利用局部高斯模糊后的商品详情图及其对应的版式类别，训练一种包含多个残差块的神经网络分类模型...

【专利技术属性】
技术研发人员：王永攀，卜佳俊，于智，李亮城，邓雅卿，宋明黎，
申请(专利权)人：浙江大学，
类型：发明
国别省市：