面向时尚电商的街拍推荐系统技术方案

本发明专利技术涉及一种结合人物检测的面向时尚街拍的电商推荐系统，包括图像特征提取和检索模块，基于卷积神经网络进行特征提取，用于建立特征集，构造最近邻搜索图；人物目标检测模块，用于识别目标人物在街拍中的位置；人物图像分割模块，用于将含有人物图像的轮廓分割出来；相似搜索模块用于按照用户上传图像的特征预测在电商数据中最相似的多件商品，本发明专利技术能够部署在面向时尚服装的电商网站中，有效地提高服装图像搜索的识别率和准确度，对时尚领域的电商购买转化率的提高有着显著的作用。

Street Photo recommendation system for fashion E-commerce

【技术实现步骤摘要】
面向时尚电商的街拍推荐系统
本专利技术涉及时尚商品推荐与检索
，主要涉及一种融合商品分类、目标检测和图像分割的相似图片检索与推荐系统。
技术介绍
时尚产业是一个价值几十亿美元的重要产业，在数据时代，用户对时尚的要求不仅仅局限于图片、文字和视频，用户对商品的认知以及与数据的交互成为了用户踏入时尚产业的关键因素。随着大量结构化数据和可索引的数据存储的普及，用户的交互在网站愈发重要，时尚电商已经不再仅仅作为一种呈现方式，而更是一种与用户日程生活紧密联系的互动过程。随着时尚电商网站的迅速发展，用户对于商品的需求日渐多样化和精细化，对于许多用户目标商品，已经不能再简单的使用语言来描述，如服装精细的花纹、制作精美的工艺产品、独具创意的形状的鞋等。使用手机一键拍照网上购物具有独特的商业价值，是一种更加直观和方便的购物体验，也是移动互联网时代连接线上线下的重要渠道。使用深度学习相关的图像技术，相比传统技术，能够显著提高电商网站的检索和推荐质量，通过卷积神经网络等方法准确识别用户需求，提高购买转化率已经是业界必备的技术，对于用户自定义图像识别准确率方面的提升能够非常明显的反映在点击、浏览和购买的比率上，从转化率的提升计算，该技术已经为淘宝等网站创造了数百万的利润，并仍在快速进步中。
技术实现思路
本专利技术的目的是：能够结合人物检测的面向时尚街拍的电商推荐系统，能够满足在日常场景的街拍中准确识别出人物所在的位置，并切割出人物的轮廓，并在现有电商的数据中进行搜索，满足客户对于时尚产业产品多样化、个性化的要求，促进电商平台在时尚领域的购买率。为了达到上述目的，本专利技术的技术方案是一种面向时尚电商的街拍推荐系统，其特征在于，包括：离线时尚电商数据集构建模块，获取公开的电商平台数据的子集，电商平台数据包括图像和商品文字信息，将子集中某些关键项有空缺的电商平台数据删除，并按照其中的一级分类进行归类，并剔除与时尚无关的商品，最终获得完整的时尚电商数据集；实时特征提取和最近邻搜索模块，使用卷积神经网络ResNet对时尚电商数据集进行特征提取，卷积神经网络ResNet的最后一层Softmax去除，增加需要的512维全连接层，使用ImageNet进行模型迁移，在特征提取完成后，将特征组成的数据集依次插入由Hnswlib算法定义的图结构中，最终根据商品分类建立不同的图数据，并保存在文件中；人物识别与背景噪声分离模块，用户向人物识别与背景噪声分离模块输入街拍图片，由人物识别与背景噪声分离模块对用户输入的街拍图片进行预处理，通过FasterRCNN模块将街拍图片中背景和关键人物区分开来，使得能够将整体人物框定并切割开来，再使用FasterFCN网络进行背景的噪声处理，使得能够将整体人物的轮廓完整的呈现出来；时尚商品分类模块，使用电商平台分类数据进行分类器训练，训练数据为预先分类好的商品图片数据经由ResNet特征提取以后组成的数据集，分类器的类型是随机森林分类器，并对其参数进行调优，最后建立前端基于HighChart的分类动态图表，可视化地展示其分类结果。优选地，所述人物识别与背景噪声分离模块中，所述FasterFCN网络的作用是通过其RPN和分类器网络进行图像选择框的框定和类别的识别，类别定义为人后即可识别人物位置，FCN则是通过上采样和下采样进行像素级别的图像分类，将人轮廓内的像素识别为人物的类别，并去除背景的噪声。优选地，所述FasterRCNN模块包括：卷积层，用于提取服装图像的特征映射，该特征图被后续的RPN层和全连接层共享；RPN层，通过SoftMax激活函数判断检测框属于前景或者背景，再利用边框回归修正检测框得到候选区；池化层，用于输入卷积层的特征映射和RPN层的候选区，结合二者的信息提取出候选特征图；分类器层，利用提取出的候选特征图计算候选区的类别，同时再次边框回归获得检测框最终的精确位置得到服装图像的人像的位置。优选地，所述FasterFCN网络包括：全卷积层、分类器层、上采样层，其中，全卷积层用于提取服装图像的特征；分类器层用来捕获语义/上下文信息，使用类似图像分类的手段来解释上下文的含义；上采样层用来恢复原图片的位置信息，精确定位每一个像素点的位置。由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术使用了卷积神经网络ResNet实现了特征的提取，并构建了整体的特征提取-相似搜索流程，相较于传统SIFT算法有着训练方便、精确度高、对形变和色调变化容忍度高、泛用性好可迁移的特点；最近邻搜索使用HNSW算法，其搜索效率在近年的评测中处于首位，能够相较传统KNN算法极大的提高搜索效率，同时使用低内存使用的实现版本Hnswlib，能够显著降低内存不足的问题；本专利技术也提出了一种基于目标检测和图像分割的图像预处理步骤，使用FasterRCNN进行人物检测，FCN进行图像分割，最终达到清晰准确的识别关键人物的并将背景完全去除的作用，经测试能够显著提高推荐的质量，减少错误识别的可能；同时本专利技术的分类模块能够再识别类别的基础上进行搜索，将搜索的数据量减少了一个数量级，提高了速度的同时减少了错误推荐类外商品的可能。本专利技术结合了深度学习、相似性检索、服务器应用开发等知识，为时尚领域图像数据的结构化、相似性推荐的智能化做出了贡献，并提升了用户的参与度和互动感，为时尚领域的信息化做出了贡献。附图说明图1为本专利技术的总体框图；图2为时尚商品图像数据集制作模块框图；图3为时尚商品人物检测模块基本结构图；图4为时尚商品自动分类模块框图；图5为时尚商品相似性推荐模块框图。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。本专利技术的实施方式涉及一种面向电商的街拍推荐系统，包括：1)离线时尚电商数据集构建模块。首先取得公开的电商平台数据的子集(约50万)，对其进行基本的预处理，其中包括图像和商品文字信息，将其中某些关键项有空缺的数据删除，并按照其中的一级分类进行归类，并剔除与时尚无关的商品，最终制作一个完整的时尚电商数据集。2)实时特征提取和最近邻搜索模块，与以往的检索系统使用SIFT等方法进行特征提取不同，这里使用ResNet进行，将ResNet最后一层的Softmax去除，增加需要的512维全连接层。这里使用ImageNet进行模型迁移，使得模型能够对图像分类有较好的识别度。在特征提取完成后，将特征组成的数据集依次插入由Hnswlib算法定义的图结构中，最终根据商品分类建立不同的图数据，并保存在文件中。3)人物识别与背景噪声分离模块。为了获得信噪比更高的输入图像，对用户输入的图片进行预处理。通过FasterRCNN模块进行背景和关键人物的区分，使得能够将整体人物框定并切割开来，使用FCN网络进行背景的噪声处理，使得能够将整体人物的轮廓完整的呈现出来。这里FasterRCNN的作用是通过其RPN和分类器网络进行图像选择框的框定和类别的识别，类别定义为人后即可识别人物位置。FCN则是通过上采样和下采样进行像素级别的图像分类，将人轮廓本文档来自技高网...

【技术保护点】
1.一种面向时尚电商的街拍推荐系统，其特征在于，包括：离线时尚电商数据集构建模块，获取公开的电商平台数据的子集，电商平台数据包括图像和商品文字信息，将子集中某些关键项有空缺的电商平台数据删除，并按照其中的一级分类进行归类，并剔除与时尚无关的商品，最终获得完整的时尚电商数据集；实时特征提取和最近邻搜索模块，使用卷积神经网络ResNet对时尚电商数据集进行特征提取，卷积神经网络ResNet的最后一层Softmax去除，增加需要的512维全连接层，使用ImageNet进行模型迁移，在特征提取完成后，将特征组成的数据集依次插入由Hnswlib算法定义的图结构中，最终根据商品分类建立不同的图数据，并保存在文件中；人物识别与背景噪声分离模块，用户向人物识别与背景噪声分离模块输入街拍图片，由人物识别与背景噪声分离模块对用户输入的街拍图片进行预处理，通过Faster RCNN模块将街拍图片中背景和关键人物区分开来，使得能够将整体人物框定并切割开来，再使用Faster FCN网络进行背景的噪声处理，使得能够将整体人物的轮廓完整的呈现出来；时尚商品分类模块，使用电商平台分类数据进行分类器训练，训练数据为预先分类好的商品图片数据经由ResNet特征提取以后组成的数据集，分类器的类型是随机森林分类器，并对其参数进行调优，最后建立前端基于HighChart的分类动态图表，可视化地展示其分类结果。...

【技术特征摘要】
1.一种面向时尚电商的街拍推荐系统，其特征在于，包括：离线时尚电商数据集构建模块，获取公开的电商平台数据的子集，电商平台数据包括图像和商品文字信息，将子集中某些关键项有空缺的电商平台数据删除，并按照其中的一级分类进行归类，并剔除与时尚无关的商品，最终获得完整的时尚电商数据集；实时特征提取和最近邻搜索模块，使用卷积神经网络ResNet对时尚电商数据集进行特征提取，卷积神经网络ResNet的最后一层Softmax去除，增加需要的512维全连接层，使用ImageNet进行模型迁移，在特征提取完成后，将特征组成的数据集依次插入由Hnswlib算法定义的图结构中，最终根据商品分类建立不同的图数据，并保存在文件中；人物识别与背景噪声分离模块，用户向人物识别与背景噪声分离模块输入街拍图片，由人物识别与背景噪声分离模块对用户输入的街拍图片进行预处理，通过FasterRCNN模块将街拍图片中背景和关键人物区分开来，使得能够将整体人物框定并切割开来，再使用FasterFCN网络进行背景的噪声处理，使得能够将整体人物的轮廓完整的呈现出来；时尚商品分类模块，使用电商平台分类数据进行分类器训练，训练数据为预先分类好的商品图片数据经由ResNet特征提取以后组成的数据集，分类器的类型是随机森林分类器，并对其参数进行调优，最后建立前端基于HighChart的...

【专利技术属性】
技术研发人员：燕彩蓉，李名扬，郭文静，李宇，咸俊丽，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海,31