一种线上商品搜索方法及系统技术方案

本发明专利技术公开了一种线上商品搜索方法及系统。所述方法及系统采用卷积神经网络将图像中的对象特征提取出来，通过深层次卷积神经网络结合哈希码算法的方式创建哈希码，再利用深度学习的方式进行哈希码的匹配，不仅有效地保证对象搜索的准确性和全面性，而且保证了搜索的高效性以及商品推荐的准确性。本发明专利技术提供的方法及系统适合应用于各类型的购物软件，实现所需成本小，应用范围广，可以解决用户目前所遇到的对象搜索问题。

An Online Commodity Search Method and System

The invention discloses an online commodity search method and system. The method and system use convolution neural network to extract object features from images, create hash codes by deep convolution neural network combined with hash code algorithm, and then match hash codes by deep learning, which not only effectively guarantees the accuracy and comprehensiveness of object search, but also guarantees the efficiency of search and the accuracy of commodity recommendation. \u3002 The method and system provided by the invention are suitable for application to various types of shopping software, with low cost and wide application range, and can solve the problem of object search currently encountered by users.

【技术实现步骤摘要】
一种线上商品搜索方法及系统
本专利技术涉及在线购物
，特别是涉及一种线上商品搜索方法及系统。
技术介绍
伴随着科学技术的发展，互联网出现在我们的生活里。随着互联网的迅猛崛起，人们开始利用互联网解决各类生活中的问题。为了满足人们利用互联网购物的需求，淘宝、京东等公司出现在了我们眼前，满足了我们的需求。网上购物逐渐成为了人们日常生活中不可或缺的一部分，网上购物的顾客成为了一个庞大的新生群体。09年，淘宝的用户量就已经达到1.4亿，12年，这个数字变成了8亿。与此同时，网上店铺的数量也在飞速增长，还是以淘宝为例，17年淘宝号称店铺数量已经达到了千万级别。伴随着网上购物领域的繁荣发展，可以看到数据量也在急剧增加，这时，由于数据量变得太过巨大，线上购物的一些弊端开始浮现。虽然技术在不断的革新，但是线上的庞大数据量，很难如线下一样让顾客轻松找到自己心仪的商品。搜索困难成为顾客购物过程中面临的一大问题。为解决这一问题，近些年来提出了很多的“导购”系统。但大多数搜索系统，都只是根据客户端存储的搜索或浏览记录，来推荐一些商品，很难解决线上线下信息不对称的问题。因为线下拿到了某一商品时，想要进行线上的搜索，不是以往的历史记录可以解决的。例如在现实中看到了一瓶矿泉水，无法确定其准确信息，这时搜索矿泉水，由于数据量的庞大，很难从庞大的搜索结果中找到想要的该商品。当然得知的商品相关信息越多，搜索可以变得越来越精确，但是想要迅速且准确的从大量的数据中得到想要的商品，并不是一件容易的事情。近些年来，图像检索技术的不断进步，使得很多领域随之发生了巨大的变革。基于内容的图像检索技术的出现，使得线上的图像识别从构想变成了现实。基于内容的图像检索技术(Content-basedImageRetrieval，CBIR)借助对图像信息从低层到高层进行处理、分析和理解的过程获取其内容并根据内容进行检索。CBIR技术分为三个层次，一是依据提取图像本身的颜色、纹理、形状等低层特征进行检索；二是基于图像的低层特征，通过识别图像中的对象类别及对象间的空间拓扑关系进行检索；三是基于图像抽象属性(场景语义、行为语义和情感语义)的推理学习进行检索。上述三个层次由低到高，与人的认知接近。CBIR使得很多领域与图像检索联系到了一起，比如我们所熟知的火车站飞机场等人脸识别系统。这些系统的检测方式，大概可以分为两类：(1)基于属性组合的检索：将视频对象提取出来，然后把对象的特征(如颜色、形状、速度、方向等)作为对象的属性，通过属性的组合进行查询与搜索；(2)基于可视词组的视频搜索：通过对视频图像提取特征，然后利用聚类方法将特征转化为可视词组，利用文本检索的相关索引技术，进行视频的检索。但是当今这些应用所采用的识别框架，仍然存在着诸如语意损失过大，识别效率低等问题。尤其是现有的购物推荐与搜索系统通常采用CF(CollaborativeFiltering，协同过滤)识别算法，由于该算法并不采用图像分析的方法，单纯进行数据矩阵运算，导致该方法具有识别偏差过大、识别效率低的缺陷。
技术实现思路
本专利技术的目的是提供一种线上商品搜索方法及系统，通过采用高精度哈希算法进行线上商品搜索，减少了图像识别误差与语义损失，提高了对象搜索的准确性和全面性，并提高了搜索效率。为实现上述目的，本专利技术提供了如下方案：一种线上商品搜索方法，所述方法包括：获取服务端存储的服务端商品图片；采用卷积神经网络提取所述服务端商品图片的视觉特征；根据所述视觉特征，采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型；利用所述深度哈希模型生成服务端商品图片的服务端哈希码；获取客户端拍摄的客户端商品图片；采用卷积神经网络提取所述客户端商品图片的视觉特征；根据所述客户端商品图片的视觉特征，调用所述深度哈希模型生成客户端商品图片的查询哈希码；从所述服务端搜索与所述查询哈希码相匹配的匹配服务端哈希码；根据所述匹配服务端哈希码提取对应的服务端商品图片进行显示。可选的，所述采用卷积神经网络提取所述服务端商品图片的视觉特征，具体包括：采用选择搜索算法在所述服务端商品图片中提取预设数量的候选区域；将每个所述候选区域缩放成预设大小后，输入到卷积神经网络中进行深度学习；获取所述卷积神经网络的fc7层的输出作为卷积神经网络特征；采用支持向量机对所述卷积神经网络特征进行分类，获得所述务端商品图片的视觉特征。可选的，在所述根据所述视觉特征，采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型之前，还包括：对所述视觉特征的格式进行规范化处理，生成格式规范的视觉特征。可选的，所述利用所述深度哈希模型生成服务端商品图片的服务端哈希码，具体包括：利用所述深度哈希模型对所述服务端商品图片的多个高维的视觉特征进行哈希计算，生成低维的所述服务端哈希码；其中H表示哈希码；W表示视觉特征的转置矩阵；b表示偏置项；tr()表示求矩阵的迹；N表示输入视觉特征向量的临近集合，S为创建的临近相似矩阵，φC为偏置参数；I为单位矩阵。可选的，所述从服务端搜索与所述查询哈希码相匹配的匹配服务端哈希码，具体包括：获取服务端中存储的所有服务端哈希码；将所述查询哈希码与所述服务端哈希码带入到卷积神经网络中进行学习比对，计算每个所述服务端哈希码与所述查询哈希码的相似度；确定所述相似度大于90％的服务端哈希码为所述匹配服务端哈希码。本专利技术还提供了一种线上商品搜索系统，所述系统包括：商品信息存储模块，用于获取服务端存储的服务端商品图片；服务特征提取模块，用于采用卷积神经网络提取所述服务端商品图片的视觉特征；深度哈希模型生成模块，用于根据所述视觉特征，采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型；哈希码创建模块，用于利用所述深度哈希模型生成服务端商品图片的服务端哈希码；图片拍摄模块，用于获取客户端拍摄的客户端商品图片；特征提取模块，用于采用卷积神经网络提取所述客户端商品图片的视觉特征；查询模块，用于根据所述客户端商品图片的视觉特征，调用所述深度哈希模型生成客户端商品图片的查询哈希码；哈希码比对搜索模块，用于从所述服务端搜索与所述查询哈希码相匹配的匹配服务端哈希码；显示模块，用于根据所述匹配服务端哈希码提取对应的服务端商品图片进行显示。可选的，所述服务特征提取模块具体包括：候选区域提取单元，用于采用选择搜索算法在所述服务端商品图片中提取预设数量的候选区域；深度学习单元，用于将每个所述候选区域缩放成预设大小后，输入到卷积神经网络中进行深度学习；CNN特征输出单元，用于获取所述卷积神经网络的fc7层的输出作为卷积神经网络特征；服务特征提取单元，用于采用支持向量机对所述卷积神经网络特征进行分类，获得所述务端商品图片的视觉特征。可选的，所述系统还包括：格式处理模块，用于在采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型之前，对所述视觉特征的格式进行规范化处理，生成格式规范的视觉特征。可选的，所述哈希码创建模块具体包括：哈希码创建单元，用于利用所述深度哈希模型对所述服务端商品图片的多个高维的视觉特征进行哈希计算，生成低维的所述服务端哈希码；其中H表示哈希码；W表示视觉特征的转置矩阵；b表示偏置项；tr()表示求矩阵的迹；N表示输入视觉特征向量的临近集合，本文档来自技高网...

【技术保护点】
1.一种线上商品搜索方法，其特征在于，所述方法包括：获取服务端存储的服务端商品图片；采用卷积神经网络提取所述服务端商品图片的视觉特征；根据所述视觉特征，采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型；利用所述深度哈希模型生成服务端商品图片的服务端哈希码；获取客户端拍摄的客户端商品图片；采用卷积神经网络提取所述客户端商品图片的视觉特征；根据所述客户端商品图片的视觉特征，调用所述深度哈希模型生成客户端商品图片的查询哈希码；从所述服务端搜索与所述查询哈希码相匹配的匹配服务端哈希码；根据所述匹配服务端哈希码提取对应的服务端商品图片进行显示。

【技术特征摘要】
1.一种线上商品搜索方法，其特征在于，所述方法包括：获取服务端存储的服务端商品图片；采用卷积神经网络提取所述服务端商品图片的视觉特征；根据所述视觉特征，采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型；利用所述深度哈希模型生成服务端商品图片的服务端哈希码；获取客户端拍摄的客户端商品图片；采用卷积神经网络提取所述客户端商品图片的视觉特征；根据所述客户端商品图片的视觉特征，调用所述深度哈希模型生成客户端商品图片的查询哈希码；从所述服务端搜索与所述查询哈希码相匹配的匹配服务端哈希码；根据所述匹配服务端哈希码提取对应的服务端商品图片进行显示。2.根据权利要求1所述的线上商品搜索方法，其特征在于，所述采用卷积神经网络提取所述服务端商品图片的视觉特征，具体包括：采用选择搜索算法在所述服务端商品图片中提取预设数量的候选区域；将每个所述候选区域缩放成预设大小后，输入到卷积神经网络中进行深度学习；获取所述卷积神经网络的fc7层的输出作为卷积神经网络特征；采用支持向量机对所述卷积神经网络特征进行分类，获得所述务端商品图片的视觉特征。3.根据权利要求1所述的线上商品搜索方法，其特征在于，在所述根据所述视觉特征，采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型之前，还包括：对所述视觉特征的格式进行规范化处理，生成格式规范的视觉特征。4.根据权利要求1所述的线上商品搜索方法，其特征在于，所述利用所述深度哈希模型生成服务端商品图片的服务端哈希码，具体包括：利用所述深度哈希模型对所述服务端商品图片的多个高维的视觉特征进行哈希计算，生成低维的所述服务端哈希码；其中H表示哈希码；W表示视觉特征的转置矩阵；b表示偏置项；tr()表示求矩阵的迹；N表示输入视觉特征向量的临近集合，S为创建的临近相似矩阵，φC为偏置参数；I为单位矩阵。5.根据权利要求1所述的线上商品搜索方法，其特征在于，所述从服务端搜索与所述查询哈希码相匹配的匹配服务端哈希码，具体包括：获取服务端中存储的所有服务端哈希码；将所述查询哈希码与所述服务端哈希码带入到卷积神经网络中进行学习比对，计算每个所述服务端哈希码与所述查询哈希码的相似度；确定所述相似度大于90％的服务端哈希码为所述匹配服务端哈希码。6.一种线上商品搜索系统，其特征在于，所述系统包括：商品信息存储模块，用于获取服务端存储的服务端商品图片；服务特征提取模块，...

【专利技术属性】
技术研发人员：严灵毓，王春枝，傅稼润，路翰霖，袁露，张鸿鑫，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：湖北,42