一种基于深度学习的服装多模态融合搜索系统及搜索方法技术方案

本公开提供了一种基于深度学习的服装多模态融合搜索系统及搜索方法，旨在解决用户上传的数据输入形式比较单一的问题。基于深度学习的服装多模态融合搜索系统，包括融合搜索识别模型，将接收的服装图像信息映射到特征空间，并生成图像特征向量；根据不同识别特性，对图像特征向量进行特征切分得到类别特征向量，根据类别特征向量输出图像特征；对图像特征向量进行解耦处理得到搜索用图像特征向量，将搜索用图像特征向量与数据库中的图像特征向量进行对比，获取相似的服装图像数据；多模态模型，将文本信息映射为图像特征向量，与数据库中的图像特征向量进行对比，获取相似的服装图像数据。用户上传的数据可以为图像数据，也可以为文本数据。以为文本数据。以为文本数据。

【技术实现步骤摘要】
一种基于深度学习的服装多模态融合搜索系统及搜索方法


[0001]本公开属于服装搜索
，具体涉及一种基于深度学习的服装多模态融合搜索系统及搜索方法。

技术介绍

[0002]服装搜索是服装行业必不可少的一部分，其中，服装搜索又分为通过文字搜索服装图片和通过服装图片搜索相似服装图片。大部分业内人员将这两种搜索分别训练和部署，一个模型仅能服务一个功能，功能比较单一。文字搜索一般使用Bert等模型做语义匹配；图片搜索一般使用ResNet等深度模型利用triplet loss损失函数来搜索图片。
[0003]早期的多模态搜索系统，一般是通过文字信息搜索来对应文字搜索信息，通过搜索到的文字搜索信息对应到图片，文字和图像之间的映射关系完全通过人工设置，缺乏灵活性，并且文字和图像之间并没有特征上的映射，导致文字和图片的关系完全依赖于硬性设定。在搜索系统中，用户上传的数据输入形式比较单一，仅支持单独的文本类数据或单独的图像类数据，导致搜索功能较为单一。

技术实现思路

[0004]本公开提供了一种基于深度学习的服装多模态融合搜索系统及搜索方法，旨在解决现有的搜索系统中，用户上传的数据输入形式比较单一的问题。
[0005]为了解决上述技术问题，本公开所采用的技术方案为：
[0006]第一方面，本公开提供了一种基于深度学习的服装多模态融合搜索系统，包括：
[0007]融合搜索识别模型，用于将接收的服装图像信息映射到特征空间，并生成图像特征向量；根据不同识别特性，对图像特征向量进行特征切分得到类别特征向量，并根据类别特征向量输出图像特征；对图像特征向量进行解耦处理得到搜索用图像特征向量，将搜索用图像特征向量与数据库中的图像特征向量进行对比，获取相似的服装图像数据；
[0008]多模态模型，用于将文本信息映射为图像特征向量，并与数据库中的图像特征向量进行对比，获取相似的服装图像数据。
[0009]进一步改进的方案：对图像特征向量进行特征切分得到外轮廓类别特征向量和内部类别特征向量；所述外轮廓类别特征向量包括品类、衣长和轮廓的特征信息；所述内部类别特征向量包括纹理和图案的特征信息。
[0010]进一步改进的方案：在对融合搜索识别模型训练数据获取时，
[0011]融合搜索识别模型的训练数据包括识别用训练数据和搜索用训练数据；
[0012]所述识别用训练数据的获取方法为：先将获取的服装图像通过检测模型获取位置信息，再将带有位置信息的服装图像通过进行类别标注得到识别用训练数据；
[0013]所述搜索用训练数据的获取方法为：将服装图像数据库中的相似图像组成一组搜索用训练数据，从而获得若干组搜索用训练数据，且每组搜索用训练数据组间的服装图像数据不相似。
[0014]基于上述方案，先获取位置信息，再将带有位置信息的服装图像通过进行类别标注，在识别类别的过程中，可以确定同一张图片中不同类别所对应的位置，避免混淆，从而可以提高模型的识别效果。
[0015]进一步改进的方案：在多模态模型训练数据获取时，
[0016]所述多模态模型的同一条训练数据包括服装图像的服装图像信息以及同一服装图像的文本信息。
[0017]进一步改进的方案：所述多模态模型的训练包括：
[0018]采用文本模型将文本信息映射到特征空间，并生成文本特征向量；
[0019]采用融合搜索识别模型将服装图像信息映射到特征空间，并生成图像特征向量；
[0020]将文本特征向量和图像特征向量映射到同一特征空间，并将文本特征向量和图像特征向量拼接成新的特征向量对多模态模型进行训练。
[0021]基于上述方案，将融合搜索识别模型(图像搜索模型以及图像识别模型)、多模态模型放入同一个模型中进行训练，各个模型之间数据共享且同步训练，在训练时保证各个模型参数同步更新，提高了模型的训练效果。不仅实现了文本搜索图像和图像搜索图像，同时也实现了图像的识别。将多个模型在一个模型中实现，大大减少了算力资源。
[0022]进一步改进的方案：在多模态模型的损失函数中，将同一个图像的文本特征向量和图像特征向量拉近处理，将非同一个图像的文本特征向量和图像特征向量拉远处理。
[0023]基于上述方案，将同一个图像的文本特征向量和图像特征向量拉近处理，将非同一个图像的文本特征向量和图像特征向量拉远处理，可以提高多模态模型的识别效果。
[0024]第二方面，本公开提供了一种基于深度学习的服装多模态融合搜索方法，包括：
[0025]接收服装图像信息或服装图像的文本信息；
[0026]当接收的数据为服装图像信息时，执行步骤如下步骤：
[0027]将接收的服装图像信息映射到特征空间，并生成图像特征向量；
[0028]根据不同识别特性，对图像特征向量进行特征切分得到类别特征向量，并根据类别特征向量输出图像特征；
[0029]对图像特征向量进行解耦处理得到搜索用图像特征向量；
[0030]将搜索用图像特征向量与数据库中的图像特征向量进行对比，获取相似的服装图像数据；
[0031]当接收的数据为服装文本信息时，执行步骤如下步骤：
[0032]将文本信息映射为图像特征向量，并与数据库中的图像特征向量进行对比，获取相似的服装图像数据。
[0033]进一步改进的方案：对图像特征向量进行特征切分得到外轮廓类别特征向量和内部类别特征向量；所述外轮廓类别特征向量包括品类、衣长和轮廓的特征信息；所述内部类别特征向量包括纹理和图案的特征信息。
[0034]第三方面，本公开提供了一种计算机设备，包括通信连接的存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行计算机程序实现上述任一所述基于深度学习的服装多模态融合搜索方法的步骤。
[0035]第四方面，本公开提供了一种计算机可读存储介质，计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行上述任一所述基于深度学习的服装多模态融
合搜索方法的步骤。
[0036]下面结合有益效果对本公开做进一步说明：
[0037]1、本公开的基于深度学习的服装多模态融合搜索系统，包括融合搜索识别模型和多模态模型，其中，一方面，利用融合搜索识别模型可以根据输入的图像数据搜索图像，另一方面，利用多模态模型可以根据输入的文本数据搜索图像。
[0038]2、融合搜索识别模型包括识别分支和搜索分支；将接收的服装图像信息映射到特征空间，并生成图像特征向量，可以用来识别图像特征；根据不同性质的类别识别任务，对图像特征向量进行特征切分得到类别特征向量，便于根据不同的特性执行对应不同性质的分类任务；例如：品类、轮廓和衣长等类别在识别时，识别特征主要在于服装的外轮廓；但是纹理和图案等分类任务则识别特征主要集中在服装的中间位置；经过特征切分后获得的类别特征向量，可以根据类别所述分类的特性进行特征识别，从而提高识别的效果。
[0039]3、对图像特征向量进行解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的服装多模态融合搜索系统，其特征在于，包括：融合搜索识别模型，用于将接收的服装图像信息映射到特征空间，并生成图像特征向量；根据不同识别特性，对图像特征向量进行特征切分得到类别特征向量，并根据类别特征向量输出图像特征；对图像特征向量进行解耦处理得到搜索用图像特征向量，将搜索用图像特征向量与数据库中的图像特征向量进行对比，获取相似的服装图像数据；多模态模型，用于将文本信息映射为图像特征向量，并与数据库中的图像特征向量进行对比，获取相似的服装图像数据。2.根据权利要求1所述的一种基于深度学习的服装多模态融合搜索系统，其特征在于，对图像特征向量进行特征切分得到外轮廓类别特征向量和内部类别特征向量；所述外轮廓类别特征向量包括品类、衣长和轮廓的特征信息；所述内部类别特征向量包括纹理和图案的特征信息。3.根据权利要求1所述的一种基于深度学习的服装多模态融合搜索系统，其特征在于，在对融合搜索识别模型训练数据获取时，融合搜索识别模型的训练数据包括识别用训练数据和搜索用训练数据；所述识别用训练数据的获取方法为：先将获取的服装图像通过检测模型获取位置信息，再将带有位置信息的服装图像通过进行类别标注得到识别用训练数据；所述搜索用训练数据的获取方法为：将服装图像数据库中的相似图像组成一组搜索用训练数据，从而获得若干组搜索用训练数据，且每组搜索用训练数据组间的服装图像数据不相似。4.根据权利要求3所述的一种基于深度学习的服装多模态融合搜索系统，其特征在于，在多模态模型训练数据获取时，所述多模态模型的同一条训练数据包括服装图像的服装图像信息以及同一服装图像的文本信息。5.根据权利要求4所述的一种基于深度学习的服装多模态融合搜索系统，其特征在于，所述多模态模型的训练包括：采用文本模型将文本信息映射到特征空间，并生成文本特征向量；采用融合搜索识别模型将...

【专利技术属性】
技术研发人员：郑泽宇，温苗苗，李鸽，何治，海滨，石磊，马锐，
申请(专利权)人：杭州知衣科技有限公司，
类型：发明
国别省市：