一种基于多模态数据融合的手绘图像实时检索方法技术

本发明专利技术属于动态草图检索领域，具体涉及一种基于多模态数据融合的手绘图像实时检索方法；该方法包括：使用完成训练的改进神经网络模型提取样本的图像特征与标签特征构建数据库，向模型输入目标图像的手绘草图和标签信息，得到草图的图像特征向量和标签特征向量；拼接草图的图像特征向量和标签特征向量，得到草图联合嵌入向量；计算草图联合嵌入向量和数据库中每个样本的联合嵌入向量的相似度，得到相似度集合；将相似度集合中的元素按照从大到小的顺序进行排序，取相似度最高的前K张样本图像作为最终的检索结果；本发明专利技术减少了手绘草图的早期检索时间，提高了检索效率。提高了检索效率。提高了检索效率。

【技术实现步骤摘要】
一种基于多模态数据融合的手绘图像实时检索方法


[0001]本专利技术属于动态草图检索领域，具体涉及一种基于多模态数据融合的手绘图像实时检索方法。

技术介绍

[0002]数据的迅速增长使得检索目标信息越来越困难，也因此衍生出了各类检索技术。但大部分检索技术仅针对单一模态内数据进行检索，如基于文本的检索(Text
‑
based Image Retrieval，TBIR)和基于内容的检索(Content
‑
based image retrieval，CBIR)。基于草图的图像检索(Sketch
‑
based image retrieval，SBIR)是一种用于根据用户的草图检索图像的技术。它是一种CBIR，根据图像的视觉内容进行检索。由于智能终端与触摸屏的普及，近年来基于草图的图像检索受到了广泛的关注。与传统的TBIR技术相比，SBIR有几个优势。它允许用户根据视觉概念来搜索图像，更灵活也更加直观，因为用户可以输入粗略的草图，仍然可以检索到视觉上相似的图像。细粒度草图检索(Fine grained本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据融合的手绘图像实时检索方法，其特征在于，包括：向完成训练的改进神经网络模型输入目标图像的手绘草图和标签信息，实时检索并获得检索结果；所述改进神经网络模型包括f1、f2、f
3e
和f
3c
；f1为经过预训练的特征提取层，f2为注意力层，f
3e
为图像降维层，f
3c
为标签降维层；改进神经网络模型的训练过程包括：S1：构建训练集，包括图像集和标签集，图像集为多张实物图像、实物图像对应的完整草图和根据完整草图获取的草图分支集组成，标签集为实物图像对应的所有标签信息组成；S2：根据训练集构建训练对，每个训练对包括一张草图分支集中随机抽取的草图、一张图像集中与草图对应的实物图像即正样本，一张图像集中随机抽取的不与草图对应的实物图像即负样本和一个标签集中与正样本对应的标签；S3：将训练对输入到改进神经网络模型中进行处理，得到草图、正样本和负样本的图像特征向量以及正、负样本的标签特征向量；S4：拼接正、负样本的图像特征向量和标签特征向量，得到正样本联合嵌入向量和负样本联合嵌入向量；拼接草图的图像特征向量和标签特征向量，得到草图联合嵌入向量；S5：根据正样本联合嵌入向量、负样本联合嵌入向量和草图联合嵌入向量计算三重损失函数，将三重损失函数进行反向传播，调整改进神经网络模型的参数，得到训练好的改进神经网络模型。2.根据要求1所述的一种基于多模态数据融合的手绘图像实时检索方法，其特征在于，所述草图分支集为将每一张草图按照绘制的笔画顺序渲染为多张草图，以此模拟草图的绘制过程，以每张草图的所有绘制过程的渲染图组成。3.根据要求1所述的一种基于多模态数据融合的手绘图像实时检索方法，其特征在于，所述标签信息为根据实际应用场景对实物图像进行的特征编码表示，采用数字1表示对应特征存在，0表示对应特征不存在。4.根据权利要求1所述的一种基于多模态数据融合的手绘图像实时检索方法，其特征在于，改进神经网络模型对训练对的处...

【专利技术属性】
技术研发人员：唐晓宇，戴大伟，刘颖格，李玉堂，夏书银，王国胤，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：