System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于图像的搜索方法、装置、设备及存储介质制造方法及图纸_技高网

基于图像的搜索方法、装置、设备及存储介质制造方法及图纸

技术编号:40771324 阅读:4 留言:0更新日期:2024-03-25 20:19
本申请公开了一种基于图像的搜索方法、装置、设备及存储介质,属于数据处理领域。该方法包括:利用预先训练的特征提取器对用户输入的图像进行特征提取,得到待查找图像特征向量,特征提取器基于作为无标签数据集合的被搜索图像集合利用自监督学习得到,特征提取器输出的图像特征向量表征图像的底层纹理特征和高层语义特征;利用索引算法对待查找图像特征向量进行处理,得到待查找图像索引向量;根据待查找图像索引向量和预设的索引向量库,确定与待查找图像索引向量匹配的图像索引向量;根据匹配的图像索引向量,反馈匹配的图像索引向量对应的被搜索图像。根据本申请实施例能够提高以图搜图的技术效率。

【技术实现步骤摘要】

本申请属于数据处理领域,尤其涉及一种基于图像的搜索方法、装置、设备及存储介质


技术介绍

1、随着电子信息技术的发展,越来越多的人选择在线上进行购物。购物平台可根据用户输入的关键词来搜索匹配的商品信息,并将匹配的商品信息呈现给用户。但通过关键词进行搜索,会由于关键词描述不准确或存在语义鸿沟等问题,导致搜索的准确性不足。为了提高搜索的准确性,可采用以图搜图的搜索方式,即,可通过用户输入的图像来搜索匹配的商品信息,以图搜图相比于关键词搜索更加直观,用户体验也更好。现阶段的以图搜图主要通过监督学习训练得到特征提取模型,利用特征提取模型提取图像特征,从而进行匹配搜索。但利用监督学习训练特征提取模型,需要大量带有标签的数据来进行模型训练,而数据的标签均需人工标注,需要耗费大量的时间和成本,降低了以图搜图的技术效率。


技术实现思路

1、本申请实施例提供一种基于图像的搜索方法、装置、设备及存储介质,能够提高以图搜图的技术效率。

2、第一方面,本申请实施例提供一种基于图像的搜索方法,包括:利用预先训练的特征提取器对用户输入的图像进行特征提取,得到待查找图像特征向量,特征提取器基于作为无标签数据集合的被搜索图像集合,利用自监督学习得到,特征提取器输出的图像特征向量表征图像的底层纹理特征和高层语义特征;利用索引算法对待查找图像特征向量进行处理,得到待查找图像索引向量;根据待查找图像索引向量和预设的索引向量库,确定与待查找图像索引向量匹配的图像索引向量,索引向量库中的图像索引向量基于索引算法和被搜索图像集合通过特征提取器提取的图像特征向量得到;根据匹配的图像索引向量,反馈匹配的图像索引向量对应的被搜索图像。

3、第二方面,本申请实施例提供一种基于图像的搜索装置,包括:特征提取模块,用于利用预先训练的特征提取器对用户输入的图像进行特征提取,得到待查找图像特征向量,特征提取器基于作为无标签数据集合的被搜索图像集合,利用自监督学习得到,特征提取器输出的图像特征向量表征图像的底层纹理特征和高层语义特征;索引模块,用于利用索引算法对待查找图像特征向量进行处理,得到待查找图像索引向量;搜索模块,用于根据待查找图像索引向量和预设的索引向量库,确定与待查找图像索引向量匹配的图像索引向量,索引向量库中的图像索引向量基于索引算法和被搜索图像集合通过特征提取器提取的图像特征向量得到;反馈模块,用于根据匹配的图像索引向量,反馈匹配的图像索引向量对应的被搜索图像。

4、第三方面,本申请实施例提供一种电子设备,包括:处理器以及存储有计算机程序指令的存储器;处理器执行计算机程序指令时实现第一方面的基于图像的搜索方法。

5、第四方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现第一方面的基于图像的搜索方法。

6、本申请实施例提供一种基于图像的搜索方法、装置、设备及存储介质,可利用预先训练的特征提取器对用户输入的图像进行特征提取,得到待查找图像特征向量,利用索引算法得到待查找图像特征向量的待查找图像索引向量,根据待查找图像索引向量在包括被搜索图像的图像索引向量的索引向量库中查找匹配的图像索引向量,匹配的图像索引向量对应的被搜索图像为被搜索图像集合中与用户输入的图像匹配的被搜索图像,实现了以图搜图。特征提取器基于被搜索图像集合自监督学习得到,被搜索图像集合作为自监督学习的无标签数据集合,不需人工对被搜索图像集合中的被搜索图像进行人工标签标注,节省了大量时间和成本,提高了以图搜图的技术效率。

本文档来自技高网...

【技术保护点】

1.一种基于图像的搜索方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述利用索引算法对所述待查找图像特征向量进行处理,得到待查找图像索引向量,包括:

3.根据权利要求1所述的方法,其特征在于,所述索引向量库为层级结构,

4.根据权利要求3所述的方法,其特征在于,所述根据所述搜索列表中按照相似度由高至低顺序排列的前N个图像索引向量,确定与所述待查找图像索引向量匹配的图像索引向量,包括:

5.根据权利要求1所述的方法,其特征在于,还包括:

6.根据权利要求5所述的方法,其特征在于,正样本对包括第一正样本和第二正样本,负样本与正样本对中的正样本不同,

7.根据权利要求5所述的方法,其特征在于,所述根据正样本对、所述残差网络模型、负样本和预设的动量编码器,对所述残差网络模型进行迭代学习,直至所述残差网络模型满足迭代结束条件,包括:

8.根据权利要求1至7中任意一项所述的方法,其特征在于,所述特征提取器包括输入层、组块层、下采样层、全局池化层和自注意力子模型;

9.根据权利要求8所述的方法,其特征在于,所述特征提取器还包括投影层;所述投影层用于将自注意力子模型输出的图像特征向量投影至低维空间,所述低维空间的维度低于图像特征向量的维度。

10.一种基于图像的搜索装置,其特征在于,包括:

11.一种电子设备,其特征在于,包括:处理器以及存储有计算机程序指令的存储器;

12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1至9中任意一项所述的基于图像的搜索方法。

...

【技术特征摘要】

1.一种基于图像的搜索方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述利用索引算法对所述待查找图像特征向量进行处理,得到待查找图像索引向量,包括:

3.根据权利要求1所述的方法,其特征在于,所述索引向量库为层级结构,

4.根据权利要求3所述的方法,其特征在于,所述根据所述搜索列表中按照相似度由高至低顺序排列的前n个图像索引向量,确定与所述待查找图像索引向量匹配的图像索引向量,包括:

5.根据权利要求1所述的方法,其特征在于,还包括:

6.根据权利要求5所述的方法,其特征在于,正样本对包括第一正样本和第二正样本,负样本与正样本对中的正样本不同,

7.根据权利要求5所述的方法,其特征在于,所述根据正样本对、所述残差网络模型、负样本和预设的动量编码器,对...

【专利技术属性】
技术研发人员:李锦辉
申请(专利权)人:中国银联股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1